大数据工资那么高?主要做些啥,对普通人来说如何进入
0

点击:
大数据开发工程师、分析师等职位是当下中国互联网行业需求最旺盛的岗位,并且在计算机领域工资处于领先水平,甚至领先于整个行业。

据职业社交平台LinkedIn发布的《2018年中国互联网最热职位人才报告》显示,大数据开发工程师、分析师等职位是当下中国互联网行业需求最旺盛的岗位,并且在计算机领域工资处于领先水平,甚至领先于整个行业

大数据工资那么高?主要做些啥,对普通人来说如何进入数据行业呢

大数据开发工程师工资待遇

大数据工资那么高?主要做些啥,对普通人来说如何进入数据行业呢

计算机行业薪资对比

为什么工资这么高,并且计算机其他职位都要高许多呢,原因有以下几方面,一是供不应求,也就是说岗位很多懂大数据的人比较少;二是大数据现在招的人都是有经验的人,而现在的大学生都是没有经验的,想进去比较困难,而且很多在职人员也不懂大数据技术;三是没有合理的培养机制等等原因。

下面从3个方面来详细说说,

  1. 大数据从业者一般做些什么工作,有那么高端吗,很难吗,我能做吗?
  2. 大数据领域有哪些工作可以做的,如何选择合适自己的呢?
  3. 总结与反思,应不应该入走这条路?

据boss直聘等招聘网站发布的jd可以看出,跟大数据相关的工作有很多,比如大数据开发工程师(偏平台方向)、大数据开发工程师(偏bi数据仓库)、大数据etl工程师、大数据分析师、大数据挖掘工程师等,为什么划分出这么多工种,从下面的hadoop(大数据)架构图可以看出来。

大数据工资那么高?主要做些啥,对普通人来说如何进入数据行业呢

大数据架构图

大数据相关的工作,大概包括以下这三块,从数据流向图可以看出:

大数据工资那么高?主要做些啥,对普通人来说如何进入数据行业呢

大数据开发工程师(偏平台方向):数据采集(接入)、数据应用都可以做。

数据采集

1、可以用kafka+flume实时接入到大数据平台。

2、还可以用sqoop组件来同步数据,对比1是实时的同步数据,sqoop是离线数据采集,市场是比较有名的还有阿里巴巴的组件datax,既可以关系数据到关系数据库,还可以关系数据库到大数据平台。

3、主要的数据源有业务数据库,第三方爬取来的数据,日志数据等等。

数据应用

数据采集完之后经过数据仓库工程师加工之后,到了数据应用了,这些应用可以是bi报表,接口,给其他第三方调用。

最常见的是BI商业智能报表,他们需要java开发后台系统,跟数据仓库工程师(数据开发)一起做报表,也可以用大数据第三方组件kylin和druid来进行多维分析,写一些后台接口,他们需要的技能有,java必须很熟悉,hive ,shell ,sql一般就可以了。

难不难,对于一直做java开发的工程师来说,一点也不难,只要把hadoop和spark的原理好好理解清楚,用起来很容易,相对于面试造航母,实际拧螺丝,对他们来说工作起来应该不难。

面试一般的问题就是java的基本知识,hadoop的基本原理,hive优化等等知识。

大数据开发工程师(偏bi数据仓库)

这个岗位也是每一家有大数据的必备岗位,很是热门,我旁边的同事就是和这个岗位,他们平时的工作就是写sql包括hive和sparksql,管管调度,看他们每天都很轻松。

这个岗位的工作主要在数据加工层,包括对采集过来的数据进行分层处理,进行主题域开发,从ods层到dwd层(轻度汇总),到dws(高度汇总),再到dm应用层,这是大部分公司业务数据仓库的架构。

数据仓库工程师大部分工作就是写hivesql,你说难吗,肯定不难,sql谁不会是吧,还需要一定的数据仓库建模能力,级别越高对建模能力要求越高,还要管调度oozie,因为每天数据都要跑批,所以需要调度系统来控制依赖的运行,类似的工具还有azkaban和airflow,各有个的优点。

这个岗位人们比较简单,可以考虑从这里入手。

大数据工资那么高?主要做些啥,对普通人来说如何进入数据行业呢

数据仓库架构

大数据etl工程师,这个职位对于业务相对简单的公司来说,可以从数据接入到数据加工再到数据输出,都可以做,可以用sqoop等组件同步数据,又可以用spark来同步数据,对用懂java的同学来说可以一条线做到底,对于只懂hive的同学,可以写hive或者sparksql来进行数据加工。

大数据工资那么高?主要做些啥,对普通人来说如何进入数据行业呢

很晚了还灯火通明

大数据分析师

其实就是以前的数据分析师,转移到用大数据平台来分析数据了,分析方法没有变,这是取数来源变了,原来是从关系型数据库取出数据进行分析,大数据分析师是从大数据平台加工好的数据来分析,数据经过数据仓库工程师的加工后,到了dm层,数据分析师从dm取数,分析,可以用hive或者sparksql来取数据,用python的pandas等组价进行数据分析,或者制作bi报表分析(可以用tableau,也可以是自己开发的报表),需要懂很多业务知识,比如分析流量的报表,pv,uv,转化率,留存率等等,需要经常和业务部分的人打交道,沟通能力要强。

这个主要考察数据分析能力,其次是大数据组件原理,然后就是业务了,满足这三个条件的同学都可以尝试一下。

大数据工资那么高?主要做些啥,对普通人来说如何进入数据行业呢

普通分析师的待遇图也可以用python画出来

大数据挖掘工程师(机器学习工程师)

这个岗位是大数据领域最高端,最高大上的岗位了,工资待遇是最高的,对数学要求比较高,一般是985,211大学的研究生才能进去这个岗位,主要做的事情简单概况就是调参数,其实不然,首先要有强大的数学功底和逻辑思维能力,其次是要懂算法,比如简单的聚类分类,比较难的有AdaBoost算法和卷积神经网络等等,然后就是要懂业务,理解能力要强。

这个岗位有点难度,不建议从这里入手,等有了一定的大数据经验在考虑。

大数据工资那么高?主要做些啥,对普通人来说如何进入数据行业呢

数据挖掘工程师可以用电脑挖矿

既然了解了大数据所需具备的能力和做的事情,应不应该入走这条路?

我觉得还是要理性的面对,不要盲目的辞职找大数据相关工作,首先是要自己自学,了解自己能不能做这份工作,其次是要转入大数据行业还要根据自己的能力来衡量。

如果是数据库开发工程师可以转大数据开发工程师(偏数据仓库方向),因为有sql基础;

如果是java开发工程师或者python开发工程师,可以转大数据开发工程师或者数据挖掘工程师;

如果是传统数据分析师可以转大数据分析师;

如果是大学毕业生,大数据数据仓库开发工程师最容易,可以从这方面入手,学习hive和数据库建模,数据仓库建模。

选择恰当的时间,恰当的地点来换工作,跳槽转型有风险,需谨慎!!!

如何学习大数据相关组件呢,将在后面的文章与大家分享。

大数据工资那么高?主要做些啥,对普通人来说如何进入数据行业呢

相关热词搜索:大数据,工资,普通人

上一篇:未来3大趋势:人工智能 产业互联网 大数据与算法
下一篇:史上最全的“大数据”学习资源,第一篇