学大数据能干啥

文章摘要：学大数据能干啥

因为大数据行业的薪资待遇以及发展前景，我们可以看到越来越多的人想要投身于大数据行业中。那么学大数据可以做什么呢 […]

因为大数据行业的薪资待遇以及发展前景，我们可以看到越来越多的人想要投身于大数据行业中。那么学大数据可以做什么呢?现在就来看看吧。

学好大数据能做什么工作

1、大数据开发工程师：

主要工作负责大数据技术开发，例如，编写离线处理程序、数据差集、数据ETL等。

2、大数据运维工程师：

主要工作负责维护公司大数据平台，例如，管理、监控Hadoop集群、监控作业运行状态等。

3、大数据架构师：

主要工作负责公司的大数据平台假设，例如，技术选型、技术架设等。

4、大数据分析师：

主要工作负责结合行业经验，对公司不同业务单元的数据分析，如财务分析、生产分析、销售分析。

5、大数据算法工程师：

主要工作负责机器学习相关算法开发，例如，推荐系统算法开发。

6、大数据实时计算开发工程师：

主要工作负责公司实时计算系统开发，例如，Flink开发实时风控系统、基于SparkStreaming开发实时指标分析。

7、数据挖掘工程师：

主要工作负责基于大数据平台上的数据探索、特征提取、挖掘模型选择、评估等。例如，用户画像挖掘型标签开发。

8、BI开发工程师：

主要工作负责公司的商业智能平台搭建，包括各类数据可视化报表制作、Dashboard大屏制作ETL开发工程师。负责对数据进行数据探索、数据清洗、以及相关预处理。例如，将文本数据中一些不合法的数据清洗掉。

9、Hadoop开发工程师：

主要工作负责HDFS、以及MapReduce、Hive开发。例如，使用Hive搭建数据仓库、编写MapReduce程序对数据进行预处理。

10、Spark开发工程师：

主要工作负贵开发Spark应用程序进行大规模数据处理。例如，编写Spark程序来对网站流量数据进行处理，形成点击流数据。

大数据岗位基础要求

大数据岗位基础要求:谈起大数据，当然少不了分析软件，这应该是做大数据工作的基础，但市场上有很多各种各样的分析软件，如果没有过人的经验，真的很难找到适合自己或者适合企业的。笔者通过各大企业对大数据相关行业的职位要求，归纳出如下要点：

(1) SQL数据库基本操作，即基本数据管理

(2)将使用 Excel/SQL进行基本数据分析和显示

(3)会以脚本语言、 Python或 R进行数据分析

(4)能够获取外部数据，例如爬虫

(5)具备撰写数据报告的基本数据可视化技能

(6)熟悉常用数据挖掘算法：回归分析，决策树，随机森林，支持向量机等

就大数据的学习而言，一般先学基础，再学理论，最后才是工具。从根本上讲，学习每一种语言都是以此为序的。

学习数据分析的基本知识，包括概率论，数理统计。地基这样的东西还是要掌握好的啊，地基还不牢固，知识大厦容易倒哈。

对目标行业有一定的理论知识;例如财务类的，要学习证券，银行，财务等各种知识，否则到了企业就一脸懵逼。

学习数据分析工具，软件结合案列的实际应用，关于数据分析主流软件从易到难： Excel, SPSS, stata, R, Python, SAS等。

学习如何使用这些软件，然后是使用软件从数据清洗开始，逐步进行处理，分析，最后输出结果，检验和解释数据。

为什么大数据技术那么火

一方面是因为面对海量的数据，企业不得不加入到大数据技术应用的行列，另外一个更重要的因素就是，企业需要获取到更多的数据，从而通过对所获得数据的分析结论，得到企业发展方向、成本计算、优化产业结构等方面的总结优化方法。因此企业的大数据人才缺口逐渐扩大，而目前真正具备大数据开发能力的优秀人才相对比较少，形成了人才市场供不应求的状态。

网络数据显示截至到2018年全国大数据核心人才缺口达到60万，预测到2025年全国大数据核心人才缺口将达到230万。

此外我们通过各种招聘网站可以看到目前初级大数据开发岗位薪资基本稳定在8K~15K之间。而中级大数据开发工程师平均薪资稳定在15K~30K之间，高级大数据开发工程师甚至大数据开发架构师的薪资30K+。

在岗位缺口巨大以及高薪的双重诱惑下，学习大数据技术成为目前待就业人员优选的目标。因此大数据技术在企业需求量上升以及求职者不断涌入两方面的刺激下，成为目前备受追捧的热门技术。