学习大数据需要的基础

文章摘要：学习大数据需要的基础

伴随着大数据时代的冲击，大数据开发相关的技术人才成为目前招聘市场炙手可热的高薪岗位，那么学习大数据需要的基础有 […]

伴随着大数据时代的冲击，大数据开发相关的技术人才成为目前招聘市场炙手可热的高薪岗位，那么学习大数据需要的基础有哪些呢?现在就来看看吧。

学大数据需要具备的基础

1、Linux

大数据相关软件都在Linux上运行，学好Linux快速掌握大数据相关技术会有很大的帮助，更好理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，少踩坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。

2、Hadoop

大数据代名词，Hadoop包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，有个特点就是不管多大的数据只要给时间就能把数据跑完，但时间可能不是很快所以叫数据的批处理。

3、Zookeeper

安装Hadoop的HA的时候就会用，Hbase也会用到。用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用的软件对有依赖，对于我们个人来讲需要要把安装正确，让正常的run起来就可以了。

4、Mysql

学习完大数据的处理，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。

5、Sqoop

把Mysql里的数据导入到Hadoop里。直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

6、Hive

这个东西对于会SQL语法的来说就是神器，能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?和Pig差不多掌握一个就可以了。

7、Oozie

管理Hive或者MapReduce、Spark脚本，还能检查程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。

学习大数据要掌握什么知识点

一、基础中的基础Java开发

对于零基础的同学首要掌握的就是大数据的底层开发语言，目前所知很多编程语言都可以实现大数据技术，但是目前国内大部分企业的应用程序都是使用Java编程语言开发的。因此为了更好的实现就业，我们一般建议大家掌握Java编程语言。在Java基础中，着重学习Java基本语法以及面向对象的编程思维。

二、Javaweb技术

掌握Java基础语法后，还需要进一步学习JavaWeb编程方面的知识，尤其Java高级基础中的网络编程、多线程、注解等技术在大数据开发中都是非常常用的技术。此外在JavaWeb技术学习中还要重点掌握前端开发知识(HTML、CSS、JavaScript、BootSrtap、jQuery、ajax)、常用数据库知识(MySQL、JDBC、Maven、Git)、网络编程(Tomcat、servlet、rquest、Filter)等等。

三、主流Java开发框架

对于Java主流的开发框架需要重点学习的内容包括：Spring组件、SpringMVC组件、Mybatis组件、Lucene组件、Spring DataJPA、SpringBoot等。掌握这些Java开发中常用的框架以及微服务框架不仅可以顺利掌握JavaWeb企业级项目的开发，还可以为后期大数据学习做铺垫。是保障大数据项目的顺利开发。

四、操作系统

作为后台功能开发始终无法避免与操作系统服务器打交道。因此在大数据学习过程中还要掌握常用的Linux操作基础，当然作为大数据开发工程师没有必要掌握系统的运维能力，只要达到使用并且能够完成中小型企业常见的自动化脚本即可。

大数据自学要多久

对于有Java编程基础的同学，自学大数据相对容易上手，因为目前大部分大数据技术都是基于实现的，因此对于这部分同学而言，只要进一步学习大数据相关的理论知识，基本上就可以上手开发相应的项目。

而对于零基础的同学，自学大数据之前肯定要系统学习一下Java相关的技术，而零基础入门一种编程语言至少需要4-6个月的时间，达到熟练掌握的程度之后再学习大数据相关的技术，预计需要6-12个月的时间。最终还不一定能达到实操应用的层次，而在实战学习过程可能还需要3-4个月的时间才能系统的了解一个完整的项目操作流程，总计下来至少需要9个月左右的时间才能勉强达到就业的水平。