大数据分析怎么学

文章摘要：大数据分析怎么学

交流是对主题的理解和理论，也是对结果的解释，也就是最后能够清楚地解说你的数据。下面小编给大家介绍大数据分析入门 […]

交流是对主题的理解和理论，也是对结果的解释，也就是最后能够清楚地解说你的数据。下面小编给大家介绍大数据分析入门学习的方法，一起来看看吧。

大数据分析入门学习的方法

一、学会爱数据

没有人谈论在学习动机。数据科学是一个广泛而模糊的领域，这使得它很难学习。没有动力，你最终会中途停止对自己失去信心。

你需要些东西来激励你不断学习，即使是在半夜公式已经开始变的模糊，你还是想探究关于神经网络的意义。你需要些动力来让你发现统计、线性代数和神经网络之间的联系，当你在困惑“下一步我该学习什么?”的时候。

对于小白学习大数据需要注意的点有很多，但无论如何，既然你选择了进入大数据行业，那么便只顾风雨兼程。正所谓不忘初心、方得始终，学习大数据你最需要的还是一颗持之以恒的心。

二、在实践中学习

学习神经网络、图像识别和其他尖端技术是很重要的，但大多数数据科学工作不涉及这些：

1、90%的工作将是数据清理。

2、精通几个算法比知道一点许多算法要好。

如果你知道线性回归、k-means聚类和逻辑回归，可以解释和诠释他们的研究结果，并可以用这些完成一个项目，你将比如果你知道每一个演算法，但不使用它们更优秀。

大多数时候，当你使用一种算法，它将是库中的一个版本。通过项目，你可以获得有用的技能。

三、学会沟通

数据科学家需要不断展示他们的分析结果。这个过程可以区别数据科学家的水平。

交流是对主题的理解和理论，也是对结果的解释，也就是最后能够清楚地解说你的数据。

四、向同行学习

你根本想不到你会从同行身上学到很多东西，所以在数据工作中，团队合作非常重要。

五、不断增加学习的难度

你完全熟悉这个项目的工作了?你最后一次使用一个新概念是在一周前?那么是时候做些更加困难的挑战了。如果你停止攀登，那么不进则退。

大数据入门必须掌握知识

一、描述型分析

这是最常见的分析方法。在业务中，这种方法向大数据分析师提供了重要指标和业务的衡量方法。例如每月的营收和损失账单。大数据分析师可以通过这些账单，获取大量的客户大数据。了解客户的地理信息，就是“描述型分析”方法之一。利用可视化工具，能够有效的增强描述型分析所提供的信息。

二、诊断型分析

描述性大数据分析的下一步就是诊断型大数据分析。通过评估描述型大数据，诊断分析工具能够让大数据分析师深入地分析大数据，钻取到大数据的核心。良好设计的数据分析能够整合：按照时间序列进行大数据读入、特征过滤和钻取大数据等功能，以便更好的分析大数据。

三、预测型分析

预测型分析主要用于进行预测。事件未来发生的可能性、预测一个可量化的值，或者是预估事情发生的时间点，这些都可以通过预测模型来完成。预测模型通常会使用各种可变大数据来实现预测。大数据成员的多样化与预测结果密切相关。在充满不确定性的环境下，预测能够帮助做出更好的决定。预测模型也是很多领域正在使用的重要方法。

四、指令型分析

大数据价值和复杂度分析的下一步就是指令型分析。指令模型基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析，来帮助用户决定应该采取什么措施。通常情况下，指令型分析不是单独使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。例如交通规划分析考量了每条路线的距离、每条线路的行驶速度、以及目前的交通管制等方面因素，来帮助选择比较好的回家路线。

大数据的核心技术

一、数据采集与预处理

对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。

数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。

在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。

二、数据存储

Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。

HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。

三、数据清洗

MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map(映射)”和”Reduce(归约)”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。

随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。

四、数据查询分析

Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能。

Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapReducejobs，然后在hadoop上面运行。

Hive支持标准的SQL语法，免去了用户编写MapReduce程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapReduce、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL语言查询、汇总、分析数据。

五、数据可视化

对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BITableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数等。