一、大数据是什么？
1、大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2、大数据是对庞大的数据进行存储、计算、统计、分析处理的一系列处理方式，它的数据量大小都是以TB级、PB级、EB级来定义的，所以传统数据处理手段是无法完成的，同时它所涉猎的技术有数据收集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现等技术；结合了当前IT领域非常热门的IT技术。所以大数据也有了以下新的特征：
· 包容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息；
· 种类（Variety）：数据类型的多样性；
· 速度（Velocity）：指获得数据的速度；
· 可变性（Variability）：妨碍了处理和有效地管理数据的过程。
· 真实性（Veracity）：数据的质量；
· 复杂性（Complexity）：数据量巨大，来源多渠道；
· 价值（value）：合理运用大数据，以低成本创造高价值等。
3、大数据不是某个专业或一门编程语言，实际上它是一系列技术的组合运用。
二、大数据有哪些发展方向
1、数据清洗、收集、爬虫 //偏脚本、爬虫能力
2、数据分析 //偏业务，偏SQL，偏分析能力
3、数据开发 //偏平台，偏工程化、后端开发能力
三、学习大数据门槛
目前市面上大多数的机构，对于大数据学习者要求必须是大专学历以上，而且大专学历还要求是计算机相关专业的，如果是本科及本科以上的，则对专业要求适当的放宽。同时大数据分为两大方向：大数据开发和大数据分析。这两大方向的对于基础知识的要求不同，大数据分析偏向于分析，对于编程要求不高，相较而言对于基础知识这块要求低一点。
下面我们结合大数据开发来说明大数据开发学习需要学习哪些知识。
四、大数据开发应该怎么学习
1、需要掌握java语言的编程技术包含（Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握Java基础是必不可少的。）；
2、Linux的入门（对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础操作命令。）；
3、Hadoop的生态圈（Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。）
4、Hive（Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。Hive是由Facebook开源用于解决海量结构化日志的数据统计的工具。）
5、HBase（Base是一个分布式的、面向列的开源数据库，一个结构化数据的分布式存储系统，HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式）
6、ZooKeeper（ZooKeeper是一个经典的分布式数据一致性解决方案，致力于为分布式应用提供一个高性能、高可用，且具有严格顺序访问控制能力的分布式协调服务。）
7、Flume 8、Scala 9、Spark 10、Redis 11、sqoop 12、ES 13、kafka 14、Flink 15、Git、Docker等等我就不一一介绍了 大家可以参考以下我整理的课程线路图
五、大数据未来的趋势：
2019年-2021年，将成为未来20年间大数据及人工智能最佳的产业资本并购整合窗口期，就像2003年-2006年互联网产业整合的窗口期一样。大数据与人工智能相互依托，在政策层面已经上升为国家战略，而且迅速进入全面启动实施阶段；技术层面，大数据技术已经基本成熟，并且推动人工智能技术以惊人的速度进步；产业层面，智能安防、自动驾驶、医疗影像等都在加速落地。
六、大数据的发展空间及大家最关心的收入问题
如今随着环境的改变，也经常关注国家发展战略及个人技术圈的发展，但自己适合的技术发展道路该怎么走，也算有个方向了。大多数java的工程师做个3-5年，薪资最多也就是个1--2.5万这个样子了。然后2.5万对于Java技术人员来说已经到了极限，当然Java架构师或者做底层的开发人员工资相对技术人员来说薪资较高一些。但是对于从事Hadoop这行业的技术人员来说2万多只能算一般般。以Hadoop开发工程师为例，Hadoop入门月薪已经达到了8K以上，工作1年月薪可达到1.2W以上，具有2-3年工作经验的hadoop人才年薪可以达到30万—50万。所以大数据是有很大的发展空间。 我认为这是一个很不错的选择，横向发展，拖宽自己的知识广度，未来或许就能把握更多的机遇。所以大数据开发之路可能就是一个不错的方向。
七、大数据开发必备进阶全套资料（免费获取） 私信获取领取方式或者添加微信：tzbj2019
无套路 私信获取领取方式或者添加微信：tzbj2019