大数据发展历程有几个阶段

大数据发展历程有几个阶段如下：

1、大数据技术发展的初期

虽然大数据概念已经被提出多年，但是目前大数据技术依然处在行业发展的初期。当前大数据技术本身已经趋于成熟

但是大数据技术的落地应用却刚刚开始，大数据落地应用的过程中必然会释放出大量的工作岗位和市场空间，这个过程将使得大数据成为市场的热点，人才和资金都会向大数据领域倾斜。

2、产业化阶段

大数据产业化的过程将是一个系统的过程，这个过程不仅仅涉及到大数据技术，也涉及到物联网、云计算等技术，另外大数据与传统行业也有密切的联系，这些都需要一个系统的规划才能完成大数据的产业化。

虽然目前大数据领域已经有了一个初步的产业链，但是离真正的产业化阶段还有较长一段距离，相信随着产业互联网的发展，大数据产业化的进程也会加快。从大数据自身涉及到的内容来看，大数据产业化的时间有可能需要数年甚至数十年。

3、行业成熟期

当大数据产业化进程结束之后，大数据相关技术将成为传统技术之一，相关的市场规模也会趋于平稳，以大数据为基础的新的应用将成为市场追求的热点。

从20世纪80年代发展至今，移动通信技术由1G的大哥大 2G王者诺基亚 3G CDMA 4G LTE 5G万物互联，经历了五代的变迁，每一代移动通信技术的发展都带来了时代的变迁，我们的生活也因此变得便捷丰富。

这是一段怎样的通信旅程呢？

1G：模拟语音时代

1G是第一代移动通信技术，制定于上世纪80年代，它是以模拟技术为基础的蜂窝无线电话系统，如今已淘汰的模拟移动网，在无线通信 历史 上，它坐上了第一把交椅。1G无线系统在设计上只能传输语音流量，并受到网络容量的限制。AMPS为1G网络的典型代表。

火爆“江湖”的大哥大

1G时代 “最贵的仔（售价贵、通讯贵）”—— 大哥大 ，它只能进行语音传输，接打电话，还有距离的限制，容易出现串号、盗号的现象，不久就被淘汰了，如今，只能成为很多人的回忆了。

2G：数字语音时代

2G是第二代手机通信技术规格，一改模拟通信方式，以数字语音传输技术为核心，开启了数字通信之路。相较于第一代移动通信技术，第二代移动通信具备高度的保密性，系统的容量也大幅增加，同时比1G多了数据传输服务，手机从这一代开始可以上网了，最早的文字简讯也从此开始。

诺基亚1100，全世界 历史 销量最高的手机

3G：CMDA大行其道的时代

3G是第三代移动通信技术，是指将无线通信与国际互联网等多媒体通信结合的新一代移动通信系统。2009年1月7日，中国发了三张3G牌照，分别是中国移动的TD-SCDMA，中国联通的W-CDMA和中国电信的WCDMA2000，中国进入了3G时代。

iPhone3G，具有划时代意义的产品，智能手机的开端

在3G 之下，我们有了更高频宽和稳定的传输，视频电话和大量数据传送更为普遍，移动通讯也有着更为多样化的应用。由于无线通信和互联网的结合，智能手机和平板电脑得以迅猛发展，3G更是被视为是开启移动通讯新纪元的关键。

4G：移动互联网新高度

4G是第四代移动通信技术，是2013 年才开始正式挺进人们视线里的小鲜肉，能够传输高质量视频图像，以及高质量图像。进入4G时代后，全球移动通信标准呈现出进一步融合的趋势。从影响力上来看，4G可以说是专门为移动互联网设计的通信技术，不论是从网速、容量和稳定性上来看，4G相较于上一代3G技术都有了明显的提升，并能够满足几乎所有用户对于无线服务的要求。

4G网络通信速度的极大提高，高清图像和视频等数据得以快速传输，移动互联网开启了一股新的浪潮，移动支付、滴滴、美团等新兴产业和应用的发展繁荣兴盛。

5G：万物互联的时代

5G是第五代移动通信技术，5G 网络主要有三大特点：

高速率， 不仅仅是3秒钟下载1部超高清这么简单，VR、AR、云技术将与生活无缝对接；

高可靠低时延， 毫秒级 通信时延,让无人驾驶、远程手术不再遥远；

超大数量终端网络， 达到 百万/平方公里 的联网终端,将形成更广阔和开放的物联网，让智慧家居、智慧城市成为可能。

信息随心至，万物触手及 ， 在5G网络中，数据传输速率是惊人的，速率稳定维持在2Gbps以上， 也就是250MB/s。

为了匹配5G网络，需要新建和升级改造大量的5G基站和高速宽带环境的数据中心，需要数量巨大的高速通信网线。 因此对拥有万兆高速传输能力，满足5G时代高速率、大容量、低延时 的 秋叶原 七类（CAT7）、超七类、四万兆八类（CAT8）网线的需求迎来了大爆发。

同时也需要对家用网线进行更新换代， 具有10Gbps传输速率，500MHZ带宽的 秋叶原超六类（CAT6A）网线 ， 成为 家庭和企业办公5G万兆高速传输的 首推 入门 网线。

历史 的车轮是在泥泞中前进的，不是在高速路上前进的。从1G到5G，主要区别在于速率、业务类型、传输时延，以及各种移动通讯等采用了不同的技术，遵循不同的通讯协议， 经历了 萌芽、成长、修正、提升 一系列过程， 所以，让我们继续期待新未来吧！

大数据技术发展史：大数据的前世今生

今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。

你知道，搜索引擎主要就做两件事情，一个是网页抓取，一个是索引构建，而在这个过程中，有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的，你从介绍中也能看出来，一个文件系统、一个计算框架、一个数据库系统。

现在你听到分布式、大数据之类的词，肯定一点儿也不陌生。但你要知道，在2004年那会儿，整个互联网还处于懵懂时代，Google发布的论文实在是让业界为之一振，大家恍然大悟，原来还可以这么玩。

因为那个时间段，大多数公司的关注点其实还是聚焦在单机上，在思考如何提升单机的性能，寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群，通过分布式的方式将海量数据存储在这个集群上，然后利用集群上的所有机器进行数据计算。 这样，Google其实不需要买很多很贵的服务器，它只要把这些普通的机器组织到一起，就非常厉害了。

当时的天才程序员，也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch，阅读了Google的论文后，他非常兴奋，紧接着就根据论文原理初步实现了类似GFS和MapReduce的功能。

两年后的2006年，Doug Cutting将这些大数据相关的功能从Nutch中分离了出来，然后启动了一个独立的项目专门开发维护大数据技术，这就是后来赫赫有名的Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。

当我们回顾软件开发的历史，包括我们自己开发的软件，你会发现，有的软件在开发出来以后无人问津或者寥寥数人使用，这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业，每年创造数百亿美元的价值，创造百万计的就业岗位，这些软件曾经是Windows、Linux、Java，而现在这个名单要加上Hadoop的名字。

如果有时间，你可以简单浏览下Hadoop的代码，这个纯用Java编写的软件其实并没有什么高深的技术难点，使用的也都是一些最基础的编程技巧，也没有什么出奇之处，但是它却给社会带来巨大的影响，甚至带动一场深刻的科技革命，推动了人工智能的发展与进步。

我觉得，我们在做软件开发的时候，也可以多思考一下，我们所开发软件的价值点在哪里？真正需要使用软件实现价值的地方在哪里？你应该关注业务、理解业务，有价值导向，用自己的技术为公司创造真正的价值，进而实现自己的人生价值。而不是整天埋头在需求说明文档里，做一个没有思考的代码机器人。

Hadoop发布之后，Yahoo很快就用了起来。大概又过了一年到了2007年，百度和阿里巴巴也开始使用Hadoop进行大数据存储与计算。

2008年，Hadoop正式成为Apache的顶级项目，后来Doug Cutting本人也成为了Apache基金会的主席。自此，Hadoop作为软件开发领域的一颗明星冉冉升起。

同年，专门运营Hadoop的商业公司Cloudera成立，Hadoop得到进一步的商业支持。

这个时候，Yahoo的一些人觉得用MapReduce进行大数据编程太麻烦了，于是便开发了Pig。Pig是一种脚本语言，使用类SQL的语法，开发者可以用Pig脚本描述要对大数据集上进行的 *** 作，Pig经过编译后会生成MapReduce程序，然后在Hadoop上运行。

编写Pig脚本虽然比直接MapReduce编程容易，但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算，比如说你可以写个Select语句进行数据查询，然后Hive会把SQL语句转化成MapReduce的计算程序。

这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度，迅速得到开发者和企业的追捧。据说，2011年的时候，Facebook大数据平台上运行的作业90%都来源于Hive。

随后，众多Hadoop周边产品开始出现，大数据生态体系逐渐形成，其中包括：专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop；针对大规模日志进行分布式收集、聚合和传输的Flume；MapReduce工作流调度引擎Oozie等。

在Hadoop早期，MapReduce既是一个执行引擎，又是一个资源调度框架，服务器集群的资源调度管理由MapReduce自己完成。但是这样不利于资源复用，也使得MapReduce非常臃肿。于是一个新项目启动了，将MapReduce执行引擎和资源调度分离开来，这就是Yarn。2012年，Yarn成为一个独立的项目开始运营，随后被各类大数据产品支持，成为大数据平台上最主流的资源调度系统。

同样是在2012年，UC伯克利AMP实验室（Algorithms、Machine和People的缩写）开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapReduce进行机器学习计算的时候性能非常差，因为机器学习算法通常需要进行很多次的迭代计算，而MapReduce每执行一次Map和Reduce计算都需要重新启动一次作业，带来大量的无谓消耗。还有一点就是MapReduce主要使用磁盘作为存储介质，而2012年的时候，内存已经突破容量和成本限制，成为数据运行过程中主要的存储介质。Spark一经推出，立即受到业界的追捧，并逐步替代MapReduce在企业应用中的地位。

一般说来，像MapReduce、Spark这类计算框架处理的业务场景都被称作批处理计算，因为它们通常针对以“天”为单位产生的数据进行一次计算，然后得到需要的结果，这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据，而是历史数据，所以这类计算也被称为大数据离线计算。

而在大数据领域，还有另外一类应用场景，它们需要对实时产生的大量数据进行即时计算，比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算，相应地，有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据，所以这类计算也被称为大数据实时计算。

在典型的大数据的业务场景下，数据业务最通用的做法是，采用批处理的技术处理历史全量数据，采用流式计算处理实时新增数据。而像Flink这样的计算引擎，可以同时支持流式计算和批处理计算。

除了大数据批处理和流处理，NoSQL系统处理的主要也是大规模海量数据的存储与访问，所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆，涌现出HBase、Cassandra等许多优秀的产品，其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。

我们回顾软件发展的历史会发现，差不多类似功能的软件，它们出现的时间都非常接近，比如Linux和Windows都是在90年代初出现，Java开发中的各类MVC框架也基本都是同期出现，Android和iOS也是前脚后脚问世。2011年前后，各种NoSQL数据库也是层出不群，我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。

事物发展有自己的潮流和规律，当你身处潮流之中的时候，要紧紧抓住潮流的机会，想办法脱颖而出，即使没有成功，也会更加洞悉时代的脉搏，收获珍贵的知识和经验。而如果潮流已经退去，这个时候再去往这个方向上努力，只会收获迷茫与压抑，对时代、对自己都没有什么帮助。

但是时代的浪潮犹如海滩上的浪花，总是一浪接着一浪，只要你站在海边，身处这个行业之中，下一个浪潮很快又会到来。你需要敏感而又深刻地去观察，略去那些浮躁的泡沫，抓住真正潮流的机会，奋力一搏，不管成败，都不会遗憾。

正所谓在历史前进的逻辑中前进，在时代发展的潮流中发展。通俗的说，就是要在风口中飞翔。

上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成；数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等，内置了主要的机器学习和数据挖掘算法。

此外，大数据要存入分布式文件系统（HDFS），要有序调度MapReduce和Spark作业执行，并能把执行结果写入到各个应用系统的数据库中，还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。

图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系，我将会在专栏后面逐个分析，帮你能够对大数据技术原理和应用算法构建起完整的知识体系，进可以专职从事大数据开发，退可以在自己的应用开发中更好地和大数据集成，掌控自己的项目。

希望对您有所帮助！~

物流发展历程：

1、物的流通；

2、后勤物流；

3、生产物流；

4、生产技术的应用；

5、供应链物流；

6、物联网的发展；

---