大数据是干什么的？

要想简单明了地表述出大数据的概念和 *** 作，应该站在一个更高的视野来看待大数据，通常来说，站在行业的高度来看待大数据，大数据的核心在于为行业领域带来新的价值空间，通过大数据来全面重塑企业各种模式，而如果单纯地站在数据的角度来看待大数据，大数据的核心在于数据的价值化，数据价值化的过程本身就能够开辟出一个巨大的价值空间。
大数据的 *** 作要紧紧围绕大数据的价值空间来展开，目前主要的 *** 作可以分为三大块，分别是数据采集 *** 作、数据分析 *** 作和数据应用 *** 作，这些 *** 作的背后几乎涵盖了当前大数据行业的所有产业链。
数据采集 *** 作是大数据产业链的起始端，所以要想了解大数据 *** 作，首先就应该从数据采集开始。当前数据采集渠道通常有三个，一个是传统信息系统，比如各种ERP系统就是典型的代表，这些ERP系统当中的数据往往具有较高的价值密度，通常对于安全性也有非常高的要求。从数据结构上来看，传统信息系统的数据结构是相对比较单一的，处理起来也比较容易。
其二是互联网（Web）系统，相对于ERP系统来说，互联网本身就是一个巨大的数据池，这个数据池不仅承载了大量的数据，同时还在不断更新，这也为数据采集提供了天然的渠道。相对于传统信息系统来说，互联网系统本身的数据类型是比较复杂的，结构化数据、半结构化数据和非结构化数据混杂，这对于数据分析 *** 作也提出了较高的要求。
其三是物联网系统，当前物联网系统所产生的数据是大数据的主要数据来源，也可以说物联网是促进大数据概念产生的重要原因之一。物联网所产生的数据不仅数据量大，数据类型多样化，同时物联网所产生的数据还有比较低的价值密度，这对于数据分析技术提出了更高的要求。随着5G通信的落地应用，物联网本身产生的数据量会越来越大，自身的价值空间也会越来越大。
数据分析 *** 作是当前大数据 *** 作的重要环节，实际上对于大量传统行业来说，数据分析将是很多职场人需要重点掌握的技能之一。当前数据分析 *** 作有两种主要方式，一种是统计学方式，另一种是机器学习方式。统计学的数据分析方式是比较传统的数据分析方式，有大量的工具可以使用，针对于结构化数据来说，统计学的数据分析方式往往更适合一些。机器学习的数据分析方式针对于复杂的数据环境往往有更好的分析效果，但是对于数据分析人员也提出了更高的要求。
数据应用 *** 作是体现大数据价值的重要渠道，所以数据应用 *** 作也非常重要。从最终的应用目标来看，数据应用 *** 作的目标无外乎两大类，一类是人类用户，另一类是智能体（人工智能产品）。从大的发展趋势来看，在大数据时代，要想充分发挥出大数据的价值，应该重视智能体的应用渠道。

物联网就是通过信息传感设备，按照约定的协议，把任何物品与互联网连接起来，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。
通俗地讲，物联网就是“物物相连的互联网”，它包含两层含义：
第一，物联网是互联网的延伸和扩展，其核心和基础仍然是互联网；
第二，物联网的用户端不仅包括人，还包括物品，物联网实现了人与物品及物品之间信息的交换和通信。
物联网作为新一代信息技术的高度集成和综合运用，具有渗透性强、带动作用大、综合效益好的特点，是继计算机、互联网、移动通信网之后信息产业发展的又一推动者。

课程名称
使用教材
备注
物联网产业与技术导论
《物联网：技术、应用、标准与商业模式》，电子工业出版社，等教材。
在学完高等数学，物理，化学，通信原理，数字电路，计算机原理，程序设计原理等课程后开设本课程，全面了解物联网之RFID、M2M、传感网、两化融合等技术与应用。
C语言程序设计
《C语言程序设计》，清华大学出版社，等教材。
物联网涉及底层编程，C语言为必修课，同时需要了解OSGi，OPC，Silverlight等技术标准
Java程序设计
《Java语言程序设计教程》，机械工业出版社，等教材。
物联网应用层，服务器端集成技术，开放Java技术也是必修课，同时需要了解Eclipse,SWT, Flash, HTML5,SaaS等技术
无线传感网络概论
《无线传感器网络理论、技术与实现》,国防工业出版社，《短距离无线通讯入门与实战》北京航空航天大学出版社，等教材。
学习各种无线RF通讯技术与标准，Zigbee, 蓝牙，WiFi，GPRS,CDMA，3G, 4G, 5G，Mote等等
TCP/IP网络与协议
《TCP/IP网络与协议》，清华大学出版社，等教材。
TCP/IP以及OSI网络分层协议标准是所有有线和无线网络协议的基础，Socket编程技术也是基础技能，为必修课
嵌入式系统
《嵌入式系统技术教程》，人民邮电出版社等教材。
嵌入式系统是物联网感知层和通讯层重要技术，了解TinyOS等，为必修课
传感器技术概论
《传感器技术》，中国计量出版社，等教材。
物联网专业学生需要对传感器技术与发展，尤其是在应用中如何选用有所了解，但不一定需要了解传感器的设计与生产，对相关的材料科学，生物技术等有深入了解
RFID技术概论
《射频识别（RFID）技术原理与应用》，机械工业出版社，等教材。
RFID作为物联网主要技术之一，需要了解，它本身（与智能卡技术融合）可以是一个细分专业或行业，也可以是研究生专业选题方向。
工业信息化及现场总线技术
《现场总线技术及应用教程》，机械工业出版社，等教材。
工业信息化也是物联网主要应用领域，需要了解，它本身也可以是一个细分专业或行业，也可作为研究生专业选题方向。
M2M技术概论
《M2M: The Wireless Revolution》，TSTC Publishing，等教材。
本书是美国“Texas State Techinical College”推出的M2M专业教材，在美国首次提出了M2M专业教学大纲，M2M也是物联网主要领域，需要了解，建议直接用英文授课。
物联网软件、标准、与中间件技术
《中间件技术原理与应用》，清华大学出版社，《物联网：技术、应用、标准与商业模式》，电子工业出版社，等教材。
物联网产业发展的关键在于应用，软件是灵魂，中间件是产业化的基石，需要学习和了解，尤其是对毕业后有志于走向工业和企业界的学生。

物联网中如何使用大数据
在瞬息万变的世界中，组织很难赶上不断涌现的新概念。但人们需要区分哪些技术和概念是有用的，哪些只是一种炒作。在数据分析领域，正是大数据引发了这个时代的质疑。而如今，当这个概念日益清晰时，一个新的应用浪潮即将到来：人们需要了解在物联网中如何使用大数据。

关于什么是大数据及其可带来的价值的热烈讨论已经开始消退。然而，当专家们开始大量使用大数据和物联网的技术组合时，人们又再一次试图定义物联网与大数据连接的方式。
物联网与大数据的接触点
简而言之，物联网是连接到互联网的设备网络。这些设备具有内置的传感器，可以生成数据并对外发送，从而可以相互通信，并与分析系统进行通信。
即使对物联网设备仍然很陌生，这个概念已经在人们的生活中找到了方向。设想一个智能家庭，它可以通过调节供暖和空调系统的运行模式来调节温度，可以开启和关闭照明系统，可以发出有关漏水或气体泄漏或外人入侵的信号。最重要的是，智能家居可以在没有户主参与的情况下做到这一点。
物联网业务的一个典型例子是机器监控，使用安装在不同机器部件上的多个传感器。这些传感器将有关温度、振动、压力、润滑等读数发送给分析系统，分析系统对其进行处理并识别一些隐藏的模式和相关性。如果系统识别出读数与某种故障模式相匹配，则会向维护团队发送即时警报。
以下将回答物联网如何与大数据相交的棘手问题。当一些技术正在炒作时，物联网可能是其中之一。实际上，物联网数据是大数据的类型之一，这使得大数据技术堆栈在所有阶段处理物联网数据都是一个很好的（但不是唯一的）选项。对于数据摄取，企业可以使用Apache Kafka，因为该技术支持数据流。Apache Hadoop生态系统是数据存储和处理历史数据的理想选择，而Apache Spark则非常适合近实时数据处理。
大数据使用案例中的物联网数据规则
而人们开始了解制造商所提供的用例。同时，也可以在其他行业了解物联网数据，了解物联网大数据用例。
医疗保健：在医疗保健领域，配戴移动应用技术的可穿戴传感器设备可以实现远程健康监测。该方法的工作原理如下：传感器监测特定患者的状态（心跳、体温、血压、呼吸率等），并将这些数据实时传送到云端，然后传送到应用程序。分析系统不断搜索所有患者物联网数据中的隐藏趋势，并试图找出可能引发并发症的模式。如果物联网的大数据分析显示某些令人担忧的症状，系统会立即向患者和医生发送警报。
零售：知名零售商亚马逊公司最近推出了一个新概念 - Amazon Go。这是一家没有收银员的商店，顾客不必排队等待购物。要进入商店只用扫描他们的智能手机即可。事实上，在这里采用的是物联网和大数据分析技术：商店里遍布传感器和摄像头，顾客在商店中购物，摄像头能够区分其中的每一个人，并且跟踪他们放入购物车或返回货架的所有产品。重量传感器提供了一个额外的控制点：他们可以认识到特定的产品已经不在货架。当顾客完成购物时，他们选择的所有产品都显示在真实和虚拟的篮子中，顾客可以离开商店，系统将在稍后收费。
毫无疑问，Amazon Go是一个有远见的概念。然而，零售业表现出更多脚踏实地的想法，例如智能物流技术，可以跟踪和优化路线，并识别每位卡车司机的行为模式。零售商还使用信标激活访问者的应用程序，并在访问者进入商店并通过信标时，推出相关产品优惠和促销活动。访客会因此感到满意，因为他们收到参加促销活动提供的个性化优惠。同时，信标对商店员工也有帮助，因为它们可以识别需要高质量服务的具有价值的客户。
银行业：银行业也从物联网中受益。银行正在努力获取客户全方位的视角，并提供无缝的客户体验。虽然这一切始于智能手机的积极参与，但物联网进一步扩展至可穿戴设备。例如，美国银行与FitPay公司合作进一步推动可穿戴支付技术。通过这种合作，持卡人将能够直接从他们的智能手表和其他可穿戴设备付款。银行将能够识别客户的行为和偏好。
语结
尽管围绕物联网进行了更多的炒作，但它只是大数据源其中之一。毫无疑问，这是一个有价值的领域，而且正在不断发展。如果企业已经实施了一些大数据解决方案，也许已经处理物联网数据，如果企业正计划采用大数据方案，希望以上描述的用例可以激发一些伟大的想法。

随着社会迅速发展，人类逐渐进入大数据的时代，而物联网与云计算作为近年来的热点，受到了业内不少人士的关注。据业界人士分析，大数据的前景与物联网以及云计算这两者之间的关系非常密切，那么，真像业界人士所说的那样它们之间存在着不一样的关系呢？下面，我们就来了解一下大数据与物联网、云计算之间的关系吧。
大数据概念
巨量资料(big data)，或称大数据、海量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。“大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用,形成的智力资源和知识服务能力。
大数据市场格局
具体意义上来讲，早在20世纪90年代“数据仓库之父”的Bill Inmon便提出了“大数据”的概念。大数据之所以在最近走红，主要归结于互联网、移动设备、物联网和云计算等快速崛起，全球数据量大大提升。可以说，移动互联网、物联网以及云计算等热点崛起在很大程度上是大数据产生的原因。
我们通过分析，形象的知道大数据与移动互联网、物联网以及传统互联网的关系。物联网，移动互联网再加上传统互联网，每天都在产生海量数据，而大数据又通过云计算的形式，将这些数据筛选处理分析，提前出有用的信息，这就是大数据分析。
大数据与云计算
云计算（cloud computing）是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。近几年，云计算的概念受到了学术界、商界，甚至政府的热捧，一时间云计算无处不在，这真让同时代其他的IT技术相形见绌，无地自容。
本质上，云计算与大数据的关系是静与动的关系；云计算强调的是计算，这是动的概念；而数据则是计算的对象，是静的概念。如果结合实际的应用，前者强调的是计算能力，或者看重的存储能力；但是这样说，并不意味着两个概念就如此泾渭分明。大数据需要处理大数据的能力（数据获取、清洁、转换、统计等能力），其实就是强大的计算能力；另一方面，云计算的动也是相对而言，比如基础设施即服务中的存储设备提供的主要是数据存储能力，所以可谓是动中有静。
如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。
大数据与物联网
物联网是一个基于互联网、传统电信网等信息承载体，让所有能够被独立寻址的普通物理对象实现互联互通的网络。
大数据与物联网之间的关系是相铺相成的。物联网产生大数据。美国人前几年医院一年产生500个数据，IMT1。4TB数据等各种的数据通过传感器产生，也有在网上直接产生的，我们现在处于大数据时代，物联网一分钟可以产生非常多的东西，苹果下载2万余次，一分钟会上传10万条新微博，全世界物联网上虚拟网络上，产生了大量的数据。
物联网产生的大数据与一般的大数据有不同的特点。物联网的数据是异构的、多样性的、非结构和有噪声的，更大的不同是它的高增长率。物联网的数据有明显的颗粒性，其数据通常带有时间、位置、环境和行为等信息。物联网数据可以说也是社交数据，但不是人与人的交往信息，而是物与物，物与人的社会合作信息。
除此之外，大数据助力物联网，不仅仅是收集传感性的数据，实物跟虚拟物要结合起来。今天北京交通堵塞，但是并不知道堵塞原因，如果政府发布消息和市民微博发布消息结合起来就知道发生什么事，物联网要过滤，过滤要有一定模式。

---