大数据中物联网架构的相关知识

随着大数据越来越火，企业们都开始纷纷使用大数据来解决问题。在大数据的解决方案中，有一个十分典型的案例，那就是物联网。其实物联网现在早就不是什么新兴的概念了，物联网现在有很多的成品已经进入了我们的生活中。在这篇文章中我们就重点为大家介绍一下关于物联网架构的相关知识。
1物联网的架构
物联网是有设备、现场网关、云网关、应用程序后端组成，物联网涉及到了云计算、大数据、嵌入式、单片机等内容，而云网关使用可靠、低延迟的消息传递系统在云边界引入设备事件。设备可能会直接将事件发送到云网关，或通过现场网关发送。现场网关是一种专用设备或软件，通常与接收事件并将事件转接到云网关的设备位于同一位置。现场网关也可预处理原始设备事件，执行过滤、聚合或协议转换等功能。当这个消息引入后，事件将通过一个或多个流处理器，此处理器可将数据路由到存储等位置，也可执行分析和其他处理。这样就是物联网架构工作原理。
2物联网常见处理类型
物联网的常见的处理类型具体就是将事件数据写入冷存储，用于存档或批处理分析。然后就是热路径分析，实时或者近乎实时分析事件流，以检测异常，识别滚动时间范围内的模式，或者在流中出现特殊情况时触发警报。而在处理设备的过程中处理设备中特殊类型的非遥测消息，比如通知和警报。这里还涉及到到了机器学习。通过控制物联网系统的组件去进行设备的运转。
3物联网中有什么是需要注意的？
上面所提到的组件与事件流式传输没有直接关系，而设备注册表是预配设备的数据库，包括设备ID和常见的设备元数据，如位置信息。而预配 API 是一种常见的外部接口，用于预配和注册新设备。某些物联网的解决方案可使命令和控制消息发送到设备。这样就是物联网的常见处理类型。
在这篇文章中我们给大家介绍了大数据中物联网的架构和常见的处理类型的内容。物联网是现在科技发展的一个方向，有很多的生活用品都实现了万物相联，可见物联网的使用广度还是非常厉害的，有意向往这方面发展的朋友，一定要好好努力哟，相信将来一定学有所成，得到自己想要的人生。

包括二维码标签和识读器、RFID标签和读写器、摄像头、GPS、传感器、M2M终端、传感器网关等， 感知层由基本的感应器件（例如RFID标签和读写器、各类传感器、摄像头、GPS、二维码标签和识读器等基本标识和传感器件组成）以及感应器组成的网络（例如RFID网络、传感器网络等）两大部分组成。该层的核心技术包括射频技术、新兴传感技术、无线网络组网技术、现场总线控制技术（FCS）等，涉及的核心产品包括传感器、电子标签、传感器节点、无线路由器、无线网关等。 一些感知层常见的关键技术如下：

1、传感器：传感器是物联网中获得信息的主要设备，它利用各种机制把被测量转换为电信号，然后由相应信号处理装置进行处理，并产生响应动作。常见的传感器包括温度、湿度、压力、光电传感器等。

2 RFID：RFID的全称为Radio Frequency Identification，即射频识别，又称为电子标签。RFID是一种非接触式的自动识别技术，可以通过无线电讯号识别特定目标并读写相关数据。它主要用来为物联网中的各物品建立唯一的身份标示。

3 传感器网络：传感器网络是一种由传感器节点组成网络，其中每个传感器节点都具有传感器、微处理器、以及通信单元。节点间通过通信网络组成传感器网络，共同协作来感知和采集环境或物体的准确信息。而无线传感器网络（Wireless Sensor Network，简称WSN），则是目前发展迅速，应用最广的传感器网络。 对于目前关注和应用较多的RFID网络来说，附着在设备上的RFID标签和用来识别RFID信息的扫描仪、感应器都属于物联网的感知层。在这一类物联网中被检测的信息就是RFID标签的内容，现在的电子（不停车），收费系统（Electronic Toll Collection，ETC）、超市仓储管理系统、飞机场的行李自动分类系统等都属于这一类结构的物联网应用。

>

物联网、大数据及人工智能都是近年来互联网行业比较火热的话题，三者之间具有非常紧密的联系。想探讨物联网、大数据及人工智能之间如何融合，首先需要了解其基本概念。

概念

1、物联网

根据百度百科的解释，物联网（InternetofThings，IoT）是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络（万物互联）。物联网网络架构设计由感知层、网络层及应用层组成，分别实现数据采集、数据传输及数据应用的功能。目前，物联网已经广泛应用于智慧医疗、智慧环保、智慧城市、智能家居及物流等领域。

2、大数据

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有体量大（Volume）、及时性（Velocity）、多样性（Variety）、低价值密度（Value）及真实性（Veracity）的“5V”特性。

3、人工智能

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。目前，人工智能正在改变各行各业的传统模式，作为人工智能分支的机器学习/深度学习已经广泛用于自然语言处理（NLP）、计算机视觉（CV）、机器翻译及推荐系统等领域。

深度融合

物联网、大数据、人工智能三者之间相辅相成，可以形成一个闭环通路。物联网作为智能感知层，主要负责采集现场的数据并将数据上传至分布式数据库中；大数据作为数据存储层，将经过ETL处理后的数据保存到分布式文件系统（HDFS）或数据仓库（HIVE）中；人工智能作为应用层，可利用sparkml或tensorflow实现相关的机器学习或深度学习算法，对存储在HDFS或HIVE中的数据进行数据挖掘。

应用案例

目前，物联网、大数据、人工智能已经广泛用于智慧城市、智慧环保、智慧交通等领域。以智慧环保中的空气预警为例，首先，物联网可以作为智慧感知层，安装在客户现场的空气监测设备采集的空气质量信息通过网络传输数据中心；而后，利用大数据ETL工具（spark、hive）进行数据清洗并存储至分布式数据库/文件系统/数据仓库中；最后，利用人工智能相关技术进行大数据分析（sparkml、tensorflow），预测未来若干天的空气质量，并以此辅助进行科学决策及改善环境。

交通拥堵传感器

智能交通系统使用物联网传感器来检测交通模式中的拥堵和瓶颈。他们同样依靠摄像机来实现速度提升和交通违规取证。这样做，这些设备收集可由城市使用的恒定数据，以使便携式网络更安全和更好。通过在智能交通系统上开发应用程序，交通系统已成为世界增长的基础。

桥梁检查系统

传感器会监测桥梁的结构稳固性，并将任何问题通知城市工程师。无人机用于通过智慧桥梁系统应用程序检查难以到达的桥梁区域的问题，工程师可以迅速找到位置来解决问题。该系统完全符合非破坏性测试标准，并使用连接到建筑物的传感器，以提供对建筑物 健康 状况的连续监控。这些传感器不能代替传统的检查，而是可以作为预警系统，以便地方当局或资产所有者可以预期并安排现场检查和维护工作。

废物管理传感器

技术清洁城市的最佳方法。物联网传感器可检测城市周围的垃圾量，以便环卫工人可以清洁其路线中的垃圾。物联网会填充物位传感器，实现机器人的自动化并增强浪费，使高管人员的框架共同发挥作用，使协会可以保护并变得更加环保。简而言之，物联网传感器为希望照顾可持续，互联增长的城市提供了更好的选择。

照明传感器

现代智能照明系统基于发光二极管（LED）技术，并涉及先进的技术驱动器。现在，照明系统正在发展，以支持与环境兼容的不同无线通信接口。 LED灯是适应性天气，当需要借助基于的应用程序更换灯泡时，会自动将通信发送到公共工程部。

火灾探测

传感器监测可能易于着火的 娱乐 场所和茂密地区的条件。传感器同样可以区分建筑物中的火灾，并且传感器会向附近的紧急服务发出警报。物联网系统的远程监控和诊断功能可帮助消防员提前了解人员和卡车的位置。物联网会向消防人员以及烟雾报警器发出警报的地方，发出温暖信号的标志或水的区域发出警告正在实施流切换。

停车传感器应用

您还知道有关停车应用程序的信息，这些应用程序可与智能停车收费表配合使用，以告知驾驶员哪里有停车位。智能停车开发意味着基于物联网的系统，该系统通过在线或移动应用程序发送有关空闲和已占用停车位的数据。每个停车位都有物联网设备，包括传感器和微控制器。用户收到有关所有停车位供应的实时更新，并选择最简单的更新。同样，该应用程序还提供有关先前停车收据和会话的信息。

用水和废水监测

水处理中的物联网使用在水系统中各个位置安装的物联网智能城市传感器的。这些传感器从各个地方收集数据，并将其发送回监视系统。启用的智能水传感器可以跟踪水的质量和温度。物联网还可以在泄漏检测中发挥作用，并发送即时警报。这些通知是即时的，而如果工程师不得不用手或步行查看量，则可能需要数小时才能检测到阻力。现在，它使工程师可以更快地处理难题，找到答案并前进到后续任务。

处于市场验证期

物联网是通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等 信息传感设备，按约定的协议，把任何物体与因特网连接起来，进行信息交换 和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。物联网发 展历史悠久，可分为三个阶段：

物联网连接数超120亿个

根据全球移动通信系统协会(GSMA)统计数据显示，2010-2020年全球物联网设备数量高速增长，复合增长率达19%;2020年，全球物联网设备连接数量高达126亿个。“万物物联”成为全球网络未来发展的重要方向，据GSMA预测，2025年全球物联网设备(包括蜂窝及非蜂窝)联网数量将达到约246亿个。万物互联成为全球网络未来发展的重要方向。

下游制造业/工业占比最大

从下游领域来看，根据IoT Analytics的数据，2020年全球物联网行业下游占比中，制造业/工业占比22%排在首位，其次是交通/车联网，占比15%。智慧能源、智慧零售、智慧城市、智慧医疗和智能物流分别占比14%、12%、12%、9%和7%，排在第3至7位。

2020年物联网链接内容90%属低功耗、广域网领域

2020年整个物联网90%连接属于低功耗、广域网领域。万物互联趋势下，传统移动蜂窝网络的高使用成本和高功耗催生了专为物联网连接设计的低功耗广域连接技术，对应中低速率应用场景，拥有广覆盖、扩展性强等特征，更符合室外、大规模接入的物联网应用。

2026年市场规模接近155万亿美元

根据知名国际信息技术数据公司lDC的测算，2019年全球loT市场规模为6860亿美元，到2022年，这一数字将突破万亿美元;与此同时，2019年全球通过万物互联传输的数据规模已达到14ZB，2025年传输规模则将达到80ZB。在loT行业本身的从全球来看，目前全球物联网相关的技术、标准、产业、应用、服务处于高速发展阶段。整体上物联网核心技术持续发展，标准体系正在构建，产业体系处于建立和完善过程中。移动互联网连接和工业互联网连接是未来发展的主要趋势，根据lDC的测算数据，2020年全球物联网市场规模为7490亿美元，年平均增长率为1220%;预计2026年，全球物联网市场规模将会接近155万亿美元。

—— 以上数据参考前瞻产业研究院《中国物联网行业细分市场需求与投资机会分析报告》

物联网网关作为一个新名词，将在未来物联网时代发挥非常重要的作用。它将成为感知网络和传统通讯网络之间的纽带。物联网网关作为一种网关设备，能够完成感知网络与通讯网络以及不同类型感知网络之间的协议转化。

网关既能够完成广域互连，也能够完成局域网互连，具备设备办理功能。运营商能够办理底层传感节点，了解每个节点的相关信息，经过物联网网关设备完成长途 *** 控。

这一部分强调了一个要害点，即物联网网关完成感知网络与通讯网络的互联，但感知网络中有许多不同的协议，如LonWorks、ZigBee、6LoWPAN、rubee等来完成这种互联网，网关有必要具有协议转化才能。一起，网关有两个要害点，即完成广域互联。当广域网不行用时，网关往往能完成局域网互连，即近端之间的交互与协作。

lora网关

主要功能：

一广泛的访问才能

现在，短程通讯的技能规范许多，只有LonWorks、ZigBee、6LoWPAN、rubee等常用的无线传感器网络技能，各种技能主要是针对某一应用开发的，缺少兼容性和体系规划。现在，国内外现已开展了物联网网关的规范化作业，如3GPP、传感器作业组等，以完成各种通讯技能规范的互联互通。

二可办理性

强壮的办理才能关于任何大型网络都是必不行少的。首先，需要对网关进行办理，如注册办理、权限办理、国家监管等。网关完成了子网中节点的办理，例如获取节点的标识、状况、特点、能量等，以及因为子网的技能规范和协议复杂性的不同，唤醒、 *** 控、确诊、升级和保护等的长途完成，网关具有不同的办理功能。根据物联网的模块化网关来办理不同感知网络、不同应用，保证使用一致的办理接口技能来办理终端网络节点。

三协议转化才能

不同感知网络到接入网络的协议转化，低规范格局的数据一致封装，保证不同感知网络的协议能够成为一致的数据和信令;将上层宣布的数据包分析成可由感知层协议识别的信令和 *** 控指令。

总结这些基本网关才能没有问题，但关于物联网网关来说，要害点之一是网关本身是完成感知层和通讯层的仅有入口和出口通道。外部只需要处理网关，而网关用于调度和 *** 控下面访问和注册的各种类型的传感设备。

因而，网关具有相似于API网关的要害才能，即对传感层中各种传感设备供给的不同类型的协议进行接入和适配，一起在协议接入后能够转化为规范接口协议和通讯层交互。关于实时接口，它能够选用相似的>

一般来说，物联网网关在架构和实现进程中会提供硬件设备，实现协议转化、路由、转发、自动注册办理、南北一体化的接口才能。这个网关通常是布置在局域网端的设备。对于整个云架构，只有网关设备和云能够交互。

边缘计算的终究落地能够在物联网网关层实现，即进一步提高物联网网关的存储和核算才能。一方面，在网关层实现本地收集后的数据自动收集，二次处理后收集上传到云端。另一方面，将云的要害核算规矩和逻辑散布到网关层，支撑网关层的本地化核算。这也是网关层功用的一个要害扩展。

---