从零开始设计环保监测物联网系统(二)

IOT网关，接收sensor数据的总入口，主要是日志，安全防护，流控，协议转换等功能，

图1 IOT网关

之前有提到IOT网关是基于python的twisted框架实现的，初期的时候该IOT网关主要实现的功能是 数据接收和转换功能 和 安全防护 。

数据接收和转换功能 ，这里很简单，拟定好数据交互格式后，IOT网关按照约定好的格式进行解析，然后转发给后端服务进行进一步的处理

安全防护 ，设备的区分主要是依靠烧录到硬件的SN号来实现，SN号包含的信息比较多，如生产批次，设备型号等，受制于厂商我安全防护不能做的非常完善，同时sensor与IOT网关的交互不能非常复杂。安全防护这一块理论上是设备接入要一型一密或者一机一密，协议上还应该启用tls/ssl安全通信协议。

图2 鉴权

安全防护要做ssl这类的安全通信协议的话，要考虑设备厂商实现通信模块能力，设备功耗，设备性能（低端设备cpu性能可能比较差，可考虑对称加密形式），IOT网关也需要引入相应模块。

另外认证从性能方面考虑，后期在设备比较多的情况下，可以加入redis等内存型key-value数据库，缓存设备信息，提高鉴权模块性能。

实践中，我们的sensor基本都是依靠电池供电，因此我们的IOT网关基本是面向短链接（后期我们有监测设备，依靠外部电源直接供电，为长连接），因此在每次发起连接我们都要进行一次鉴权，鉴权通过后，设备方可上传传感器监测数据和设备自身状态。

图3 数据交互流程

这一块的调试工作长达半年左右，才基本稳定下来，主要集中在设备商处除了硬件稳定性，还有在调试中发现传输的字符串乱码（c语言处理问题），沾包（厂商开发人员tcp协议不熟），优化传输效率，关闭cork或者 Nagle 算法（传输包很小）。

因为IOT网关不能主动断连接，理论 *** 作中，IOT网关应该和sensor有心跳协议，保证连接的有效性。设备商在数据流程交互完成后，竟然没有close 连接，直接休眠，导致网关所在服务器的连接的文件描述符一直没有正常释放，后面为了预防这种现象，我开启了 *** 作系统层面的keepalve定时器，回收失效连接（系统默认时间是2小时左右，我缩短了失效时间），理论上来说应该是应用层面去实现心跳协议。

整个IOT网关的设计，是无状态，可伸缩的，单网关在普通型ecs上可轻松达到数百tps。

韦东山：6000字长文告诉你如何学习嵌入式linux

链接：网页链接

第1章 单片机和Linux的区别

11 有哪些产品使用单片机或Linux

所有的电子产品，所用技术都可以认为要么是单片机，要么是Linux；GUI方面主要是QT/Android，它们都是运行于Linux之上的。

也许你不服！不是还有ucos、vxwork、wince、IOS吗？下面这个图是关于 *** 作系统的占比，是2016年的，我没找到更新的图，但是很有参考意义：

我们说的单片机不使用 *** 作系统，在上图中没有体现出来。但是使用单片机设备肯定远远超过Linux。很多人也是先学习单片机，从单片机进入电子工程师行业

日常生活中，有哪些产品使用单片机、Linux呢？下面举一些例子：

我们设计一个产品时，是使用单片机还是Linux，取决于成本：硬件成本、软件成本、维护成本、升级成本。而不应该根据个人偏好来选择：我喜欢单片机，所以就排斥使用Linux；我喜欢Linux，就排斥使用单片机。为了有更多的选择，我们需要既懂单片机，又懂Linux。

12 在硬件 *** 作上单片机和Linux是类似的

以点灯为例，
无论是单片机还是Linux，我们要做的事情都一样：

① 看原理图，确定引脚是哪一个，确定它输出什么电平才可以

② 看芯片手册，确定要怎么 *** 作寄存器

③ 写程序

但是，怎么编写程序，单片机和Linux有很大不同。

13 在单片机中点灯、使用LCD

使用单片机开发程序时，我们一上来就写一个main函数，下面是一些简化的代码：

LED程序里面的init_led、led_on、led_off函数是你一个人写的，爱取什么名就取什么名，爱怎么写就怎么写。

LCD程序里的函数也是你写的，完全是自由发挥。

很多单片机项目不是很复杂，2、3个人从上到下统统搞定，里面的函数大多时间是直接去读写寄存器。

很多单片机项目严重依赖于硬件，换一个芯片后怎么办？重写一套代码呗。

在单片机程序里，没有应用程序、驱动程序的概念，很可能一个人包揽了硬件设计、模块调试(或称之为驱动)、功能开发(或称之为应用)的全部活。

14 在Linux中点灯、使用LCD

在Linux中，不允许应用开发人员直接去 *** 作硬件，比如你想点个灯，不好意思，你无法直接访问寄存器；你需要通过驱动程序来访问寄存器。

为什么？有几大原因：

① Linux系统中运行着众多程序，必须保证质量差的程序无法破坏系统：

假设你写的程序比较烂，那我不能让你去随便访问寄存器，把系统搞崩溃了怎么办？你本意是去点灯，但是你看错了寄存器，你把电源关了怎么办？

所以这些 *** 作硬件的活，还是交给信得过的人来做吧：交给驱动工程师，他既懂硬件又懂软件。

② 保证程序的可移植性：

编写应用程序时，大家都使用统一的函数，以后换一个芯片时，应用程序不用变；只需要根据这个接口提供驱动程序就可以了。

③ 团队协作：

。使用Linux系统的项目一般比较大，术业有专攻，一个人不太可能从上到下都全部掌握。比如做人脸识别项目，有擅长做图像处理的，他可不管你要用多少种摄像头，有图像给他就可以。而多种摄像头的硬件 *** 作方法各有不同，这些交给驱动程序工程师。

所以，在Linux中应用程序和驱动程序是分开的。

以LED、LCD程序为例，简化的代码如下：

也许你已经大概猜出来了，应用程序怎么调用驱动程序？通过标准的接口：

①open：

打开驱动程序。

② read/write：

读、写数据。

③ ioctl：

传入各种参数，获得各种参数。

④ mmap：

内存映射，比如映射之后，应用程序可以直接读写LCD的显存。

你看！从这些接口里，我们根本看不到寄存器的 *** 作。底层的程序驱动会根据这些调用，去设置寄存器、 *** 作硬件。

所以，我高大上的应用工程师，干嘛苦哈哈地去看原理图、看在片手册、读写寄存器，搞不好还要去调试硬件BUG。这些脏活、累活就交给驱动工程师吧。客户的需求千变万化，我996时间都不够用了。

切，我上懂软件、下懂硬件的驱动工程师，肯定不能把这么重要的活交给你去做了，把我的系统搞崩溃了怎么办。

开玩笑、开玩笑、开玩笑的，有应用工程师、驱动工程师的优劣之分，大家都是为了做出产品。现在有一个趋势，一个任务从上到下你都需要懂，这就是所谓的全栈工程师。

还是以LED为例，应用程序和驱动程序的协作如下图所示：

在Linux中，“一切皆文件”，要访问某个硬件，也是要打开文件、读写文件。应用程序要根据标准的文件接口：open/read/write/ioctl/mmap等来访问驱动程序。

既然如此，怎么写驱动程序呢？最简单的方法就是：APP要调用open来打开驱动程序，那驱动‘程序里就提供一个xxx_open函数来初始化硬件；APP要调用write来写数据，驱动程序里就提供一个xxx_write函数来接收数据并 *** 作硬件。

用xxx_open、xxx_write来构成一个驱动程序，这就是驱动框架。

怎么实现这些xxx_open、xxx_write函数？我们要做的事情跟单片机是类似的，一样要去看电路图、看芯片手册，然后在这些函数里读写寄存器：这称为硬件 *** 作。

所以，Linux驱动程序= 驱动框架 + 硬件 *** 作。

有单片机基础的人，对硬件 *** 作比较熟悉了，把重点放在驱动框架上就可以。

高能预警：驱动框架可不简单，对于LED来说是简单，但是还有更复杂的驱动程序，它要考虑“通用”，这很要命。

第2章 嵌入式Linux快速入门

这几天在群里跟学员聊天，有一位学员的学习方法很好：先观其广，再究其深。有时候要“不求甚解”，很多时候保持疑问先学下去，这些疑问就自然解决了。

比如课程中涉及汇编知识，如果你要彻底弄清楚，你需要去学习《ARM架构与编程》；当你学完这本书，你的同学搞不好已经可以上手工作了。

21 短期的目标是什么

我们先把学习目标定下来：快速了解嵌入式Linux开发的流程，知道要学什么，具备跟从业者交流的能力。

下面我们用类比和逻辑推导出嵌入式Linux系统的组成，没错，“推导”。

从上图可以知道：

① 组成：

嵌入式Linux系统

= bootloader + linux内核 + 根文件系统(里面含有APP)。

② bootloader：

它的目的是启动内核，去哪等读内核？读到哪里？去Flash等外设读内核，存到内存里去。所以需要有Flash里外设的驱动能力，为了调试方便还会有网络功能。

所以，可以认为 booloader = 裸机集合，它就是一个复杂的单片机程序。

③ Linux内核

Linux内核的最主要目的是去启动APP，APP保存在哪里？保存在“根文件系统”里。“根文件系统”又保存在哪里？在Flash、SD卡等设备里，甚至可能在网络上。所以Linux内核要有这些Flash、SD卡里设备的驱动能力。

不仅如此，Linux内核还有进程调度能力、内存管理等功能。

所以：Linux内核 = 驱动集合 + 进程调度 + 内存管理等。

23 要学习bootloader吗

Bootloader有很多种，常用的叫作u-boot。

在实际工作中，对于u-boot基本上是修修改改，甚至不改。但是u-boot本身是很复杂的，比如为了便于调试，它支持网络功能；有些内核是保存在FAT32分区里，于是它要能解析FAT32分区，读FAT32分区的文件。

花那么多精力去学习u-boot，但是工作中基本用不到，这对初学者很不友善。

所以，对于初学者，我建议：理解u-boot的作用、会使用u-boot的命令，这就可以了。

如果你的工作就是修改、完善bootloader，那么再去研究它吧。

24 要学习Linux内核、要学习驱动程序吗

之前我们说过Linux内核 = 驱动集合 + 进程调度 + 内存管理等，如果要学习Linux内核，从驱动程序入手是一个好办法。

但是人人都要学习Linux内核、人人都要学习Linux驱动吗？显然不是。

作为初学者，懂几个简单的驱动程序，有利于工作交流；理解中断、进程、线程的概念，无论是对驱动开发、应用程序开发，都是很有好处的。

所以对于初学者，建议前期只学习这几个驱动：LED、按键、中断。

① LED驱动程序：

这是最简单的驱动程序。

② 按键驱动程序：

它也比较简单，从它引入“中断”。

③ 中断：

从“中断”它可以引入：休眠-唤醒、进程/线程、POLL机制、异步通知等概念。这些概念无论是对驱动开发，还是对应用开发，都很重要。

所以，对于初学者，我建议必须学习这几个驱动：LED、按键、中断。

入门之后，如果你想从事内核开发、驱动开发，那么可以去钻研几个驱动程序(输入系统、I2C总线、SPI总线等)，掌握若干个大型驱动程序后，你对内核的套路就有所了解了，再去研究其他部分(比如进程管理、文件系统)时你会发现套路是如此通用。

摄像头(VL42)、声卡ALSA驱动是Linux中比较复杂的2类驱动，它们是很难的，如果工作与此相关再去研究。

25，要学习Linux应用程序吗？先学一些基础技能

要学，即使以后你只想研究内核，一些基本的应用开发编写能力也是需要的：

① 基本设备的访问，比如LCD、输入设备

② 进程、线程、进程通信、线程同步与互斥

③ 休眠-唤醒、POLL机制、信号

④ 网络编程

①②③部分的知识，跟驱动有密切的关系，它们是相辅相承的。

掌握了基本驱动开发能力、基本应用开发能力之后，在工作中你就可以跟别人友好沟通了，不至于一脸懵逼。

26，应用程序是怎么启动的？要了解一下根文件系统

你辛辛苦苦写出了应用程序，怎么把它放到板子上，让它开机就自动启动？

你写的程序，它依赖于哪些库，这些库放到板子上哪个目录？

怎么做一个可升级的系统？即使升级中途断电了，也要保证程序至少还可以运行老的版本？

这些都需要我们了解一下根文件系统。

先了解一下init进程：它要读取配置文件，根据配置文件启动各个APP。

了解了init进程，你就了解了根文件系统的组成，就可以随心所欲裁剪系统，为你的项目制作出最精简的系统。

第3章 学习方法

31，先不要打破砂锅问到底

嵌入式涉及的东西太多太杂了，如果心里没有主线，碰到什么都要去研究个透彻，最终反而忘记自己要学什么了。

嵌入式涉及硬件知识、软件知识，软件里涉及汇编、ARM架构、C语言、Makefile、Shell；又分为bootloader、内核、驱动、基本的APP、GUI。

比如我们会用到Makefile，了解它的基本规则，会用我们提供的Makefile就可以。

不需要深入研究那些make函数，因为在工作中都有现成的Makefile给你使用，不需要自己去编写一套Makefile。何必花上好几天去深入研究它呢？

比如我们会用到bootloader，难道又要花上几个月来深入研究u-boot吗？工作中基本不需要改u-boot，会用那几个命令就可以。

甚至有些学员先去买本shell的书来学习shell命令，何必？我们在视频中用到什么命令，你不懂时再去百度一下这些命令就可以了。

不要脱离初学者的主线：应用基础、驱动基础。有了这2个基础后，你想深入研究某部分时，再去花时间吧。

32，思路要清晰，不怕抄代码

视频里的代码，请你一定要自己去写一次、写多次。为什么我现在写驱动那么熟？我2009年在华清远见上课时，

每次上课我都要给学生写一次那些驱动，十几次下来闭着眼睛都知道内核的套路了。

记不住那些函数？我也记不住，我都是去参考同类的驱动程序，这又不是闭卷考试。

但是要理清楚思路，你写这个程序要完成什么功能、怎么实现这些功能？这个要弄清楚。

有了思路后再写代码，不知道怎么写？没关系，看看视频，看看示例，然后关闭视频看看能否自己写出来。

33，对自己的方向很了解，我只能带你到这里了

我的专长是 *** 作系统，是快速地带领大家掌握一些项目开发的基础知识。

如果你决定深入研究某方面时，我并不能带你多久。你要去看源码，去看这方面的专业书籍。

比如想深入钻研内核的内存管理时，它有页表映射(你需要阅读ARM架构的手册)、SLAB分配器、vmalloc/malloc实现、mmap实现、缺页中断、父进程子进程之间的页面管理等等，内容非常多。有时候连书籍都没有，你需要直接啃代码。

当你想从事某个行业时，就需要深入研究行业相关的知识。

比如CAN总线，它可以写成一本书：CAN协议、CAN报文、Socket CAN、车身网络拓扑结构，CAN应用报文，CAN网络管理报文，CAN诊断报文。

想做物联网网关，需要深入研究MQTT，MQTT协议相对简单，但是MQTT英文原版协议有130多页，中文版有近100页，是一本小书了。

每个行业都有自己的业务逻辑，在掌握基本的编程能力之一，你需要结合具体的业务去深入学习。

-☆ END ☆-

前面板主要有：
指示灯及快捷按键区域，显示区域，扬声器，打印机，键盘区域，多线盘区域，总线盘区域，消防总机区域，集中供电模块区域
指示灯及快捷按键区域：主要显示指示灯状态，“警报器”是快捷启动整个系统的声光报警器（前提是此功能按键是开启的）；
“手动”/“自动”是进行联动及手动的一个切换，设备运行正常情况下为“自动”状态，此状态下，一旦发生火警，就会启动联动公式，相应的设备就会开启，比如现场的雨淋阀开启，罐组及管道上方就会喷水降温。有时为了消防演练，可能会涉及手动启动设备，声光、广播、警铃等；
 “联动启动”功能主要是直接启动联动公式，系统会按照编程的逻辑功能进行相应的动作（前提是系统设置此按键开启状态）。
“自检”主要对系统进行一个自行检测
“消音”主要是针对有报警信息显示在显示器上，扬声器不停的有响声，当时把报警主机的声音关闭。
“复位”此功能是常使用的功能键，一旦有警情，扬声器会一直响，主机显示器上会一直显示报警信息（火警），对于现场误报的火警，可直接复位消警；当遇到火警现场手报按下，显示器显示具体位置报火警，先处理完成现场后，手报现场先复位，然后通知消防控制中心进行复位，这样就能将显示器显示报警信息消除，扬声器才会停止响动。

---