最前线 | 亚马逊云也在做数字孪生，推出Amazon IoT TwinMaker

2021年12月1日，亚马逊云 科技 在2021 re:Invent全球大会上宣布推出Amazon IoT TwinMaker，可以让开发人员更加轻松、快捷地创建现实世界的数字孪生，如楼宇、工厂、工业设备和生产线。

数字孪生是物理系统的虚拟映射，可根据其所代表的现实世界对象的结构、状态和行为定期更新。Amazon IoT TwinMaker让开发人员可以轻松汇集来自多个来源（如设备传感器、摄像机和业务应用程序）的数据，并将这些数据结合起来创建一个知识图谱，对现实世界环境进行建模。客户可以通过Amazon IoT TwinMaker，使用数字孪生来构建反映现实世界的应用程序，提高运营效率并减少停机时间。使用Amazon IoT TwinMaker无需预付费用，客户只需为使用的服务付费。

开发人员可以将Amazon IoT TwinMaker连接到设备传感器、视频源和业务应用程序等数据源，快速开始构建设备、装置和流程的数字孪生。为方便从各种数据源收集数据，Amazon IoT TwinMaker包含适用于Amazon IoT SiteWise、Amazon Kinesis Video Streams和Amazon S3的内置连接器（客户也可以为Amazon Timestream或Snowflake等数据源添加自己的连接器）。

Amazon IoT TwinMaker会自动创建一个知识图谱，整合并理解所连接数据源的关系，因此它可以使用被映射系统的实时信息更新数字孪生。客户可以将现有的3D模型（例如CAD和BIM文件、点云扫描等）直接导入Amazon IoT TwinMaker，轻松创建物理系统（例如楼宇、工厂、设备、生产线等）的3D视图，并将知识图谱中的数据叠加到3D视图上，创建数字孪生。

数字孪生创建完毕后，开发人员就可以使用适用于Amazon Managed Grafana的Amazon IoT TwinMaker插件创建基于Web的应用程序，在工厂 *** 作员和维护工程师用于监控和检查设施和工业系统的设备上，即可显示该应用程序的数字孪生。例如，开发人员可以通过将来自工厂设备传感器的数据与运行中的各种机器的实时视频以及这些机器的维护 历史 相关联，创建金属加工厂的虚拟映射。然后，开发人员可以设置规则，在检测到工厂熔炉中的异常情况（例如温度已超过阈值）时向工厂 *** 作员发出警报，并在工厂 3D 模型的熔炉实时视频中显示这些异常，这可以帮助 *** 作员在熔炉发生故障之前快速做出预测性维护决策。

亚马逊云 科技 IoT总经理Michael MacKenzie表示：“客户对有机会使用数字孪生来改善其运营和流程感到兴奋，但为不同使用场景创建数字孪生和自定义应用程序所涉及的工作复杂且昂贵，令大多数企业望而却步。Amazon IoT TwinMaker包括大多数客户构建数字孪生模型所需的内置功能，例如连接不同来源的数据，建模物理环境，以及可视化具有空间维度的数据。Amazon IoT TwinMaker的推出让更多客户可以全面了解他们的工业设备、设施和流程，实时监控和优化其运营的各个环节。”

Amazon IoT TwinMaker现已在美国东部（弗吉尼亚北部）、美国西部（俄勒冈）、亚太地区（新加坡）和欧洲（爱尔兰）区域提供预览，其他区域也将很快推出。

目前，已有一些企业使用了Amazon IoT TwinMaker进行数字化升级。

开利（Carrier Global）是一家建筑与冷链解决方案提供商。“通过我们的Abound平台，我们可以从各种系统和传感器中汇总楼宇性能数据，让客户实时了解其互联空间。为物业主和运营商提供数字孪生以增强该平台一直是我们的首要任务。”开利数字化和云高级总监Dan Levine表示：“然而，内部开发这一能力并非易事，面临着成本高昂、进展缓慢等一系列问题。通过Amazon IoT TwinMaker，我们发现了可以显著加快Abound平台技术战略的关键推动力。Amazon IoT TwinMaker将帮助我们的开发团队专注于快速创建差异化的客户成果，既不用将大量精力投入到繁重的数字孪生数据抽象工作中，也无需向我们的解决方案添加3D可视化。”

另一个典型案例是埃森哲。制造业的数字化转型对埃森哲的客户而言是一个巨大的机会，但他们经常会面临零散、孤立和非结构化工业数据的挑战，导致许多概念验证无法扩展。埃森哲Industry X行业数字制造与运营全球技术主管Maikel van Verseveld认为：“我客户希望在开始并扩展他们的数字化制造之旅时，拥有能够快速应对这些挑战的工具。通过Amazon IoT TwinMaker，他们现在可以轻松地创建数字孪生，从不同的 IT 和 OT 系统中获得更加情境化、数据驱动和实时的制造运营视图，从而让最终用户可以做出更好的决策并优化运营。通过埃森哲与亚马逊云 科技 紧密协作的团队，我们已经能够开始借助Amazon IoT TwinMaker为客户带来价值。”

关于亚马逊云 科技

超过15年以来，亚马逊云 科技 （Amazon Web Services）一直以技术创新、服务丰富、应用广泛而享誉业界。亚马逊云 科技 一直不断扩展其服务组合以支持几乎云上任意工作负载，目前提供超过200项全功能的服务，涵盖计算、存储、数据库、网络、数据分析、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及25个地理区域的81个可用区（AZ），并已公布计划在澳大利亚、加拿大、印度、印度尼西亚、以色列、新西兰、西班牙、瑞士和阿联酋新建9个区域、27个可用区。

1 Ceph
Ceph是一个强大的存储系统，它在同一个系统中同时提供了对象，块（通过RBD）和文件存储。无论您是希望在虚拟机中使用块设备，还是将非结构化数据存储在对象存储中，Ceph都可以在一个平台上提供所有功能，并且还能获得出色的灵活性。 Ceph中的所有内容都以对象的形式存储，不管原始的数据类型是什么，RADOS（reliable autonomic distributed object store）都会把它们当做对象来进行存储。
RADOS层确保数据始终保持一致状态并且可靠。Ceph会通过数据复制，故障检测和恢复，以及跨群集节点进行数据迁移和重新平衡来实现数据一致性。 Ceph提供了一个符合POSIX的网络文件系统（CephFS），旨在实现高性能，大数据存储以及与传统应用程序的最大兼容。Ceph可以通过各种编程语言或者radosgw（RGW）实现无缝的访问对象存储，（RGW）这是一种REST接口，它与为S3和Swift编写的应用程序兼容。另一方面，Ceph的RADOS块设备（RBD）可以访问在整个存储集群中条带化和复制的块设备映像。
Ceph的特性
独立、开放和统一的平台：将块，对象和文件存储组合到一个平台中，包括最新添加的CephFS
兼容性：您可以使用Ceph 存储对外提供最兼容Amazon Web Services（AWS）S3的对象存储。
精简配置模式：分配存储空间时，只是虚拟分配容量，在跟进使用情况占用实际磁盘空间。这种模式提供了更多的灵活性和磁盘空间利用率。
副本：在Ceph Storage中，所有存储的数据都会自动从一个节点复制到多个其他节点。默认任何时间群集中的都有三份数据。
自我修复：Ceph Monitors会不断监控你的数据集。一旦出现一个副本丢失，Ceph会自动生成一个新副本，以确保始终有三份副本。
高可用：在Ceph Storage中，所有存储的数据会自动从一个节点复制到多个其他的节点。这意味着，任意节点中的数据集被破坏或被意外删除，在其他节点上都有超过两个以上副本可用，保证您的数据具有很高的可用性。
Ceph很强大：您的集群可以用于任何场景。无论您希望存储非结构化数据或为数据提供块存储或提供文件系统，或者希望您的应用程序直接通过librados使用您的存储，而这些都已经集成在一个Ceph平台上了。
可伸缩性：C

  部署的ceph对象存储使用了兼容Amazon s3的RGW网关，通过Amazon S3访问对象存储。为了网关的高可用和负载均衡，在RWG网关前面加了一层nginx代理转发。
  发现加了nginx之后V4签名会报错 The request signature we calculated does not match the signature you provided Check your key and signing method ，但是V2签名不会报错。
  经过打开工程debug日志、nginx日志、RGW网关日志，最后发现是RGW网关接受到的请求和客户端发出去的请求的头参数 Host 不一样。

  在nginx中转发>使用Docker搭建Spark集群和MinIO云存储服务，并通过Spark访问MinIO，实现读写功能。

MinIO 是一个基于Apache License v20开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。

MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQL。
详细资料参考 这里

本项目使用的docker-compose文件如下，根据docker-compose的内容，大致分为三个部分。

分布式MinIO可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式MinIO避免了单点故障。
详细参考 这里

Docker-compose中的 minio1-4 z组成MinIO分布式存储，对应存储服务的4个节点，每个节点使用相同的 MINIO_ACCESS_KEY 和 MINIO_SECRET_KEY 。部署成功后访问 >