什么是边缘计算/数据清洗？

什么是边缘计算？

边缘计算是使信息存储和计算能力更接近产生该信息的设备和使用它的用户的过程。传统上，应用程序将数据从传感器和智能手机等智能设备传输到中央数据中心进行处理。然而，前所未有的复杂性和数据规模已经超过了网络能力。通过将处理能力转移到更靠近用户和设备的位置，边缘计算系统显著提高了应用程序性能，降低了带宽需求，并提供了更快的实时洞察力。 

为什么边缘计算如此重要？

越来越多的企业开始使用边缘计算，因为可借助边缘计算更有效地收集和分析其原始数据。组织比以往更需要即时访问其数据，以便就其运营效率和业务职能做出明智的决策。如果使用得当，边缘计算就可能帮助组织提高安全性和绩效，同时自动化流程和改善用户体验。

下面是边缘计算的一些优点。

降低延迟/提高速度

在许多行业中，技术都要求几乎即时传输数据。以工厂车间的一台机器人机械为例。如果出现生产事件，该机器人无法安全地持续运转，则其需要尽快接收相关信息，以便及时关闭。

改进数据安全性

使用边缘计算，可在本地处理和存储大部分数据。需要传回数据中心的任何信息都可以在传输前进行加密。通过将任何敏感数据放在其来源附近，企业也使用边缘计算来遵守数据主权法律，例如通用数据保护条例 (GDPR)。

 

更高的生产力

通过更快速响应此类信息，企业可提升运营效率和员工的生产力。通过在来源处分析收集的数据，组织可以改进其设施、基础设施或设备中表现不佳的领域。边缘计算可以与人工智能和机器学习工具结合使用，以此获得商业智能和见解，帮助员工和企业更高效地开展工作。 

远程数据收集

在连接和带宽不稳定的位置收集数据会面临重重困难。在网络边缘建立计算和数据存储能力有助于企业从遥远的油田、工业区和海上船舶收集和传输数据。 

降低成本

将大量数据从来源处发送到集中式数据中心需要付出昂贵的成本，因为该操作需要更多的带宽。采用边缘计算模型，可以减少从站点发送到数据中心的数据量，因为最终用户只需发送关键数据。根据企业发送和处理的数据量，采用此模型可以显著节省运营成本。 

可靠的性能

通常在互联网连接稀缺的偏远地区采用边缘计算。通过设置边缘计算环境，企业可以确保其运营可靠地处理、分析和存储数据。这样可以显著减少因网络或连接中断而导致的运营停机。

哪些行业使用边缘计算？

边缘计算具备数据传输的高速和低延迟特点，加上边缘设备的安装相对容易，因此在各行各业得到广泛应用。下面是一些示例。

制造业

制造业大量使用传感器和网关等物联网 (IoT) 设备，这使得边缘计算系统在该行业中盛行。制造商利用边缘计算解决方案实现自动化，现场收集数据，提高生产效率，以及在机器间快速通信。 了解有关制造业中边缘计算的更多信息 >>

自动驾驶汽车

无人驾驶汽车等自动驾驶汽车配备了多个 IoT 传感器，这些传感器每秒收集大量数据。这些传感器需要实时处理数据以实现即时响应，并且不能依赖远程服务器瞬间做出决定。

此外，如果自动驾驶汽车首先相互通信，而不是将有关天气状况、交通、事故或绕道的数据发送到远程服务器，则可以更高效地进行交互。边缘计算是确保自动驾驶汽车安全性及其能够准确判断路况的关键技术。

能源

能源公司使用边缘计算来收集和存储有关石油钻井平台、气田、风力涡轮机和太阳能农场的数据。钻机运营商通常部署边缘人工智能来检测危险以及优化和检查他们铺设的管道。边缘计算可帮助该行业提高运营效率，确保员工安全，以及预测何时需要执行维护工作。 了解有关能源行业中边缘计算的更多信息 >>

医疗保健

边缘设备监控关键的患者身体机能，例如体温和血糖水平。借助边缘计算，医疗保健部门可在本地存储这些患者数据并改善隐私保护。医疗设施也可减少他们发送到中心位置的数据量并降低数据丢失的风险。 

边缘计算如何工作？

边缘计算通过让计算和存储更接近数据的生产者和消费者来发挥作用。边缘部署因不同的使用案例而异，但可以分为两大类。

上游应用程序

上游应用程序优先从智能传感器和其他设备收集数据，然后将数据传输到数据中心执行进一步处理。收集的数据分为三大类：

• 冗余或不相关的数据，例如传感器每 5 分钟测量一次得到的室温数据
• 需要长期存储的有用数据，例如几小时内的平均温度
• 产生短期影响的有用数据，例如低于其就必须开启加热器的室温值

上游使用案例中的边缘计算侧重于区分这三种类型的数据源，然后只将关键信息传输到数据中心。  边缘策略可以包括以下示例。

本地数据中心

公司将存储、服务器和其他边缘设备放在数据源附近。例如，一家能源公司可能会在风力涡轮机中安装一些服务器机架和远程 LAN，借此收集和处理涡轮机生成的数据。

物联网 (IoT) 设备中的计算能力

公司使用具备充分计算能力的传感器，使用预先确定的筛选规则来处理数据，之后再传输数据。

区域性边缘服务器

一家公司使用云服务处理来自单个区域内多个不同传感器的数据。云提供商可以本地化云服务，以便在公司所需区域的本地边缘服务器上执行计算。 

下游应用程序

下游应用程序优先向最终用户交付数据。示例包括媒体和娱乐环境中的直播视频流、在线游戏或虚拟现实视频源。面向下游使用案例的边缘计算专注于降低网络延迟，以便用户在活动发生时及时体验。以下是下游边缘计算的一些示例。

缓存

一家公司建立内容交付网络 (CDN)，该网络将内容缓存在地理位置更接近用户的边缘服务器上，从而更快地传输到用户的计算机。了解有关 CDN 的更多信息 >>

云边缘服务

可以使用云计算服务在特定地理位置的端点和资源本地运行应用程序的延迟敏感部分。

移动边缘计算

一家公司使用移动边缘计算基础设施（例如 5G 网络和基于 5G 的移动云计算服务）来开发、部署和扩展超低延迟应用程序。

边缘计算和云计算之间有何区别？

边缘计算在边缘运行工作负载，即更靠近设备和最终用户的位置。另一方面，云计算是一个广义术语，包括在云服务提供商的数据中心运行所有类型的工作负载。

但需要注意的是，云服务提供商也提供边缘计算服务。例如，AWS 边缘服务可以提供接近端点的数据处理、分析和存储服务，从而使您能够在 AWS 数据中心之外的站点部署 API 和工具。

AWS 边缘计算有哪些使用案例？

诸多行业领先的企业使用 AWS 边缘计算工具。我们给出如下三个突出的示例。

大众汽车集团

大众汽车是全球领先的汽车集团之一，它使用 AWS IoT、机器学习和边缘服务为其工业云提供技术支持。它可以连接来自 120 多家制造工厂的数据，以提高其工厂设施的效率和正常运行时间，同时提高生产灵活性并推动车辆质量标准。阅读大众汽车如何使用 AWS >>

Hulu

流媒体平台 Hulu 利用 AWS 边缘网络服务确保客户享受一流的内容和用户体验，即使在用户流量很高的情况下也能提供稳定的服务。Hulu 使用 AWS 服务来提供可扩展、敏捷且经济高效的基础设施。阅读 Hulu 如何使用 AWS >>

Riot Games

Riot Games 开发、发布和支持全球最以玩家为中心的游戏，其中包括世界上最受欢迎的 PC 游戏之一：英雄联盟。随着在 2020 年全球推出团队战术射击游戏 VALORANT，Riot 希望减少延迟造成的“窥视者优势”并确保竞争完整性。Riot 使用 AWS Outposts 快速部署游戏服务器并将延迟减少 10-20 毫秒，最大限度地减少窥视者的优势，并为所有玩家创造一个公平的竞争环境。观看 Riot Games 如何使用 AWS >>

AWS 如何帮助您满足边缘计算要求？

AWS for the Edge 让世界上最强大、最安全的云更靠近您的端点和用户。AWS 是唯一将云中提供的基础设施、服务、API 和工具以完全托管式服务的形式扩展到几乎任何本地数据中心、主机托管空间或边缘设施的提供商。

充分利用在 AWS 数据中心之外的站点中部署的托管式硬件 — 将安全的边缘计算功能扩展到城区、5G 网络、本地站点以及断开连接或远程的位置。可以使用专为特定边缘使用案例打造的功能，以及从 200 多种集成设备服务中进行选择，以快速轻松地将边缘应用程序部署到数十亿台设备。

下面是 AWS 协助进行边缘计算的方式：

• AWS Outposts 将您的 AWS 基础设施和服务扩展到几乎任何地点，让用户享受一致的混合体验
• AWS Storage Gateway 针对几乎无限的云存储提供本地访问
• AWS Snow 系列设备可在严峻的非数据中心环境中以及在缺乏稳定网络连接的站点执行业务操作
• Amazon SageMaker Edge Manager 优化、保护、监控和维护边缘设备队列上的机器学习模型

立即创建免费 AWS 账户，开始在 AWS 上使用边缘计算！

---

什么是数据清洗？

数据清洗是为机器学习（ML）和商业智能（BI）应用程序准备原始数据的一个必不可少的过程。原始数据可能会包含许多错误，这可能会影响 ML 模型的准确性，并导致预测不正确和出现负面的业务影响。 

数据清洗的关键步骤包括修改和删除不正确和不完整的数据字段、识别和删除重复信息和不相关数据，以及更正格式、缺失值和拼写错误。

为什么数据清洗非常重要？

当一家公司使用数据来推动决策制定时，使用相关、完整和准确的数据至关重要。但是，数据集通常包含一些错误，必须在分析之前将它们删除。可能包括格式错误，例如错误的日期和货币，以及其他可能对预测产生重大影响的计量单位。异常值是一个特别值得关注的问题，因为它们总是会使结果发生偏差。其他常见的数据错误包括数据点损坏、信息缺失和印刷错误。干净的数据有助于生成高度准确的 ML 模型。 

干净、准确的数据对于训练 ML 模型尤其重要，因为使用糟糕的训练数据集可能会导致部署模型做出错误预测。这是数据科学家花费大量时间为 ML 准备数据的主要原因。

如何验证您的数据是否“干净”？

数据清洗过程包含几个必需的步骤，旨在识别和修复问题条目。第一步是分析数据以识别错误。这可能涉及通过使用规则、模式和约束来识别无效值的定性分析工具。下一步是删除或更正错误。 

常见的数据清洗步骤包括修复：

• 重复数据：删除重复信息
• 不相关数据：确定特定分析的关键字段并从分析中删除不相关数据
• 异常值：异常值会显著影响模型性能，因此请识别异常值并确定适当的操作
• 缺失数据：标记并删除或估算缺失数据
• 结构错误：纠正印刷错误和其他不一致，并使数据符合通用模式或约定

AWS 如何帮助进行数据清洗

Amazon SageMaker Data Wrangler 是 Amazon SageMaker 的一项功能，可让您快速轻松地为 ML 准备数据。借助 Amazon SageMaker Data Wrangler，您可以从单个可视界面完成数据准备工作流程的每个步骤，包括数据选择、清洗、探索、偏差检测和可视化。

使用 SageMaker Data Wrangler 的数据选择工具，您可以从各种数据来源中选择所需的数据，然后单击一下即可导入。导入数据后，您可通过数据质量和洞察报告自动验证数据质量，检测行重复、目标泄漏等异常情况。SageMaker Data Wrangler 包含 300 多种内置数据转换，因此您无需编写任何代码即可快速标准化、转换和组合各种功能。

要开始使用 SageMaker Data Wrangler，请浏览本教程。