在最近的一篇博文中，Arm的Parag Beeraka强调了将人工智能（AI）和机器学习（ML）集成到边缘设备和嵌入式系统中的挑战和发展。Beeraka强调，由于边缘人工智能团队的技能差距，需要提高技能，以及数据管理、模型优化和高效推理的重要性。为了应对这些挑战，Arm提供了创新工具，并与行业合作伙伴合作，以简化开发流程，使工程师能够在边缘计算中充分利用人工智能的潜力。
人工智能和机器学习的快速发展正在推动边缘设备和嵌入式系统的创新。然而，在资源受限的硬件上成功部署机器学习模型需要边缘人工智能专业知识，这些专业知识需要跨越数据科学、机器学习和专门的嵌入式工程学科。从某种意义上说，几十年前的嵌入式设计学科提供了大量的解决方案，这些解决方案基于使用自制或商业实时操作系统的简单微。
大多数希望利用新的人工智能和机器学习工作负载的边缘人工智能开发团队都面临着技能差距，这阻碍了他们优化和加速设备上人工智能的能力。一些公司通过建立内部AI/ML团队来解决这一差距。
然而，在取得进展的同时，随着机器学习方法和模型变得越来越复杂，门槛也在不断提高。例如，我们可以预期，ChatGPT或Gemini的几个衍生产品将在不久的将来运行在小型嵌入式和边缘人工智能上，在实际应用中提供更大的好处。此外，上市时间压力巨大。嵌入式工程团队可能需要数年时间才能完全掌握MLOP。即便如此，他们也需要不断学习。
作为使人工智能和机器学习解决方案得以扩展和蓬勃发展的关键技术提供商，Arm热衷于让工程师和开发人员的生活更轻松、更高效地实现他们的人工智能梦想。
有效地管理数据对于开发和部署机器学习模型至关重要，但也存在挑战。这些措施包括从传感器收集正确、公正的数据，准确、一致地标记数据以进行训练，并确保数据的隐私和安全。
在传统的嵌入式设计世界中，维护健壮的端到端ML数据管理的工具、基础设施和技能，给嵌入式团队带来了额外的挑战。
例如，针对硬件的定位和原型设计一直是一个繁琐而缓慢的过程。Arm已采取措施简化这部分设计过程，并通过Arm虚拟硬件(AVH)加速部署。AVH是一种基于云的服务，可提供基于Arm芯片的功能精确模型，允许软件开发人员在不需要物理硬件的情况下模拟基于Arm的物联网设备的行为。
现在考虑ML应用程序的数据输入的复杂性——来自传感器的音频和其他形式的输入。由于传感器的多样性，保持对标准的关注是很重要的，因为这有助于简化这些数据集的处理。
Arm新的传感器数据SDS(同步数据流)框架解决了模型开发中对标准化数据收集、标记和分发的需求。它允许在开发期间从目标硬件(例如MEMS陀螺仪或麦克风)捕获物理传感器/音频数据流。该框架提供了基于python的实用程序，用于回放、可视化和分析捕获的数据流。SDS回放与AVH相结合，可以在模拟模型上自动测试算法，对CI/CD管道非常有用。通过与Arm的密切合作，TDK Qeexo在他们的机器学习平台Qeexo AutoML中增加了对同步数据流(SDS)框架的支持。
AI旅程从一个用例开始，然后是用例的数据。一旦确定了用例和数据集，就可以使用各种方法训练复杂的模型。这需要访问大型数据集和重要的计算资源。上述优化是在功率受限的设备上交付ML工作负载的关键步骤。这有多种形式。ML模型的大小通过修剪、量化和知识蒸馏等技术来减小。这减少了存储和内存需求。
一个优化的例子是Arm与NVIDIA在TAO上的合作，TAO是一个基于TensorFlow和PyTorch的低代码人工智能工具包，旨在通过抽象人工智能模型和深度学习框架的复杂性来简化和加速模型训练过程。
此外，基于Arm庞大的全球生态系统和对底层硬件技术和系统设计需求的深入了解，Arm模型优化工具包在帮助开发团队实现最佳优化方面是无价的。
在边缘设备中，高效推理实际上是关键。由于通常这些设备资源有限，因此必须非常小心地在边缘部署模型。虽然CPU可以处理一些工作负载，但新兴的专用工作负载通常需要异构计算解决方案来提供性能和处理效率。实际上，对于硬件加速，许多嵌入式SoC（系统级芯片）提供了针对ML工作负载优化的DSP、TPU、NPU等加速器。
因此，要在具有多种加速器的嵌入式设备上高效地运行机器学习工作负载，需要使用像Arm的Vela这样的编译器和像CMSIS-NN这样的软件库进行广泛的调优。使用Arm Vela编译器，开发人员可以将TensorFlow Lite微神经网络模型编译为优化版本，该版本可以在包含Arm Ethos-U NPU(神经处理单元)的嵌入式系统上运行，这可以加速各种ML工作负载。Vela编译器允许用户通过重写Vela配置文件来优化Ethos-U嵌入式系统的各种属性，例如内存延迟和带宽。Arm生态系统合作伙伴，如Edge Impulse, Nota.AI、Qeexo和Plumerai已经将Vela编译器集成到他们的工具流中，这样他们的客户就可以轻松地使用基于arm的平台和Ethos-U加速器。
维护强大的端到端ML数据管理的工具、基础设施和技能，给传统的嵌入式设计和开发团队带来了额外的技能挑战。
弥合技能差距需要通过一致的战略和统一的工具链，将硬件供应商、人工智能/机器学习专家和企业软件提供商的优势结合起来。Arm的产品、工具、资源及其生态系统是提升工程师技能的基础，使他们能够解锁变革性的人工智能应用。
