安霸：AI赋能视觉感知，开启智能机器新纪元

近年来，AI大模型爆火带动了视觉领域的应用，其中的行业大事件莫过于——2023年4月6日，Meta AI发布SAM(Segment Anything Model，分割一切模型)——这是一个视觉分割领域的基础模型。该模型具有在下游分割任务应用的潜力，并可与其他视觉任务组合完成更复杂视觉任务。GzKesmc

在机器视觉应用领域，除了一些自动化程度高的标准化应用场景之外，也有非常多的长尾场景，这些琐碎场景的视觉应用，需张贴大量数据标签，其训练成本也十分高昂。有了通用的图像分割模型之后，那些非标准化的应用场景也能迎来新的发展机会。GzKesmc

如今，业内有许多围绕“AI赋能视觉应用”的观点，这些观点的输出方既有研究机构、行业媒体，也有AI视觉应用的从业者。而作为一家AI视觉感知芯片公司，安霸半导体是如何看待“AI对视觉领域的赋能”的？GzKesmc

AI给机器视觉带来的新变化

当然，前面说的SAM无法一步到位处理完任务，但它的出现给业界树了一个新范式。以前面对不同的任务需求，开发者要从“零”开发不同的专有模型，而现在开发者可以在SAM基础上进行优化，让它更加符合自己的任务要求，这样可节省时间和资金。GzKesmc

“随着多模态大语言模型的问世，机器视觉市场迎来了新的机遇和变革，”安霸半导体技术(上海)有限公司软件研发总监汤坚评价道，“通过将语言与视觉相结合，多模态大语言模型不仅能够准确地理解和处理图像，还能够自主学习和理解视频等非语言模态的信息，更加高效地处理多源信息，从而实现更全面的信息分析和应用。”GzKesmc

汤坚还指出，AI的迅猛发展也让机器视觉应用得到了拓展，例如：GzKesmc

• AI能够更快速地识别和分析图像信息，从而提高工厂生产效率，提供更加准确和丰富的视觉体验；
• 机器视觉通过利用深度学习技术，可更加细致地分析图像中的细节，从而减少误判和漏判的情况，提升其在工业生产、品质检测等领域的应用价值；
• AI助力机器视觉应用于医学图像诊断领域，可以提高医疗诊断和疾病筛查的准确性和效率；
• 利用机器视觉技术开发的智能农业设备，能够自动识别植物并进行分类，可以提高农业生产的效率，以及农作物的品质和产量。
• 而在机器人市场，AI视觉SoC给机器人带来环境感知、信息处理、分析决策等多种更复杂的能力。有了AI视觉SoC的加持，机器人将会变得越来越智能。

作为一家算法优先技术至上的企业，安霸在多个领域都展现了卓越的成绩，其应用领域包括了汽车视觉、安防摄像机、机器视觉、消费电子、机器人等细分行业。GzKesmc

其中，汽车行业是安霸的重点应用领域之一，最近几年公司在不断推出汽车视觉产品。比如，在去年4月的上海车展期间，安霸推出了基于CVflow 3.0 AI架构的AI视觉系统级芯片CV72AQ。该芯片支持摄像头、毫米波雷达和超声波雷达的融合，其CPU性能比上代CV22AQ提升了2倍，支持在各种神经网络下高效运行，在同等功耗的情况下，比上一代产品AI性能高6倍。GzKesmc

在机器人方面，安霸正致力于开发更加智能化、高效化的机器人技术平台。例如，在最近结束的2024 CES上，安霸发布了Cooper开发者平台，该平台集成了软/硬件，以及优化的AI模型，为安霸全系列AI芯片产品在机器人市场的应用提供支持。GzKesmc

除了在以上两个领域有突出表现之外，安霸在其他领域也取得了诸多新成绩。比如，在安防摄像机领域，多家国际大型品牌商基于安霸新一代AI芯片的产品陆续进入量产；在机器视觉领域，IDS的首款在实时视频流中实现AI感知叠加的工业相机，就融合了安霸AI和图像处理技术；在消费电子领域，Insta360的Go 3及Ace Pro也采用了安霸的技术。GzKesmc

AI视觉SoC系列拓展至机器人领域

目前，安霸正针对机器视觉市场积极投入。该公司正与不同应用领域的机器视觉公司携手，展开工业自动化和机器人方面的合作，并陆续推出基于AI视觉SoC芯片的新产品。前面提到的Cooper开发者平台，支持安霸CV全系列芯片和参考平台，减少了硬件差异带来的困扰。GzKesmc

简单来说，Cooper是一套灵活度高、模块化和预训练的软/硬件开发工具。其中，Cooper Metal硬件平台，涵盖AI SoC和底层硬件开发板集合解决方案；Cooper Foundry软件平台，涵盖Cooper Core核心组件、Cooper Foundation AI应用组件、Cooper Vision视觉感知组件和Cooper UX应用交互组件。GzKesmc

用户可基于Cooper开发者平台的统一工具包，使用不同的安霸AI SoC创建多芯片系统。安霸方面表示，Cooper开发者平台将不断扩充安霸的生态系统，增加硬件制造商来生产PCIe接口的AI加速卡和模块化核心系统，为Cooper Metal硬件平台添加更多新产品。GzKesmc

目前，安霸的AI视觉SoC覆盖了从中阶到高阶算力产品的不同市场需求，其最高阶AI芯片，既可用于量产智驾域控制器，也可运行多模态大模型，单次推理功耗显著低于当前市场上通用GPU解决方案；中高阶AI芯片上提供了已优化的生成式AI处理，可应用于要求低功耗的场景和产品，比如自带本地应用的智能盒子、送货机器人等。GzKesmc

值得注意的是，与传统的基于GPU/FPGA技术的SoC相比，安霸的AI视觉SoC系列具备诸多优势——GzKesmc

首先，其AI视觉SoC系列设计理念遵循“算法优先”，并针对CVflow架构进行了量身定制。通过片上缓存和稀疏化神经网络的优化方式，大幅降低算法运行过程中的内存带宽消耗，从而实现了在单位能耗下的最佳AI性能。在达到同等AI性能的场景下，安霸SoC通常比GPU和FPGA有更低的功耗，因而利于设计更灵巧，更敏捷的机器人。GzKesmc

其次，单芯片集成了高度灵活可编程的ISP流水线设计，即使在低光照条件下，也能提供出色的高清图像，实现更好的彩色夜视和全天候的AI感知。安霸的AI SoC支持硬件加速的传统双目立体视觉算法，以及采用神经网络技术的新一代双目立体视觉算法，为机器人系统的3D感知提供了坚实基础。除了可见光视觉，安霸SoC搭配Cooper SDK也支持多种非可见光传感器，包括ToF、结构光、热成像传感器等。GzKesmc

此外，AI视觉SoC系列单芯片还拥有高效的H.264/H.265视频编码器，为机器人的感知和决策系统提供了完整的单芯片解决方案，并且可实现对实时场景高质量记录和回灌，利于做AI数据积累和算法模拟。这不仅大幅降低了机器人系统的整体硬件成本，还降低了软件的复杂性。GzKesmc

“协同开发”模式和“可信计算”架构

在汤坚看来，安霸除了产品和方案的优势之外，其他优势还体现在与合作伙伴的合作方式，以及公司对数据安全的处理方面。GzKesmc

前面我们提到融合了安霸AI和图像处理技术的IDS工业相机，采用了安霸技术的Insta360 Go 3和Ace Pro，以及基于安霸新一代AI芯片的安防摄像机等产品。针对这些产品，安霸与合作伙伴采取怎样的合作形式？GzKesmc

据汤坚透露，安霸与合作伙伴采用“协同开发”的方式合作。具体来看，安霸负责优化底层硬件加速模块、AI工具链、图像处理和完整SDK，以及对安霸参考设计主要功能的支持。而合作伙伴则负责开发和优化AI视觉算法。GzKesmc

例如，在智能门禁系统中，安霸的SoC芯片与合作伙伴的人脸识别和活体检测技术相结合，能够实现安全可靠的人脸识别和门禁控制。同样地，在智能产线系统中，安霸的SoC芯片与合作伙伴的物体识别和分拣技术相结合，能够实现高速可靠的产品检测和分类，减少误判和漏判。GzKesmc

“目前，安霸正针对机器视觉市场积极投入。我们与不同应用领域的机器视觉公司携手，展开工业自动化和机器人方面的合作，并陆续推出基于AI视觉SoC芯片的新产品。”安霸SoC的特有架构非常适合以超低功耗同时运行视频处理和AI计算，它可将视频上下文学习和场景理解应用于各种设备，从而涵盖安防设施、自主机器人以及众多工业应用。GzKesmc

在机器视觉领域，安霸也随时与客户保持深度沟通和交流，时刻了解他们对数据安全的需求和关注点。汤坚介绍说，公司在处理数据安全方面打造了一套完整的解决方案，名为“安霸可信计算架构”(代号为磐石)，包含芯片信息安全设计，底层软件设计，系统优化加强，信息安全部署工具，文档和API等。该系统对数据的传输范围和方式进行保护，重要数据得到加密保护，隐私数据不离开终端设备，上传到云端的数据都会先进行脱敏和加密处理。GzKesmc

在硬件设计方面，安霸的AI视觉SoC通过特殊硬件的存储和加密单元，实现系统的安全启动、安全运行和安全升级。基于安霸可信计算架构的AI视觉SoC已经在国内外多个市场的头部客户完成产品量产验证，符合相关的信息安全法规。GzKesmc

小结

如果说，传统的视觉SoC是机器人的“眼睛”，给机器人带来环境感知能力。那么AI视觉SoC则是机器人的“眼睛和大脑”。有了AI视觉SoC的加持，机器人将会变得越来越智能。我们相信，像安霸这类发力AI视觉感知芯片的企业会越来越多，同时，AI视觉SoC也将能撬动海量的应用空间。GzKesmc