分析师看世界｜有了它，断网也能冲浪！

时间： 2024-08-15 05:13     

本期供稿

农银汇理基金计算机和通信行业研究员  洪琳

端侧AI

在没有网的飞机上，不用高价购买wifi也可以和好友畅聊；手机不用联网，也可以畅快地学习、听音乐；工作文件要处理？直接用手机大模型吧，还不用担心机密外泄……

以上这些，未来端侧AI都可以给你！

01

什么是端侧AI？

端侧AI（人工智能）就像是手机、平板电脑、智能家居等设备上的智能小助手。有了端侧AI，你的手机可以直接理解和执行复杂的语音指令，无需上传数据到云端；家中的智能音箱能在离线状态下识别家庭成员的声音并做出响应；智能眼镜能在没有联网的情况下实时分析环境信息，为佩戴者提供导航或物体识别服务。

端侧AI不需要远程连接到云端服务器来处理数据和执行任务，只需直接在终端设备上、依靠设备本身的处理器运行AI模型。随着用户对生成式AI应用需求日益增长，端侧AI的隐私和安全，低延时、可靠性、低成本等技术优势凸显。

02

发展现状

端侧AI通常不需要依赖云端服务器的计算资源，可以减少云端计算的成本，并且在没有网络连接的情况下也能正常工作。随着剪枝（编者注：一种模型压缩技术）、量化等算法不断进步，轻量级的端侧AI模型正变得越来越强大，能在保持较小参数规模的同时提供较高的性能。

今年2月发布的开源模型Gemma，可以在PC上本地部署，分别有20亿和70亿参数两个版本，其中70亿版本在一系列语言理解、推理、数学等标准测试上表现优异。4月发布的开源大模型Llama 3系列，其中80亿参数版本基本可以越级对标此前的Llama 2的700亿参数版本。硬件方面，各大芯片巨头都不甘落后，纷纷推出了高性能的AI芯片，能支持手机、电脑等设备本地运行十亿级甚至百亿级大模型。

03

发展趋势

随着软硬件技术的迅猛发展与普及，我们即将迈入一个全新时代，那时“AI”不再是一个附加特性，而是电子设备的标配。无论是在飞机上办公，旅途中在网络条件不好的时候进行翻译，还是给孩子一个断网的设备学习，都是端侧AI未来能够提供的实用性场景拓展。

智能人形机器人便是端侧AI最好的载体之一。他们有着与人相似的外观设计，能更好地适应按照人的身体尺寸和操作习惯而设计的环境和基础设施，例如门框的尺寸、开关的位置、工具的握把等，这意味着无需对外部环境或工具进行过多额外的修改或适应，他们便能无缝融入并承担多种工作。为了更好的通用性，让大模型做人形机器人的“大脑”是大势所趋，端云混合的“大脑”可以让机器人既能处理复杂和高强度的计算任务，又能实时进行简单信息处理和分析，更好地兼顾准确率与效率。

未来的AI将是端云混合AI，也就是把智能处理任务分配到设备上和云端，这样可以节省成本、减少电能消耗、提高可靠性，还能减少用户等待时间、保护用户的隐私安全，同时可以提供更个性化的服务。就像智能手机的普及，让我们随时随地享受互联网服务一样，端侧AI的发展将让智能服务变得无处不在、随需而至。