半年小聊端智能

文章编号：9054 更新时间：2024-02-21 分类：互联网资讯 阅读次数：次

资讯内容

工作时，一直在思考职业发展和成长的方向。从模型压缩到端智能，最开始时是迷茫的，随着工作推进，对于端智能有了一些自己的理解和感悟。今天尝试总结下，写一些流水账。

不严谨的定义

给事物一个准确且严谨的定义是非常困难的。端智能，抛开端这个字，智能很好解释，可以浅显地理解为人工智能（AI）技术。端的含义就比较广泛了，举一些例子来看，手机、智能音响、智能家居、车载处理器等等设备都属于端的范围。与传统的服务器相比，这些设备往往计算能力差，但便携性强。并且总体数目远超服务器，可以预见潜力上限非常大。

所以端智能就是在端侧设备上运行人工智能任务，包括但不限于：数据收集/管理、特征工程、模型推理和训练等等任务。

尺有所短，寸有所长

海量数据+大规模算力可能更符合人们对于人工智能的印象。拿微信、抖音、淘宝等超级app来说，每天都会产生海量的用户行为数据，云端有非常强的算力集群去学习这些数据，实现精准的推荐/内容审核/营销等等任务。云智能相关内容和优势，这里不做进一步展开。

继续聊端智能，上文也有提到，端侧设备的算力和存储能力往往较弱，不适合处理复杂任务和海量数据。但与云智能相比，端智能也有自身的独到之处，我们逐个盘一盘。

隐私保护友好

曾听说一句话，大数据时代人们没有隐私。手机里面的app会存在各种各样的埋点，记录用户在app中的操作行为。云智能需要把用户操作行为数据上传服务器，才能够正常的训练和推理。这给用户数据隐私造成了一定困扰。但是随着国家对数据隐私越发重视，今年8月，网信办发布了「互联网信息服务算法推荐管理规定（征求意见稿）」，对于推荐相关服务使用行为数据做了新的限制。越发严格的法律法规使云智能场景和能力逐渐收缩。

但端智能是天然隐私保护友好的它不需要把原始用户行为数据上传服务器如果模型推理和训练都能在端侧完成，用户行为数据在端上产生，在端上消费，省去数据上传，用户保护了自己的隐私，也享受了更智能功能，一举两得，岂不美哉。当然很多情况下，由于任务的复杂性，端上并不能独立完成，可以将用户隐私数据处理/加密或者embedding后，再上传至服务器完成后续计算，这样也不失为一种良策。

强实时性

抛开数据隐私问题，在云智能场景下，用户单纯请求一次服务器务就需要大几百毫秒到几秒的时间。在实时性要求比较强的场景下，是非常致命的。举个例子，cv场景下检测任务达到30fps才是比较流畅的状态，上传图片到云端推理，根本达不到实时的效果。

端智能具备超强实时性的特点，省去中间网络通信的时延，本地就可以完成模型推理。在算力和模型计算量的权衡下，完全是能够达到实时效果。实时性在语音、视觉等垂直场景的重要程度自然不必说。这里聊聊端智能实时性在推荐方向的收益。

首先是请求分页。工业界推荐系统往往通过请求夹带的形式，将用户行为数据上传，实现推荐系统的流批更新。两次分页请求之间，云端拿不到任何用户的行为数据。在此之间，用户的兴趣/行为变化，云智能无能为力。然而，端智能能够有效补齐这块短板，比较有名工作有阿里的端上重排。在分页请求之间，实时捕捉用户的意图，对候选物料实现重新排序，提升核心指标。

由于请求夹带形式本身局限性，其能携带的信息非常有限，一些细粒度实时行为特征，比如当前滑动速度等等，无法在云端推荐系统进行更细致的建模。端智能却能够有效利用起这些细粒度的行为数据，对用户意图进行更细致的建模，这部分详细内容，同样可以参考阿里相关工作。