小米大模型端侧布置探究聚集于端侧 AI 的开展，深化分析其重要性、面对应战及应对技能探究，为未来智能终端使用拓荒新径。

  端侧 AI 含义深远。于隐私安全，数据本地处理，躲避云端传输危险，保卫用户隐私防地；可靠性层面，网络动摇下仍稳健运转，下降衔接依靠，提高体系容错力；本钱效益明显，减少云端资源需求，大规模布置尤具优势；且能精准投合用户习气偏好，定制个性化服务，优化体会。小米凭仗海量端侧设备，以软硬件交融为基，矢志攻坚轻量化本地布置大模型技能，抢占智能高地。

  但是，端侧布置 LLM 应战重重。硬件功能悬殊，手机算力、内存及带宽远逊服务器 GPU，存储资源紧俏。如 6B 模型内存占用易超手机容量，拖慢推理速度，未优化时每秒仅处理 20 tokens 以内，难及阅览需求。

  为此，小米活跃探寻技能革新。剪枝战略多管齐下，移除不重要权重或神经元衔接，结构化剪枝因硬件亲和性杰出受喜爱，借 mask 练习校准丢失，少数康复练习即逾越同类预练习模型。量化技能为数据减肥，将浮点数转为定点数，精心调控量化位宽、粒度、规模并处理离群值，依硬件特性选适配办法，辅以参数补偿手法保证精度不减。投机推理创新发力，化解自回归缺点，一次性生成多个 tokens，提高带宽使用功率，如端侧 Tree attention 借 logits 采样验证优化推理流程，加速比达 1.7 - 2.1 倍。

  小米已在 MiLM 端侧布置迈出坚实脚步，包括高通与天玑多渠道，适配 1.3B - 6.7B 模型。未来展望气势恢宏，模型功能将攀更强巅峰，个性化服务更趋细腻入微，多技能深层次地交融协同，继续深挖端侧 AI 潜能，为用户织造更智能、高效、安全的数字日子新篇，引领智能设备革新浪潮，驱动端侧 AI 从理论愿景稳健落地为广泛实际使用，重塑人机交互格式与智能体会范式。