QPS提升近10倍 百度CTO王海峰首谈文心一言近况

摘要： 　　4月23日，有媒体爆料称，百度文心一言启动邀测一个多月时间里，已经迭代了4次，推理性能提升近10倍，其中业内首创支持动态插入的分布式推理引擎，推理性能提升了123%。　　百度...

　　4月23日，有媒体爆料称，百度文心一言启动邀测一个多月时间里，已经迭代了4次，推理性能提升近10倍，其中业内首创支持动态插入的分布式推理引擎，推理性能提升了123%。

　　百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在最近一次采访中谈及文心一言近况，他表示：“文心一言的进步首先是基于百度人工智能四层架构的全栈布局，从芯片、深度学习框架，到大模型，再到应用，实现了层与层反馈，端到端优化。尤其是飞桨和文心一言的联合优化，大幅提升模型训练和推理速度。同时文心一言也建立起人类反馈、奖励模型和策略优化之间的飞轮机制，随着真实用户的反馈越来越多，模型效果越来越好，能力越来越强。”

　　有分析人士解读认为，“大模型就仿佛汽车的发动机，光账面上的动力强，参数大是没有用的，要压榨出发动机瞬时最大爆发力（QPS）以及最优的性能表现。深度学习框架就像是生产发动机和变速箱的，可以让发动机整体部件组合更精密、动力更强。自研产品彼此适配度更高，协同会更高效，这可能是效率提升的最根本原因。”

　　据了解，飞桨支撑了文心一言从开发训练到推理部署的全流程。例如，在大模型训练上，飞桨的端到端自适应分布式训练技术，通过自动感知硬件环境，多维混合并行策略，异步流水线执行等，支撑了大模型高效训练；在推理部署上，飞桨支持大模型高效推理，提供服务化部署能力，包括计算融合、软硬协同的稀疏量化、模型压缩等，提升推理效率，帮助节约算力资源。

　　IDC《中国深度学习框架和平台市场份额，2022H2》报告显示，百度稳居中国深度学习平台市场综合份额第一，领先优势进一步扩大。中国深度学习开源框架市场形成三强格局，飞桨PaddlePaddle超过谷歌TensorFlow，框架市场前三份额超过80%。