本文作者:admin

从西湖大学出发,这家公司想做出更懂人心的“情感大模型”

admin 2023-05-01 5
从西湖大学出发,这家公司想做出更懂人心的“情感大模型”摘要:   ChatGPT横空出世以来,“生成式人工智能未来会取代哪些工作”已经成了热议的关键社会议题。  高盛近期通过对900余个职业工种取样分析并撰写报告估算,美国约有三分之二的职业...
󦘖

微信号

15618884964

添加微信

  ChatGPT横空出世以来,“生成式人工智能未来会取代哪些工作”已经成了热议的关键社会议题。

  高盛近期通过对900余个职业工种取样分析并撰写报告估算,美国约有三分之二的职业或在某种程度上受到生成式AI的影响。但报告同时指出,1940年至今约八十年期间,85%以上的就业增长来自于技术创新而产生的新职位。在医疗健康、智能制造等创新经济领域,人工智能将辅助人类,而非取代。

  西湖心辰团队从2020年研发生成式大模型开始,就将“人工智能否成为心理咨询师”作为目标。西湖心辰最早从西湖大学工学院的深度学习实验室孵化而来,公司在2021年7月正式注册成立,同年12月拿到了第一笔近千万美元的天使轮融资,由蓝驰创投领投,主要研究“人工智能自然语言处理+心理咨询服务“的产品应用。

  ChatGPT爆火带动了国产大模型的创业潮,西湖心辰分别在今年3月、4月接连完成了两笔融资。Pre-A轮获得了百度风投领投的数百万美元,最新的战略投资则引入了AIGC概念股公司汤姆猫(300459.SZ)成为最大的外部股东。

  西湖大学的深度学习实验室正是由西湖心辰创始人蓝振忠组建。在谷歌研究院 (Google Research) 任职期间,他作为论文第一作者发布了谷歌BERT语言模型的轻量版本“ALBERT“(A Lite BERT )——与BERT的3亿参数相比,ALBERT用更少的参数实现了更好的表现——从2019年12月发表至今,该篇论文在Google Scholar平台上引用已经超过4600次。

从西湖大学出发,这家公司想做出更懂人心的“情感大模型”

  与先前的技术路径相比,OpenAI的成功使得“越卷越多”的参数规模成为各家大模型竞逐的对象,动辄千亿级、万亿级的大参数变成标配。“扩大参数量目前是一个快速把模型变得更加智能、至今还没有探到底的好办法。它就像盖摩天大楼一样,盖一层后就知道如何盖两层、三层,最后把摩天大楼盖好。”蓝振忠接受界面新闻专访时表示,公司自研模型经过多轮迭代的参数量变化很大,小到60亿,大到1000亿,目前主要在用的是100多亿参数的模型。

  2020年,蓝振忠回国作为特聘研究员全职加入西湖大学,担任博士生导师并着手组建深度学习实验室,起步阶段就把研究方向锚定在AI辅助心理咨询。他曾经在”TEDxChengdu“论坛上提到选择心理健康领域的初衷,与自己的一位同学在读博期间自杀有关。“心理咨询是目前比较好的防自杀方案,但一个重要问题是专业人才缺口巨大。按照世界卫生组织的建议,每1000人需要有一位心理咨询师。但是现在(2021年)全国也只有35万左右的从业者,中间差不多有140万的需求差距。”

  根据世界卫生组织在2022年最新发布的《世界精神卫生报告:向所有人享有精神卫生服务转型》统计,大约一半的世界人口所在国家每20万或以上才有一名精神科医生。另一方面,新冠疫情大流行期间,焦虑症和抑郁症的发病率仅在第一年已经增加了25%。世卫组织认为,后疫情时代想要实现人人可享的精神健康服务,人工智能代表的数字化技术就成为了弥补治疗缺口的关键。

  要教会自研的对话机器人“小天”学习心理咨询,西湖心辰团队先是找来了一批专业的人类心理咨询师,如同工程师训练语音助手一样,通过一条条拆解心理咨询的常见话术来让机器理解语言规律。但因为现实咨询的问题无限多但掌握有限,无法做到一一匹配。

  团队尝试几个月没有成功后开始转换思路,不要求机器完全理解人类语言,只要求它去模仿咨询师。

  模仿需要数据,训练数据的不同很大程度上决定了大模型的差异。团队为获取具有情感特征的语料,创建了一个名叫“心聆公益”的咨询平台,既做服务平台又做数据库,用户来做心理咨询的同时也在训练“小天”。

  蓝振忠告诉记者,团队一开始在开发训练“小天“背后的语言模型时并不追求大而全,“因为ChatGPT及背后的GPT3.5模型定位在通用对话上,决定了它预训练的数据源主要偏向综合、中性。它就像是一个大型的Q&A系统,实际和用户对话中缺乏温度,大部分都是没有情感的说教。”

  对标OpenAI,蓝振忠表示,如果按照GLUE、SQuaD、 RACE这样的公开测试数据集的量化标准去评价模型的综合表现,目前国产大模型绝大多数都还在追赶GPT3.5。定位在“情感”上的差异化是团队一直在做的事情,在紧锣密鼓融资的两个月,团队的工作重心仍是在改进情感大模型的对话质量与安全性。

  大模型的爆火也给创业公司带来了更多商业化的思考。蓝振忠坦承目前心理咨询收费模式还很难走通。“小天”最初做的是公益咨询,为线上来访者提供免费的对话咨询服务,早期用户也为训练大模型贡献了重要的数据资源。西湖心辰目前通过AI作画工具“造梦日记”、AI写作工具“Friday”面向C端用户,还开放了API接口服务面向B端用户。这三款全部为收费产品,至今已经积累了数百万用户。

  商业化的思考同时也反映在蓝振忠的身份转变上。他在2月份发的一条朋友圈里表示西湖心辰正在寻找CEO,现在已经以创始人的身份兼任CEO。蓝振忠认为,大模型的壁垒在于数据、工程复杂度和人才密度。“对外招聘CEO是考虑到自己长期都是在做科学家不适合管理。大模型的竞争已经趋近白热化,当时思考更多的是组建更强队伍来让公司跑得更快,眼下也正在主动适应新身份并学习摸索。”

󦘖

微信号

15618884964

添加微信
阅读