大热背后，其技术支撑——预训练模型近年来已成为资本眼中的“香饽饽”。国内行业巨头和高校科研机构已经在这一领域布局，更有企业今年获得了10亿元融资。

  2022年的最后一个月，聊天机器人ChatGPT的横空出世再次搅热了AI行业。

  在和ChatGPT对话的过程中，它不仅“上知天文，下知地理”，还可以模拟人类说话的方式和人类交互，告诉你怎么用“鲁迅体”描述当下的心情。就连马斯克也不禁感叹：“很多人疯狂地陷入了ChatGPT循环中，我们离强大到危险的人工智能不远了。”

  这个看似无所不能的ChatGPT其实是由美国OpenAI开发的大规模预训练模型，马斯克曾是此公司的创始人之一。

  12月5日，OpenAI首席执行官Sam Altman在社会化媒体上发文表示，ChatGPT于上周三推出，截至目前已突破100万用户，其免费公测版本的服务器很快就被热情的测试用户挤爆了。

  在现象级的传播背后，是预训练模型这一技术正备受资本关注。多个方面数据显示，2022年以来，国内大规模预训练模型出现多笔大额融资，单笔融资金额高达10亿元，其中不乏联想创投、君联资本、启明创投、创新工场等知名投资机构。

  那么，这一赛道为何会受到众多投资机构的追捧？融资热背后，又离真正大规模商用落地还有多远？

  在美剧《硅谷》中，曾有这样一幕有趣的剧情：程序员Gilfoyle用AI聊天软件“安东之子”捉弄他的好友Dinesh。该软件能模拟独属于Gilfoyle的幽默感，让Dinesh误以为是在与Gilfoyle本人聊天。发现真相后，同为程序员的Dinesh也做了一个AI机器人用来报复Gilfoyle。结果，两个AI机器人热聊了起来，还把网络给聊崩了……

  这样的场景在如今的聊天机器人ChatGPT身上正逐步变成现实。其在大量网友的“疯狂”测试中表现出各种惊人的能力，如流畅对答、写代码、写剧本、辩证分析问题、纠错等等，甚至让记者编辑、程序员等从业者都感受到了威胁，更不乏其将取代谷歌搜索引擎之说。

  全球用户争相晒出自己极具创意的与ChatGPT交流的成果。一位网友要求ChatGPT用《坎特伯雷故事集》风格改写1990年代热门歌曲《Baby Got Back》；有网友晒出ChatGPT参加美国高考SAT考试之后的得分：1020（总分1600分）；亦有网友收获了ChatGPT用《老友记》几大主角口吻创作的剧本对白。

  据官网显示，ChatGPT目前存在着一些局限性，包括有时会给出看上去正确但荒谬的答案、微调提问的方式会得到完全不同的答案、有时会反复使用某些句子等。

  网友也发现，ChatGPT有两个明显的缺点：输入不能有错，解释不够人性化。

  目前，ChatGPT的研究团队也表示将按照每个用户反馈持续改进模型，未来还有非常长的道路要走。

  可以说，继AlphaGo击败李世石、AI绘画大火之后，ChatGPT开启了AI对人类社会产生深远影响的又一扇窗。不禁让人好奇，它究竟是怎么做到的？而这就得从其背后的技术支撑——预训练模型说起。

  简单来说，预训练模型（Pre-trained Model）是前人未解决问题所创造出来的模型。后人在解决类似问题的时候，无需再从零开始训练一个新模型，而是可以利用此前在类似问题中训练过的模型来解决现有问题。

  与人们熟悉的语音助手不同，ChatGPT在与人们的对话中可以理解较为复杂的语句内容，比如有多层语法嵌套的句子。同时，ChatGPT拥有一定联系上下文理解语境的能力，可以针对一个问题不断深入交流。令人惊讶的是，ChatGPT既能承认错误、质疑不正确的问题，还能拒绝不恰当的请求。

  这就意味着，ChatGPT已经可以实现围绕某个话题，与人类展开一段谈话讨论的可能。

  OpenAI官方称，ChatGPT是在人类的帮助下创建并训练的，人类训练师对该AI早期版本回答查询的方式进行排名和评级。然后，这些信息被反馈到系统中，系统会根据训练师的偏好来调整答案。这是一种训练人工智能的标准方法，被称为强化学习。

  据国盛证券研报，ChatGPT有着多达1750亿个模型参数，OpenAI主要使用的公共爬虫数据集是有着超过万亿单词的人类语言数据集。

  该研报指出，ChatGPT在寻找答案、处理问题的效率上已经部分超越了如今的搜索引擎。ChatGPT或许在未来会改变我们获取信息、输出内容的方式，AIGC（AI生成内容）有望成为数字化的经济时代驱动需求爆发的杀手级应用。

  ChatGPT的破圈揭开了预训练模型这一技术的神秘面纱，事实上，近两年国内行业巨头和高校科研机构已经在这一领域布局。

  百度发布了产业级知识增强大模型“文心”（参数规模达2600亿），并基于“文心”模型形成了产业全景图。同时，华为联合鹏程实验室等也发布了“盘古”大模型，阿里巴巴达摩院发布了中文语言模型 PLUG。

  此外，由北京智源人工智能研究院牵头，汇聚清华、北大、人大、中科院和相关企业一同研发的超大规模预训练模型“悟道”（悟道2.0参数规模达1.75万亿）也于2021年亮相。

  “AI预训练大模型的出现，成为了近三年以来AI算法创新最受关注的投资机会。”联想集团副总裁、联想创投集团高级合伙人宋春雨表示，随着超大规模AI预训练模型的技术突破，在自然语言理解方面已经展现出超高程度的可用性，简而言之就是“机器真的懂人了”。

  他认为，大规模预训练模型是AI大数据要走的必然之路。从学术界和产业界的角度来看，AI和大数据技术的变化也会非常大。未来两年、最多三年，AI将会有很大能力的提升。

  回溯历史，从最早Deep Learning到Alpha go，到Zero 自训练，到Transformer，再到GPT-3， AI在突飞猛进的发展，并不断落地在应用场景中，比如 AI制药、预测化学分子都极大地提高了所在行业的生产力。

  启明创投合伙人周志峰也表示，人工智能过去10年发展集中在感知智能，特别是视觉和语音技术的突破。下一个十年，AI将走向认知智能，预训练大模型是其核心技术推动力和关键基础设施，让AI吸收更多的知识去理解和思考，最终实现接近人类水平的认知。同时，预训练大模型使得AI从依赖手工调参建模走向可大规模复制的工业化阶段。

  睿兽分析显示，2022年以来，尤其是下半年，大规模预训练模型领域出现了多笔大额融资。

  2月10日，澜舟科技完成近亿元Pre-A轮融资，由联想创投、斯道资本共同领投，创新工场跟投。9月26日，智谱AI宣布获得数亿元B轮融资，由君联资本和启明创投联合领投。11月7日，小冰公司宣布完成10亿元新融资。12月6日，聆心智能完成数千万元天使+轮融资，由连星资本领投，图灵创投和智谱AI跟投。

  澜舟科技研发的“孟子”模型，用更小的模型规模（10亿参数量）实现了比肩超大模型的性能，能够具备灵活的领域和场景适应能力，在机器翻译、文本生成、行业搜索等场景更利于快速、低成本落地。

  2021年9月，澜舟科技和传神合作的第一个基于孟子预训练模型的“任度”翻译引擎正式对外发布上线，截至目前澜舟科技已完成了各行业垂直领域20余个翻译模型的开发，覆盖新闻、金融、汽车等领域。

  聆心智能在12月推出了图灵世界的首个产品“AI乌托邦”，用户可快速定制 AI 角色，只要输入简单的角色描述，就可以召唤出相应人设的 AI ，与之进行深度对话，还可以命令AI完成相应的任务。

  此外，聆心智能还打造了Emohaa情绪疗愈机器人，并与精神心理平台好心情达成合作，落地了国内首款人工智能心理陪伴数字人；还与高端豪华电动车品牌Beyonca合作，打造了新一代智能驾舱助手。

  新一轮融资公布当天，小冰公司启动了对旗下人工智能数字员工（AI Being Employee）产品线的年度升级，其中之一就是加强大模型对话引擎。

  据悉，目前小冰框架中运行了30万名数字员工，包括万科集团年度优秀员工“崔筱盼”、红杉中国首位虚拟分析师“Hng”、虚拟歌手“洛天依”等。由小冰框架生成的“小堂妹”等数名虚拟主播，全网播放量均已破亿。

  在网友排队“调戏”ChatGPT等聊天机器人的同时，关于预训练模型的商业落地问题亦成为产业界关心的话题。

  一些专家觉得，预训练模型的普及预计会在3~5年内实现，AI将很快替代简单重复劳动，甚至是一些流程性的技术岗位，比如翻译、新闻简讯编辑等。这非常有可能会在极短的时间内改变现在生产和生活的很多方式，大量基础性的工作流程会被基于预训练模型的智能应用渗透甚至取代。

  但另一些专家则认为，这一想法距离实际落地还有一段距离。其中最为核心的问题，在于预训练模型的准确性和部署成本。

  首先，诸如ChatGPT等聊天机器人的回答并不能够确保准确性，这对需要准确回答具体问题的商业应用来说是致命伤。这也是ChatGPT要在C端大规模推广，所需要面临的挑战。一些业内人士担心，如果AI输出虚假信息的速度太快，可能会在互联网中湮没真实信息，甚至对整个社会产生误导。

  商业化考虑的另一个问题是经济性。ChatGPT目前尚处在免费的测试阶段，眼前最接近实际的应用场景是搜索引擎优化、营销媒体内容创作辅助和开发者编程。

  由于ChatGPT现在还处在一个优化迭代的阶段，目前开放的公测应该也是希望搜集大众使用的反馈对模型持续改进。训练阶段的沉没成本过高，也导致AI应用早期很难从商业角度量化价值，也就是算不好“经济账”。随着算力的逐步的提升、场景的增多、翻倍的成本和能耗，将成为横亘在所有公司面前的问题。

  尽管很多小规模的预训练模型在今天的人机对话领域已经有很多成功的商业应用，但像ChatGPT这样大规模的模型，在To B领域中部署的难度很高，部署速度慢、成本高，商业经济价值也不明确，因此仅能停留在搜索、文化、娱乐等应用领域。

  容联云AI科学院院长刘杰认为，包括ChatGPT在内的预训练模型的应用，在商业化上还处在一个螺旋上升的阶段，未来应用场景很广，但当下技术和商业模式还需要尽快找到一个“共振”的频率。