ChatGPT已经引起一波热潮。自从去年十一月底OpenAI的大型语言模型（LLM）发布以来，人们对于生成式AI——ChatGPT只是其中之一——如何改变我们对知识、研究和内容创造的一切认知进行了各种各样的猜测。生成式AI或许会重塑劳动力和员工发展所需的技能，甚至颠覆整个行业。

有一个领域在生成式AI竞赛中拔得头筹：搜索。生成式AI很可能极大地改变用户对搜索的期望。

长期以来网络搜索的赢家谷歌，似乎突然遇到了微软的挑战。微软前不久向ChatGPT的开发者OpenAI投资100亿美元，宣布将这一工具纳入一系列微软产品的计划，包括其搜索引擎必应。与此同时，谷歌正在发布自己的AI工具Bard，而中国的科技巨头百度也在准备推出ChatGPT的竞争对手。还有数百万美元被投入生成式AI初创企业。

不过，尽管ChatGPT和生成式AI被炒得火热，但这类工具在达到谷歌等老牌搜索引擎的规模、稳健性和可靠性之前，还需要在实践、技术和法律层面克服重大的难题。

背景

搜索引擎在20世纪90年代初进入主流，但其核心方法一直没有改变：以与用户最相关的方式对索引网站排序。搜索1.0时代要求用户输入关键词或关键词组合来查询引擎。搜索2.0时代于2000年代末随着语义搜索的引入一同到来，允许用户像与人类互动一样输入自然短语。

谷歌一出现就主导了搜索领域，归功于三个关键因素：简单而不凌乱的用户界面；具有革命性的PageRank算法，提供有相关性的搜索结果；还有谷歌无缝扩展的能力。对于一个定义明确的使用场景——寻找包含你所需要的信息的网站，谷歌一直是堪称完美的工具。

但现在似乎有一个新的使用场景正在兴起。正如谷歌在宣布Bard时说的那样，现在用户寻求的不只是列出与查询内容相关的网站——他们想要“更深入的洞察和理解”。

这正是搜索3.0所做的——提供答案，而不仅仅是网站。如果说谷歌是在帮助我们从图书馆找出可以回答我们问题的一本书，那么ChatGPT则是一位已经读过了所有的书、可以回答我们问题的同事。理论上是这样的。

不过ChatGPT的第一个问题也在这里：以目前的形式，ChatGPT并不是搜索引擎，主要是因为它无法像网络抓取式搜索引擎那样获取实时信息。这可能就是为什么OpenAI公司CEO萨姆·阿尔特曼（Sam Altman）在2022年12月说，“目前依靠ChatGPT做任何重要的事都是错误。”

这种状况会在不久的将来改变吗？这就引出了第二个大问题：随着互联网上信息的演化，现在要持续重新训练大型语言模型是极其困难的。

最显而易见的挑战在于持续训练大型语言模型所需的庞大处理能力，以及与之相关的金钱成本。谷歌通过出售广告来支付搜索成本，以便免费提供服务。大型语言模型的能源成本更高，难以实现，假如目标是以谷歌的速度（据估计为每秒数万次，每天就是数十亿次）处理查询就更难了。一种可能的解决方案或许是降低训练模型的频率，并且避免用其搜索快速演化的主题。

但即使公司设法克服了这种技术和财务难题，它能提供的实际信息依然很成问题：ChatGPT这样的工具究竟要学习什么、向谁学习？

考虑来源

像ChatGPT这样的聊天机器人就像社会的镜子——反映它们看到的东西。如果你让它们用未经过滤的互联网数据进行训练，它们可能会口吐恶言。因此大型语言模型要用开发者认为合适的、精心挑选的数据集进行训练。

但这种水平的内容管理无法保证如此大规模的网络数据集里所有内容都在事实上正确且不含偏见。事实上，埃米莉·本德尔（Emily Bender）、蒂姆尼特·格布鲁（Timnit Gebru）、安杰利娜·麦克米伦-梅杰（Angelina McMillan-Major）和玛格丽特·米切尔（Margaret Mitchell）的一项研究发现，“基于网络文本的大型数据集过度代表了霸权主义观点，并将可能伤害边缘人群的偏见包含在内”。例如ChatGPT训练数据的一个关键来源是Reddit，上述研究者引用了皮尤研究中心的一项研究，表明67%的Reddit用户是男性，64%的用户年龄在18至29岁之间。

在网络参与方面存在性别、年龄、种族、国籍、社会经济地位和政治派别等人口统计学差异，意味着AI将反映经过管理后的内容里最占优势的群体的观点。ChatGPT已经被指责为“觉醒”且持有“自由主义偏见”。与此同时，这个聊天机器人还会给出带有种族色彩的建议，加州大学伯克利分校的一位教授让AI写出的代码说只有白人或亚洲男性才能成为好的科学家。OpenAI设置了护栏以避免这类事件，但根本问题依然存在。

偏见也是传统搜索引擎的一个问题，因为可能将用户引导向含有偏见、种族主义、不正确或不适当内容的网站。不过，因为谷歌只是引导用户去往来源网站，对网站内容承担的责任较少。面对内容和背景信息（如已知来源的政治偏见），用户需要运用自己的判断力辨别事实和真相，并决定要使用哪些信息。ChatGPT取消了这个基于判断的步骤，因此要对其可能提供的带有偏见和种族主义的结果负直接责任。

这就引出了透明度的问题：用户不知道ChatGPT这样的工具给出的答案背后有哪些来源，AI被问及时也不会提供这些信息。这造成了一种危险的情况，即有偏见的机器可能被用户误以为是一定正确的客观工具。OpenAI正在努力用WebGPT解决这个难题，这一版AI工具被训练得可以给出来源，但效果尚有待观察。

来源不透明会导致另一个问题：生成式AI可能从训练数据中剽窃内容——换言之，就是其他人的作品，他们没有同意（consent）将自己有版权的作品纳入训练数据，没有获得该作品的使用费用（compensated），也没有获得署名权（credit）。（《纽约客》最近在一篇讨论针对生成式AI公司Midjourney、Stable Diffusion和Dream Up的集体诉讼的文章里将这些问题总结为“3C”。）针对微软、OpenAI、GitHub和其他公司的诉讼也不断出现，这似乎是新一轮道德与法律之争的开始。

剽窃是一个问题，但还有一些时候，大型语言模型纯粹在编造。例如在一次公开展示的失误中，谷歌的Bard在演示里给出了关于詹姆斯·韦伯望远镜的事实错误信息。同样，ChatGPT在被问及经济学领域被引用次数最多的论文时回复了完全虚构的引用信息。

由于这些问题，ChatGPT和通用的大型语言模型必须克服重大难题，才能用于一切严肃的信息寻找或内容创造的工作，特别是学术和企业应用，这些领域里即使是微小的误差也可能对职业发展造成重大的影响。

向垂直发展

大型语言模型可能会加强传统搜索引擎的某些方面，但目前似乎没有能力动摇谷歌搜索的地位。不过，它们可以发挥更为颠覆性和革命性的作用，改变其他类型的搜索。

搜索3.0时代更有可能出现的是，经过有目的且透明的内容管理、刻意训练过的用于垂直搜索的大型语言模型兴起，这类搜索引擎专门针对特定主题。

垂直搜索是大型语言模型的一个强有力的用例，原因有几个。首先，专注特定的领域和使用场景，即狭窄但深入的知识。这样一来，使用高度规划过的数据集训练大型语言模型就更容易，数据集里可能包含全面的描述模型来源和技术细节的文档。这样也更容易对数据集进行适当的版权、知识产权以及隐私法律、规章和条例约束。更小、更有针对性的语言模型，其计算成本也更低，方便更频繁的重新训练。最后，这些大型语言模型会接受第三方专家的定期测试和审计，类似于受监管的金融机构中使用的分析模型要满足严格的测试要求。

在一些领域，植根于历史事实和数据的专业知识是工作的重要组成部分。垂直的大型语言模型可以在此类领域提供新一代的生产力工具，以全新的方式增强人类的能力。想象一下，一版以同行评议和已出版的医学期刊及教科书为材料训练过的ChatGPT，嵌入微软Office办公软件里，作为医疗专业人士的研究助手。或者用银行分析师用于研究的顶级金融数据库、期刊里数十年的金融数据和文章训练过的版本。另一个例子是训练大型语言模型写代码或调试代码，并回答开发者提出的问题。

企业和创业者在评估有没有强大的大型语言模型垂直搜索用例时，可以思考以下五个问题：

一、该任务或流程以往是否需要广泛的研究或深入的相关专业知识？

二、任务的成果是不是能让用户采取行动或做出决定的综合信息、洞见或知识？

三、有没有足够的技术或事实数据能把AI训练成垂直搜索领域的专家？

四、大型语言模型能否以合适的频率接受新信息训练、提供最新的信息？

五、人工智能学习、复制和延续训练数据中的观点、假设和信息是否符合法律和道德标准？

自信地回答以上问题，需要多学科的视角，将商业、技术、法律、金融和道德视角结合起来。但如果对五个问题的回答都是肯定的，那么垂直大型语言模型或许大有可为。

让尘埃落定

ChatGPT背后的技术令人印象深刻，但并不是独有的，很快就会变得容易复制且廉价商品化。随着时间推移，公众对ChatGPT产生的迷恋将逐渐褪去，这项技术的实际情况和局限会显现出来。因此，投资者和用户应当留意专注于解决上述技术、法律和道德挑战的公司，这是实现产品差异化、最终借以在AI之战中获胜的前沿阵地。

关键词：AI

埃格·古尔代尼兹（Ege Gurdeniz）、卡尔蒂克·霍萨纳格（Kartik Hosanagar）| 文