>将你们的LLMs带来评审：为何同行评审有益于AI模型
深度求索的R1模型已接受同行评审。其他公司应效仿该公司的做法。
——————
目前，那些最广泛应用的大语言模型（LLMs）正迅速颠覆人类获取知识的方式，但尚未有一家在研究期刊上接受过独立的同行评审。这是一个显著的缺失。经过同行评审的发表有助于厘清LLMs的工作原理，并帮助评估它们是否做到了其声称能做到的事。
随着《自然》（Nature）杂志发布关于R1的细节，这一情况得以改变。R1是由总部位于中国杭州的科技公司深度求索（DeepSeek）开发的模型。它是一个开源权重（open-weight）模型，这意味着，尽管研究人员和公众无法获得其全部源代码和训练数据，但他们可以不受限制地自由下载、使用、测试并基于其进行构建。开源权重人工智能（AI）的价值正得到更广泛的认可。今年七月，美国总统唐纳德·特朗普（Donald Trump）政府表示，此类模型“对于学术研究至关重要”。越来越多的公司正在发布自己的版本。
自R1于一月在AI社区平台Hugging Face发布以来，它已成为该平台上下载量最多的复杂问题解决模型。如今，该模型已经过八位专家的评审，以评估其工作的原创性、方法论和稳健性。论文将与评审报告和作者回复一同发表。在这个未经证实的声明和炒作过于常见的行业中，所有这些都是迈向透明化和可重现性的可喜一步。
深度求索的论文聚焦于该公司用于训练R1进行“推理”（reason）的技术。研究人员应用了一种高效且自动化的“试错与奖励”过程，称为强化学习（reinforcement learning）。在此过程中，模型学习推理策略，例如验证其自身的演算过程，而不受人类关于如何完成此事的想法的影响。
一月时，深度求索还发布了一份预印本，概述了研究人员的方法以及模型在一系列基准测试（benchmarks）上的表现。此类技术文档，通常被称为模型卡片（model cards）或系统卡片（system cards），它们所包含的信息可能千差万别。
相比之下，在同行评审中，外部专家并非单向接收信息，而是可以在一个由独立第三方——编辑——监督和管理的协作过程中提出问题并要求提供更多信息。这个过程提高了论文的清晰度，确保作者能论证其声称的成果。它并不总会导致重大修改，但能增强对一项研究的信任。对于AI开发者而言，这意味着他们的工作得到了加强，因而对不同群体而言也更具可信度。
同行评审也对AI开发者“自己给自己打分”（marking their own homework）的做法起到了制衡作用，即选择那些能最好地展现其模型性能的基准测试。基准测试可能被“操纵”（gamed）以高估模型的能力，例如，在包含示例问题和答案的数据上进行训练，使模型学会正确答案。
在深度求索的案例中，评审人就提出了是否可能存在此种做法的问题。该公司提供了其试图减轻数据污染（data contamination）的细节，并包括使用在模型发布后才公布的基准测试进行的额外评估。
同行评审还导致了论文的其他重要变化。其一是确保作者已解决了模型的安全性问题。AI的安全性意味着避免意外的有害后果，从减轻输出中内嵌的偏见（biases）到增加防护栏（guardrails）以防止AI助长网络攻击（cyberattacks）。一些人认为开源模型不如专有模型安全，因为一旦被用户下载，它们就不在开发者的控制中（尽管如此，开源模型也允许更广泛的社区了解和修复缺陷）。
R1的评审人指出了其缺乏关于安全测试的信息：例如，没有评估基于R1构建一个不安全模型的难易程度。作为回应，深度求索的研究人员在论文中增加了重要细节，包括一个章节，概述了他们如何评估模型的安全性，并与其竞争对手模型进行比较。
各公司已开始认识到外部审查（external scrutiny）的价值。上月，总部位于加州旧金山的OpenAI和Anthropic使用各自内部的评估流程测试了彼此的模型。两者都发现了其开发者遗漏的问题。七月，总部位于巴黎的Mistral AI与外部顾问合作，发布了其模型的环境评估结果。Mistral希望此举能提高整个行业报告标准的透明度。
鉴于AI正以惊人速度发展并被释放到社会中，这些努力是重要的步骤。但其中大多数都缺乏同行评审所具有的独立性，尽管有其局限性，但同行评审代表了验证的黄金标准。
一些公司担心发表会泄露知识产权——鉴于此类模型已获得巨额投资，这确实存在风险。但是，正如《自然》发表谷歌（Google）的医学大语言模型Med-PaLM所表明的那样，对专有模型进行同行评审是可行的。
依赖独立研究人员的同行评审是遏制AI行业炒作的一种方式。鉴于这项技术已变得无处不在，无法验证的说法对社会构成了切实的风险。出于这个原因，我们希望更多的AI公司能将其模型提交给出版物进行审查。评审并不意味着让外人获取公司秘密。但它确实意味着要准备用证据来支撑其声明，并确保各项声称得到验证和澄清。
https://www.nature.com/articles/d41586-025-02979-9
