返回博客

瓶颈已经转移:当 AI 已经能写,真正重要的是什么

作者 Jim Lau约 9 分钟

流畅的学术英文正在变得廉价。更难的问题是:这段话本来该往哪里写。

不久以前,AI 写作工具最难做到的事情之一,不过是写出一段听起来像论文里的文字。

这个问题大体上已经变了。

今天,把稿子里的一段交给一个强模型,它通常能用像样的学术英文续下去。术语往往对,过渡也顺,句子甚至可能听起来就像作者本人会写的那样。

但它仍然可能是错的那一句。

我们在看一篇金属卤化物钙钛矿化学稿的续写时,反复遇到这种情况。稿子当时在讨论 Mn²⁺ 掺入及其对光致发光的影响。

论证已经收窄到一个相当具体的问题:Mn²⁺ 掺入可能如何影响与卤素空位相关的缺陷态,以及这些局部变化能否帮助解释体系中观察到的光学行为。

ChatGPT 却往更宽的方向续:腔体工程、缺陷钝化、组分优化。

这段续写本身没有明显的硬伤。它们都是钙钛矿文献里说得通的方向。单独读,技术上像样,放进一段泛泛的 Discussion 也不会显得突兀。

问题在于:它回答的是另一个问题。

稿子此时已经不再问「有哪些办法能改善钙钛矿的光学性能」。它想弄清的是:Mn²⁺ 在这个体系里到底在做什么。

恰恰在论文需要收窄的时候,讨论又被拉回了一般性的优化策略。

这种失败比语法错误更让我感兴趣。模型并没有误解这个领域的词汇。它误解的是:这一段为什么出现在这里,以及论证接下来要往哪里走。

一句话可以流畅、技术上说得通、单独拿出来也站得住,却仍然把稿子拉向错误的方向。

当「像样的句子」变得过剩

人们谈学术写作,常常好像难处在于把想法变成句子。有时确实如此。可一旦研究者已经深入一篇论文,更难的决定通常发生在句子出现之前。

一段关于实验结果的文字,可以合理走向好几个方向。作者可能去解释机制、和前人工作比较、引入局限、从效率转到稳定性,或者判断这段已经写完了。

语言模型可以把这些续写都写出来。

它能写,并不等于告诉我们哪一句该出现在这里。

生成式 AI 极大地增加了「像样语言」的供给。研究者不必再费力想出三种可能的续写;模型可以在你想完第一种之前,先给出十种。

选择变多,只在一定范围内有用。过了那个点,工作就变成了筛选。

研究者仍然要判断:这个方向是否符合这一段的角色,证据是否够强,机制是否被说重了,以及一篇看起来相关的论文是否真的支撑新句子所声称的内容。

讽刺的是,散文写得越好,这件事反而可能更难。

如果 AI 写出一句别扭的话,我们会检查它。如果它写出一句用对了术语、套上了熟悉科学解释的漂亮句子,注意力会很快从「这站得住吗」滑向「这读起来顺吗」。

Mn²⁺ 的例子说明了这一点。一句关于缺陷钝化的陈述可以在科学上说得通,却仍然在好几处失败:实验条件可能不同,来源也许只支持一般机制而不支持这么强的表述,或者这句话只是把稿子带到了作者并不想去的地方。

这些其实都不是语言问题。

一千份 PDF,并不等于一千篇论文的工作记忆

还有一个原因,让「生成」越来越不该占据全部注意力。

研究者手头已经拥有远比自己能主动记住的更多、潜在有用的信息。

文献库的增长方式很奇怪。一开始,几乎每篇都熟悉。几年后,可能有几百甚至上千份 PDF。许多曾经认真读过。有些恰好包含今天这段话需要的实验、限定或比较。

但研究者已经记不清,无法干净地把它们找回来。

记忆常常是残缺的:有一篇论文在连续激发下做过类似的事。或者:我记得有一张图,掺杂似乎占据某个格位。或者只是:这个机制我以前见过。

到了这个阶段,普通搜索框会变得格外苛刻。它要求研究者先把半成形的记忆翻译成正确术语,系统才能帮忙。

记忆往往不是这样工作的。

识别常常先于语言。

你可能想不起一篇论文的标题、作者和关键词,可一旦再看到相关段落,几乎立刻就能认出来。

所以,论文里的一小段,有时比排得再完美的十个标题更有用。

片段不只是搜索结果。它可以是线索。

有时反应很直接:对,就是这篇。但更有意思的情况是:重新浮现的段落改变了思路的方向。

也许你本来在找关于效率的证据,一段文字却提醒你,同一项研究还报告过你已经忘掉的稳定性效应。也许另一种材料体系里的机制,提示了一个你没打算做的比较。也许这篇论文其实没有你记忆中那么能撑住结论,于是你决定这句话根本不写。

这些结果在常规的 AI 演示里都不怎么好看。可能一个段落都没生成。

但有用的事情已经发生了:掉出工作记忆的知识,重新回到了写作里。

大型文献库通常被当成存储和检索问题。我们把论文放进文件夹、打标签、做全文索引、改进搜索。

这些都很重要。可一旦库足够大,另一个问题就会出现。

问题不再只是:信息是否存在于库的某处。

而是:对的那一块,能否在它变得有用的那一刻,重新进入研究者的注意。

搜索从已经被说清楚的需求开始。

回忆不必总是如此。

它可以从稿子本身开始。

上下文只有在被筛选之后才有用

面对 AI 的局限,常见反应是:再加更多上下文。

把整篇论文给模型。再给它二十篇。加大上下文窗口。加上笔记、过往对话,最后把整个文献库都塞进去。

这样做当然有好处,但研究文献库也暴露了这个想法的边界。

一千份 PDF 里已经有海量上下文。对正在写的这一段来说,其中几乎全部都无关。

有意思的问题不是系统能装下多少信息,而是它能多好地决定:什么值得被激活。

想象一位研究者正在就某个实验观察写三句话。库里有两段十八个月前读过的文字,直接关系到机制;另有一段挑战了最显而易见的解释;还有几百篇共享同一批宽泛关键词、对这一刻却毫无帮助的论文。

把它们全部放进更大的上下文窗口,解决不了问题。

找出那几段值得看的碎片,也许可以。

生成与决策支持的分别,正是从这里开始变得重要。

一个有用的系统,可以在研究者还在决定这一段意味着什么的时候,把这些碎片浮现出来。它们不必规定下一句该怎么写。其中一段可能支撑它,另一段可能削弱它,还有一段可能说服研究者把这句话删掉。

学术工具历来把稿子和文献库当成两个地方:你在一边写,必要时再到另一边搜。

AI 让我们有机会把它们连得更紧,但仅仅连上还不够。

真正重要的是:什么穿过这条边界,以及在什么时候穿过。

有时一个标题就够了。常常不够。

一段正文、一张图注、结果附近的几行,才可能真正改变研究者下一步会想什么。

一旦生成变得廉价,工作流本身才是更有意思的问题

这是我越来越看重的部分。

如果 AI 已经能写出那句话,下一个问题也许不是让它生成得更多。

而是如何重组生成之前发生的事。

今天,一种相当常见的科研写作流程仍然是:写 → 隐约想起什么 → 离开稿子 → 搜索文献库 → 试几个查询 → 打开 PDF → 定位段落 → 回到稿子 → 问 AI → 继续写。

每一步单独看都还能应付。

摩擦来自:每次都要重新搭建稿子与文献之间的连接。

如果把稿子本身当作信号,另一种工作流就变得可能。

这一段已经告诉了我们很多:研究者此刻在讨论什么、刚刚确立了什么、哪些概念是活跃的,以及接下来可能需要什么样的证据。

这意味着,文献要变得有用,研究者不必总是先停笔、再编出一个搜索词。

在论证还在成形时,研究者自己的文献库里,可以重新浮现少量相关段落。

不是五十篇推荐论文。

也不是把整个库压进一个上下文窗口。

只是几段真正有机会在这里起作用的碎片。

一段可能找回研究者本来就在回想的那篇。

另一段可能揭示:记忆中的证据其实比预想的弱。

第三段可能引入一个研究者根本没在找的比较。

到了这一步,工作流不再那么像「提示词 → 生成」,而更像「稿子 → 相关碎片 → 识别 → 证据 → 判断 → 写作」。

AI 在这条链的末端仍然重要。它可以帮助把已经决定的意思写清楚,提出一种续写,或改进表达。

但生成不必再是系统做的第一件有意思的事。

有时最有用的介入,发生在句子出现之前。

那时,什么才变得有价值?

我不会主要用「能产出多少文字」来衡量下一代学术 AI。

我会更关心:它能否把对局部论证重要的材料带出来,而不只是对准整篇稿子的宽泛主题。

一条建议能否不靠十分钟侦探工作,就追溯到原始证据。

已经掉出工作记忆的文献,能否重新变得有用。

以及系统是否把最终判断留在它该在的地方:由研究者决定两个实验是否可比、机制是否站得住、证据是否够强、稿子是否该往那个方向走。

这些能力并不总是带来更多文字。

有时结果是删掉一句话。

有时是花十分钟重读一篇旧论文。

有时,重新浮现的一段会改变整段的框架。

用每分钟字数来衡量,这些都不显得特别高效。

但研究从来就不太适合用这个指标来衡量。

AI 已经越来越擅长写出那句话。

我现在更关心的是:它能否让这句话周围的一切变得更容易——记起我们读过的东西,看见真正要紧的证据,并决定下一步究竟值不值得写。

Substack

探讨新一代的写作工具

欢迎加入 Substack,一起讨论证据驱动的 AI 写作、本地论文库,以及学术工具的下一步。订阅即可跟上最新文章。

加入 Substack

相关页面

本文亦发布于 Substack