瓶颈已经转移:当 AI 已经能写,真正重要的是什么
流畅的学术英文正在变得廉价。更难的问题是:这段话本来该往哪里写。
不久以前,AI 写作工具最难做到的事情之一,不过是写出一段听起来像论文里的文字。
这个问题大体上已经变了。
今天,把稿子里的一段交给一个强模型,它通常能用像样的学术英文续下去。术语往往对,过渡也顺,句子甚至可能听起来就像作者本人会写的那样。
但它仍然可能是错的那一句。
我们在看一篇金属卤化物钙钛矿化学稿的续写时,反复遇到这种情况。稿子当时在讨论 Mn²⁺ 掺入及其对光致发光的影响。
论证已经收窄到一个相当具体的问题:Mn²⁺ 掺入可能如何影响与卤素空位相关的缺陷态,以及这些局部变化能否帮助解释体系中观察到的光学行为。
ChatGPT 却往更宽的方向续:腔体工程、缺陷钝化、组分优化。
这段续写本身没有明显的硬伤。它们都是钙钛矿文献里说得通的方向。单独读,技术上像样,放进一段泛泛的 Discussion 也不会显得突兀。
问题在于:它回答的是另一个问题。
稿子此时已经不再问「有哪些办法能改善钙钛矿的光学性能」。它想弄清的是:Mn²⁺ 在这个体系里到底在做什么。
恰恰在论文需要收窄的时候,讨论又被拉回了一般性的优化策略。
这种失败比语法错误更让我感兴趣。模型并没有误解这个领域的词汇。它误解的是:这一段为什么出现在这里,以及论证接下来要往哪里走。
一句话可以流畅、技术上说得通、单独拿出来也站得住,却仍然把稿子拉向错误的方向。
当「像样的句子」变得过剩
人们谈学术写作,常常好像难处在于把想法变成句子。有时确实如此。可一旦研究者已经深入一篇论文,更难的决定通常发生在句子出现之前。
一段关于实验结果的文字,可以合理走向好几个方向。作者可能去解释机制、和前人工作比较、引入局限、从效率转到稳定性,或者判断这段已经写完了。
语言模型可以把这些续写都写出来。
它能写,并不等于告诉我们哪一句该出现在这里。
生成式 AI 极大地增加了「像样语言」的供给。研究者不必再费力想出三种可能的续写;模型可以在你想完第一种之前,先给出十种。
选择变多,只在一定范围内有用。过了那个点,工作就变成了筛选。
研究者仍然要判断:这个方向是否符合这一段的角色,证据是否够强,机制是否被说重了,以及一篇看起来相关的论文是否真的支撑新句子所声称的内容。
讽刺的是,散文写得越好,这件事反而可能更难。
如果 AI 写出一句别扭的话,我们会检查它。如果它写出一句用对了术语、套上了熟悉科学解释的漂亮句子,注意力会很快从「这站得住吗」滑向「这读起来顺吗」。
Mn²⁺ 的例子说明了这一点。一句关于缺陷钝化的陈述可以在科学上说得通,却仍然在好几处失败:实验条件可能不同,来源也许只支持一般机制而不支持这么强的表述,或者这句话只是把稿子带到了作者并不想去的地方。
这些其实都不是语言问题。
一千份 PDF,并不等于一千篇论文的工作记忆
还有一个原因,让「生成」越来越不该占据全部注意力。
研究者手头已经拥有远比自己能主动记住的更多、潜在有用的信息。
文献库的增长方式很奇怪。一开始,几乎每篇都熟悉。几年后,可能有几百甚至上千份 PDF。许多曾经认真读过。有些恰好包含今天这段话需要的实验、限定或比较。
但研究者已经记不清,无法干净地把它们找回来。
记忆常常是残缺的:有一篇论文在连续激发下做过类似的事。或者:我记得有一张图,掺杂似乎占据某个格位。或者只是:这个机制我以前见过。
到了这个阶段,普通搜索框会变得格外苛刻。它要求研究者先把半成形的记忆翻译成正确术语,系统才能帮忙。
记忆往往不是这样工作的。
识别常常先于语言。
你可能想不起一篇论文的标题、作者和关键词,可一旦再看到相关段落,几乎立刻就能认出来。
所以,论文里的一小段,有时比排得再完美的十个标题更有用。
片段不只是搜索结果。它可以是线索。
有时反应很直接:对,就是这篇。但更有意思的情况是:重新浮现的段落改变了思路的方向。
也许你本来在找关于效率的证据,一段文字却提醒你,同一项研究还报告过你已经忘掉的稳定性效应。也许另一种材料体系里的机制,提示了一个你没打算做的比较。也许这篇论文其实没有你记忆中那么能撑住结论,于是你决定这句话根本不写。
这些结果在常规的 AI 演示里都不怎么好看。可能一个段落都没生成。
但有用的事情已经发生了:掉出工作记忆的知识,重新回到了写作里。
大型文献库通常被当成存储和检索问题。我们把论文放进文件夹、打标签、做全文索引、改进搜索。
这些都很重要。可一旦库足够大,另一个问题就会出现。
问题不再只是:信息是否存在于库的某处。
而是:对的那一块,能否在它变得有用的那一刻,重新进入研究者的注意。
搜索从已经被说清楚的需求开始。
回忆不必总是如此。
它可以从稿子本身开始。
上下文只有在被筛选之后才有用
面对 AI 的局限,常见反应是:再加更多上下文。
把整篇论文给模型。再给它二十篇。加大上下文窗口。加上笔记、过往对话,最后把整个文献库都塞进去。
这样做当然有好处,但研究文献库也暴露了这个想法的边界。
一千份 PDF 里已经有海量上下文。对正在写的这一段来说,其中几乎全部都无关。
有意思的问题不是系统能装下多少信息,而是它能多好地决定:什么值得被激活。
想象一位研究者正在就某个实验观察写三句话。库里有两段十八个月前读过的文字,直接关系到机制;另有一段挑战了最显而易见的解释;还有几百篇共享同一批宽泛关键词、对这一刻却毫无帮助的论文。
把它们全部放进更大的上下文窗口,解决不了问题。
找出那几段值得看的碎片,也许可以。
生成与决策支持的分别,正是从这里开始变得重要。
一个有用的系统,可以在研究者还在决定这一段意味着什么的时候,把这些碎片浮现出来。它们不必规定下一句该怎么写。其中一段可能支撑它,另一段可能削弱它,还有一段可能说服研究者把这句话删掉。
学术工具历来把稿子和文献库当成两个地方:你在一边写,必要时再到另一边搜。
AI 让我们有机会把它们连得更紧,但仅仅连上还不够。
真正重要的是:什么穿过这条边界,以及在什么时候穿过。
有时一个标题就够了。常常不够。
一段正文、一张图注、结果附近的几行,才可能真正改变研究者下一步会想什么。
一旦生成变得廉价,工作流本身才是更有意思的问题
这是我越来越看重的部分。
如果 AI 已经能写出那句话,下一个问题也许不是让它生成得更多。
而是如何重组生成之前发生的事。
今天,一种相当常见的科研写作流程仍然是:写 → 隐约想起什么 → 离开稿子 → 搜索文献库 → 试几个查询 → 打开 PDF → 定位段落 → 回到稿子 → 问 AI → 继续写。
每一步单独看都还能应付。
摩擦来自:每次都要重新搭建稿子与文献之间的连接。
如果把稿子本身当作信号,另一种工作流就变得可能。
这一段已经告诉了我们很多:研究者此刻在讨论什么、刚刚确立了什么、哪些概念是活跃的,以及接下来可能需要什么样的证据。
这意味着,文献要变得有用,研究者不必总是先停笔、再编出一个搜索词。
在论证还在成形时,研究者自己的文献库里,可以重新浮现少量相关段落。
不是五十篇推荐论文。
也不是把整个库压进一个上下文窗口。
只是几段真正有机会在这里起作用的碎片。
一段可能找回研究者本来就在回想的那篇。
另一段可能揭示:记忆中的证据其实比预想的弱。
第三段可能引入一个研究者根本没在找的比较。
到了这一步,工作流不再那么像「提示词 → 生成」,而更像「稿子 → 相关碎片 → 识别 → 证据 → 判断 → 写作」。
AI 在这条链的末端仍然重要。它可以帮助把已经决定的意思写清楚,提出一种续写,或改进表达。
但生成不必再是系统做的第一件有意思的事。
有时最有用的介入,发生在句子出现之前。
那时,什么才变得有价值?
我不会主要用「能产出多少文字」来衡量下一代学术 AI。
我会更关心:它能否把对局部论证重要的材料带出来,而不只是对准整篇稿子的宽泛主题。
一条建议能否不靠十分钟侦探工作,就追溯到原始证据。
已经掉出工作记忆的文献,能否重新变得有用。
以及系统是否把最终判断留在它该在的地方:由研究者决定两个实验是否可比、机制是否站得住、证据是否够强、稿子是否该往那个方向走。
这些能力并不总是带来更多文字。
有时结果是删掉一句话。
有时是花十分钟重读一篇旧论文。
有时,重新浮现的一段会改变整段的框架。
用每分钟字数来衡量,这些都不显得特别高效。
但研究从来就不太适合用这个指标来衡量。
AI 已经越来越擅长写出那句话。
我现在更关心的是:它能否让这句话周围的一切变得更容易——记起我们读过的东西,看见真正要紧的证据,并决定下一步究竟值不值得写。
Substack
探讨新一代的写作工具
欢迎加入 Substack,一起讨论证据驱动的 AI 写作、本地论文库,以及学术工具的下一步。订阅即可跟上最新文章。
加入 Substack