BENCHMARK

Evidence 能否让自动补全更准确、更贴合稿件?

Benchmark 比较同一写作位置有无 Evidence 的自动补全首次输出。Evidence 指 Flowing 从本地文献库检索并筛选的论文片段。当前仅公开自动补全结果;润色与核查仍保留为内部开发数据。

FLOWING EVIDENCE BENCHMARK

怎么判断 Evidence 真的有帮助?

核心问题是:在同一写作位置、使用同一模型和任务时,提供检索文献片段会怎样改变首次输出?我们成对比较两种条件,保留持平、不可用和评审未完成的结果。

同一段原稿 · 比较是否提供 Evidence

01 · 固定写作位置

论文原稿

同一处写作点位 ▌

同一原稿位置的自动补全成对比较

02 · 构造两组输入

两组共用

原稿上下文、模型、任务和提示词

A · 提供 Evidence

额外提供检索文献片段

B · 不提供 Evidence

不提供检索文献片段

LLM

同一模型、同一版本

A → 首次输出

B → 首次输出

盲评 Agent

匿名标记两份首次输出为 X、Y

按续写质量判断:准确性、任务贴合度和可用性
输出:X 更优 / 持平 / Y 更优 / 两组均不可用

换序复评:X / Y → Y / X

盲评具体怎么判?

① 匿名两份输出
评审看到同一原稿和两份首次输出,但不知道哪份用了 Evidence。

② 比较并换序复评
根据当前任务的标准,按 X/Y、再按 Y/X 的顺序各评一次。

③ 复核分歧
两次结论不一致时再做第三次判定;未完成的评审也留在分母。

自动补全点位怎样分层?

在查看生成结果前,先核查检索片段是否含有能直接支撑下一步续写的具体命题;有则放在左侧机会组,否则放在右侧普通组。每个学科从可准入论文中均衡选取两组点位。50/50 是实验设计,不代表真实写作中两类点位各占一半。

AUTOCOMPLETE · 110

定量生物学、统计学、天体物理学

左侧 55 个、右侧 55 个点位;统计学采用 10 篇论文的复测结果。

AUTOCOMPLETE · 52

心理学与气候科学

左侧 26 个、右侧 26 个点位;心理学计入 9 篇,气候科学计入 4 篇。

表格里的百分比怎么算?

五学科共有 81 个左侧点位,其中 51 个点位的 Evidence 版本获评更优。持平、两组均不可用和评审未完成的点位仍计入分母。

51Evidence 版本更优
÷
81该层全部点位
=
63%该层 Evidence 获评更优的比例

来源贡献是另一项复核:已进入复核的 22 个 Evidence 获胜点位中,16 个确认直接使用了检索论文;另有 29 个胜出点位尚待复核。

当前是开发阶段的模型评审结果,尚未完成独立人工复核;这些数字不代表正式 Benchmark 结论,也不能单独证明因果关系。
自动补全

自动补全开发评测

汇总表格中的 5 个学科

Evidence 版本获评更优

63%51/81

在文献能直接支持下一步续写的位置

已进入来源复核的胜出点位:确认直接使用了检索论文

73% · 16/22

16/22 · 73%

全部 51 个 Evidence 胜出中,另有 29 个尚未完成来源复核;上方比例仅针对已进入复核的胜出点位。

无 Evidence 版本更优

23%19/81

同一位置、同一模型的无文献对照

Evidence 更优 51持平 3无 Evidence 更优 19均不可用或未完成 8

以上汇总与下方五学科表格一致,共 81 个左侧点位;统计学采用 10 篇复测结果。来源贡献已覆盖 35 个点位,其余 46 个待复核。

查看各学科结果与方法 ↓

自动补全详细结果

同一张表按生成前证据机会分为左右两栏,展示各学科已完成的自动补全开发评测。

定量生物学

10/10 篇论文 · 40 点位

Evidence 可直接支持续写 · n = 20

Evidence 更优

65% · 13/20

确认直接使用了检索论文

45% · 9/20

持平

5% · 1/20

无 Evidence 更优

10% · 2/20

未找到可直接支持续写的 Evidence · n = 20

Evidence 更优

35% · 7/20

持平

20% · 4/20

无 Evidence 更优

25% · 5/20

统计学

10/10 篇论文 · 40 点位

Evidence 可直接支持续写 · n = 20

Evidence 更优

60% · 12/20

确认直接使用了检索论文

本轮尚未完成来源复核

持平

0% · 0/20

无 Evidence 更优

35% · 7/20

未找到可直接支持续写的 Evidence · n = 20

Evidence 更优

45% · 9/20

持平

0% · 0/20

无 Evidence 更优

20% · 4/20

天体物理学

10/10 篇论文 · 30 点位

Evidence 可直接支持续写 · n = 15

Evidence 更优

60% · 9/15

确认直接使用了检索论文

47% · 7/15

持平

7% · 1/15

无 Evidence 更优

27% · 4/15

未找到可直接支持续写的 Evidence · n = 15

Evidence 更优

33% · 5/15

持平

7% · 1/15

无 Evidence 更优

53% · 8/15

心理学与认知神经科学

9/10 篇论文 · 36 点位

Evidence 可直接支持续写 · n = 18

Evidence 更优

67% · 12/18

确认直接使用了检索论文

本轮尚未完成来源复核

持平

0% · 0/18

无 Evidence 更优

28% · 5/18

未找到可直接支持续写的 Evidence · n = 18

Evidence 更优

22% · 4/18

持平

6% · 1/18

无 Evidence 更优

44% · 8/18

气候与环境科学

4/10 篇论文 · 16 点位

Evidence 可直接支持续写 · n = 8

Evidence 更优

63% · 5/8

确认直接使用了检索论文

本轮尚未完成来源复核

持平

13% · 1/8

无 Evidence 更优

13% · 1/8

未找到可直接支持续写的 Evidence · n = 8

Evidence 更优

50% · 4/8

持平

0% · 0/8

无 Evidence 更优

38% · 3/8

读表补充说明

  • “Evidence 更优”比较两组续写的整体质量;紫色数字进一步核查获胜的续写是否直接使用了检索论文。汇总卡中的来源贡献比例仅针对已经进入复核的胜出点位,待复核点位没有算作未使用论文。
  • 我们在生成前标记哪些位置有文献直接支持,再从“有支持”和“无直接支持”两类中各选一半进行比较。这不代表日常写作中两类位置各占一半。
  • 两组续写都不可用或盲评未完成的点位没有单列,但仍计入分母。所以表中三种结果的百分比不一定加起来等于 100%。

真实开发案例

查看全部 162 组自动补全对照

这里展示五个学科的 162 组自动补全对照,与上方结果的分母一致。每个点位都可查看写作原文、提供给 Evidence 版本的文献、两组首次输出和模型评审记录;持平、两组均不可用及评审未完成的点位也保留在列表中。

以上均为开发数据,尚未通过独立人工复核。原文与文献片段为摘录;输出的正文、逐条修改及核查判断取自原始记录。评审失败的案例没有胜负结论。

结果
学科

显示 162 / 162 组 · 第 1 / 14 页

自动补全无 Evidence 更优2c19f4cf93463f45

Bridging from single to collective cell migration: A review of models and links to experiments

定量生物学 · 2011.10873v1

… d cell shape and function, in both normal and diseased cells. Recent efforts aim to link single cell behavior to collective behavior of many cells and emergent dynamics of tissues.

查看完整对照 →
自动补全无 Evidence 更优e6bfbd7a9561cfcb

Bridging from single to collective cell migration: A review of models and links to experiments

定量生物学 · 2011.10873v1

… , have fostered many generations of computational models. By comparison, the level of basic scientific computational research on multiscale cell biology modeling is still emerging.

查看完整对照 →
自动补全Evidence 更优ce22995352c0cdc1

Bridging from single to collective cell migration: A review of models and links to experiments

定量生物学 · 2011.10873v1

… PDEs and patterns inside a single cell, it can then be simplified, depicted by a direction vector [ 25 , 15 ] in place of a full internal gradient of Rho or Rac for multiple cells.

查看完整对照 →
自动补全Evidence 更优cebee9387c3b261c

Bridging from single to collective cell migration: A review of models and links to experiments

定量生物学 · 2011.10873v1

… incorporate this information with the intracellular networks to form a signaling network on a multicellular level to study how a group of cells processes signals collaboratively.”

查看完整对照 →
自动补全两组均不可用0dcb80855f23c0b6

Metagenomic Analysis using Phylogenetic Placement -- A Review of the First Decade

定量生物学 · 2202.03534v2

… and increasing throughput of sequencing technologies have caused an exponential growth in sequencing data ( Muir2016 ) , which has now passed the peta-scale barrier ( Katz2022 ) .

查看完整对照 →
自动补全持平7dce670e0a924e05

Metagenomic Analysis using Phylogenetic Placement -- A Review of the First Decade

定量生物学 · 2202.03534v2

… or space to examine the composition of a species community as a whole, for instance as a means of sample ordination and visualization, and association with environmental variables.

查看完整对照 →
自动补全Evidence 更优decdba86c8631092

Metagenomic Analysis using Phylogenetic Placement -- A Review of the First Decade

定量生物学 · 2202.03534v2

… mental metadata variables. Despite the growing popularity of phylogenetic placement, there are several methodological and usage aspects that will benefit from further developments.

查看完整对照 →
自动补全持平bc30ba197adadd03

Metagenomic Analysis using Phylogenetic Placement -- A Review of the First Decade

定量生物学 · 2202.03534v2

… e case where the placed data actually contains yet undescribed species. A classification based on the LWR and pendant length of the placement locations might offer a solution here.

查看完整对照 →
自动补全Evidence 更优199cc69dbcc484e8

Predictive Coding: a Theoretical and Experimental Review

定量生物学 · 2107.12979v4

… ictive coding and the widely-used backpropagation of error algorithm, as well as surveying the close relationships between predictive coding and modern machine learning techniques.

查看完整对照 →
自动补全持平7192878e6a884576

Predictive Coding: a Theoretical and Experimental Review

定量生物学 · 2107.12979v4

… g motor commands into action. Predictive coding, then, would be a model of these inbuilt controllers at the periphery rather than the core action selection mechanisms in the brain.

查看完整对照 →
自动补全Evidence 更优27f2ba81533c87f2

Predictive Coding: a Theoretical and Experimental Review

定量生物学 · 2107.12979v4

… lemented within the predictive coding paradigm but instead likely relies on a complex set of machinery specialised for performing reinforcement learning ( Sutton & Barto (2018) ) .

查看完整对照 →
自动补全Evidence 更优6f54e7abd741955a

Predictive Coding: a Theoretical and Experimental Review

定量生物学 · 2107.12979v4

… expressive generative models to handle these kinds of temporal dependencies in continuously varying inputs is an open challenge in both neuroscience as well as in machine learning.

查看完整对照 →
1 / 14

← 返回首页