FLOWING BENCHMARKS
Zwei Benchmarks: Schreibqualität und Fehlererkennung
Über 7 Fachgebiete, 130 verschiedene Publikationen und 280 feste Schreibpositionen erzielte Autocomplete mit Evidence einen fachübergreifenden Nettovorsprung von 31 Siegen; Evidence Card erkannte 91,4 % der sechs eindeutigen Fehlerarten.
EVIDENCE CARD · KONTROLLIERTER TEST · UNABHÄNGIGE PRÜFUNG
Wir haben klare Fehler eingebaut. Evidence Card fand 91,4 %.
Red-Fehlererkennung
32/35 bestätigt; mit offenem Prüffall 33/35.
Red-Kartenpräzision
34/35 bestätigt · 1 offen · 0 verworfen
Green-Kontrollgenauigkeit
11/11 Green-Kontrollen korrekt; 0/11 falsche Red-Warnungen.
YELLOW-PRÄZISION · NATÜRLICHE FÄLLE
6/8 durch unabhängige Prüfung bestätigt
Aufgaben und Nenner unterscheiden sich; die Ergebnisse werden getrennt berichtet.
BERICHTETE KENNZAHLEN
Erkennung, Kartenpräzision, Kontrollen und Abschlussrate
Jede Kennzahl hat einen eigenen Nenner. Technische Ausfälle werden separat ausgewiesen und nicht als „kein Problem“ gezählt.
Red-Fehlererkennung
91,4 %32/35 bestätigt; mit offenem Prüffall 33/35.
Red-Kartenpräzision
97,1 %34/35 bestätigt · 1 offen · 0 verworfen
Green-Kontrollgenauigkeit
100,0 %11/11 Green-Kontrollen korrekt; 0/11 falsche Red-Warnungen.
Testabschluss
95,8 %46/48 Positionen abgeschlossen; 2 technische Ausfälle separat ausgewiesen, nicht als „kein Problem“ gezählt.
ERGEBNISSE NACH FEHLERART
Ergebnisse für alle sechs Fehlerarten
Zahlen, Richtung, Kausalität, Objekt, Geltungsbereich und Theorie oder Definition werden getrennt ausgewiesen.
Dunkel = bestätigt; hell = offen
Zahlen
5/6Keine technischen Ausfälle
Richtung oder Polarität
6/6Keine technischen Ausfälle
Kausalität
4/51 technischer Ausfall separat ausgewiesen
Falsches Objekt
5/6Keine technischen Ausfälle
Geltungsbereich
6/6Keine technischen Ausfälle
Theorie oder Definition
6/6Keine technischen Ausfälle
YELLOW-PRÄZISION · NATÜRLICHE FÄLLE
6/8 durch unabhängige Prüfung bestätigt
Yellow Cards vor und nach der Anpassung
Die strenge Präzision stieg von 31,3 % auf 75,0 %.
Vor der Anpassung wurden 16 Karten ausgegeben: 5 bestätigt, 1 offen und 10 verworfen. Der vollständige neue Lauf ergab 8: 6 bestätigt, 0 offen und 2 verworfen. 50/51 Positionen wurden abgeschlossen; 1 technischer Ausfall wurde separat ausgewiesen.
Vollständiger neuer Lauf und unabhängige Kartenprüfung abgeschlossen48 ÖFFENTLICHE FÄLLE
Eingaben, Karten und Prüfergebnisse je Fall
Jeder Fall enthält die geprüfte Aussage, die eingefrorene Quelle, die ausgegebene Karte und die unabhängige Prüfung. Übersehene Fehler und technische Ausfälle bleiben im Datensatz.
REDZahlenErkennung bestätigt溶液法原位大面积制备钙钛矿光电薄膜成膜的同步辐射可视化结晶过程研究
该研究报道,单个器件面积约15 cm²的大面积全柔性三维钙钛矿太阳能电池转换效率提升至15.23%。
Fall öffnen ↓
Geprüfte Aussage
该研究报道,单个器件面积约15 cm²的大面积全柔性三维钙钛矿太阳能电池转换效率提升至15.23%。
Eingefrorene Quelle
转换效率提升至5.23%(单个器件面积约15 cm2)
Ausgegebene Karte · RED
目标将该研究中约15 cm²全柔性三维钙钛矿太阳能电池的转换效率写为15.23%,而原文对同一器件报告的是5.23%,构成直接数值矛盾。
“基于各层均采用卷对卷 全溶液狭缝涂布方法制备的大面积全柔性三维钙钛矿薄膜太阳能电池转换效率提升至5.23% (单个器件面积 约15 cm2)”— 溶液法原位大面积制备钙钛矿光电薄膜成膜的同步辐射可视化结晶过程研究
Unabhängige Prüfung · valid
TARGET QUOTE声称'单个器件面积约15 cm²的大面积全柔性三维钙钛矿太阳能电池转换效率提升至15.23%',SOURCE QUOTE对同一器件(单个器件面积约15 cm²、大面积全柔性三维钙钛矿薄膜太阳能电池)报告转换效率为'5.23%'。两个数值15.23%与5.23%在相同实体(约15 cm²大面积全柔性三维钙钛矿太阳能电池)、相同关系(转换效率)上存在直接数值矛盾,构成直接反驳。
REDZahlenErkennung bestätigtGenome-Scale CRISPR-Cas9 Knockout Screening in Human Cells
The GeCKO library targeted 18,080 human genes with 46,751 unique guide sequences.
Fall öffnen ↓
Geprüfte Aussage
The GeCKO library targeted 18,080 human genes with 46,751 unique guide sequences.
Eingefrorene Quelle
targeting 18,080 genes with 64,751 unique guide sequences
Ausgegebene Karte · RED
The stated 46,751 unique guide sequences contradicts the source's 64,751 for the same GeCKO library. The source agrees with the stated 18,080 targeted genes.
“We show that lentiviral delivery of a genome-scale CRISPR-Cas9 knockout (GeCKO) library targeting 18,080 genes with 64,751 unique guide sequences enables both negative and positive selection screening in human cells.”— Genome-Scale CRISPR-Cas9 Knockout Screening in Human Cells
Unabhängige Prüfung · valid
The TARGET QUOTE states '46,751 unique guide sequences' for the GeCKO library, while the SOURCE QUOTE states '64,751 unique guide sequences' for the same GeCKO library targeting the same 18,080 genes. This is a direct numerical contradiction on the exact same entity (GeCKO library), same relation (number of unique guide sequences), and same scope. The source explicitly confirms the 18,080 genes figure but contradicts the 46,751 guide sequences figure. The proposed 'red' judgment is correct.
REDZahlenErkennung bestätigtEmpagliflozin, Cardiovascular Outcomes, and Mortality in Type 2 Diabetes
EMPA-REG OUTCOME treated a total of 8,020 patients and followed them for a median of 3.1 years.
Fall öffnen ↓
Geprüfte Aussage
EMPA-REG OUTCOME treated a total of 8,020 patients and followed them for a median of 3.1 years.
Eingefrorene Quelle
A total of 7020 patients were treated (median observation time, 3.1 years)
Ausgegebene Karte · RED
The EMPA-REG OUTCOME report states that 7,020 patients were treated, not 8,020.
“A total of 7020 patients were treated (median observation time, 3.1 years).”— Empagliflozin, Cardiovascular Outcomes, and Mortality in Type 2 Diabetes
Unabhängige Prüfung · valid
The target quote states '8,020 patients' while the source quote explicitly states '7020 patients were treated.' This is a direct numerical contradiction on the identical claim of patient count in the EMPA-REG OUTCOME trial. The entity (EMPA-REG OUTCOME trial), relation (patient count), and scope (total treated patients) match exactly, with only the number differing. The proposed color red is correct because the source directly contradicts the target proposition on a material point.
REDZahlenErkennung bestätigtTabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second
The paper's small-task setting allows up to 10,000 training examples, 100 numerical features, and 10 classes.
Fall öffnen ↓
Geprüfte Aussage
The paper's small-task setting allows up to 10,000 training examples, 100 numerical features, and 10 classes.
Eingefrorene Quelle
≤ 1 000 training examples, ≤ 100 purely numerical features and ≤ 10 classes
Ausgegebene Karte · RED
The paper defines its small-task setting as at most 1,000 training examples, not 10,000.
“has thus learned to solve novel small tabular classification tasks (≤ 1 000 training examples,≤ 100 purely numerical features without missing values and≤ 10 classes)”— TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second
Unabhängige Prüfung · valid
The TARGET QUOTE states 'up to 10,000 training examples,' while the SOURCE QUOTE explicitly states '≤ 1 000 training examples.' This is a direct numerical contradiction on the same entity (training examples), same relation (upper bound on small-task setting), same scope (the paper's definition of small-task setting). The source directly contradicts the target proposition that the limit is 10,000 by specifying it is 1,000.
REDZahlenErkennung bestätigtThe Progress, Challenges, and Perspectives of Directed Greybox Fuzzing
The survey investigates 24 state-of-the-art fuzzers closely related to directed greybox fuzzing.
Fall öffnen ↓
Geprüfte Aussage
The survey investigates 24 state-of-the-art fuzzers closely related to directed greybox fuzzing.
Eingefrorene Quelle
investigation of 42 state-of-the-art fuzzers that are closely related to DGF
Ausgegebene Karte · RED
The survey explicitly reports investigating 42 state-of-the-art fuzzers closely related to DGF, not 24.
“Based on the investigation of 42 state-of-the-art fuzzers that are closely related to DGF, we conduct the first in-depth study to summarize the empirical evidence on the research progress of DGF.”— The Progress, Challenges, and Perspectives of Directed Greybox Fuzzing
Unabhängige Prüfung · valid
The target quote claims '24 state-of-the-art fuzzers closely related to directed greybox fuzzing.' The source quote explicitly states '42 state-of-the-art fuzzers that are closely related to DGF' (where DGF = directed greybox fuzzing). The entity (fuzzers closely related to directed greybox fuzzing), relation (investigation of), and scope (state-of-the-art) match exactly; the only difference is the number (24 vs. 42), which is a direct numerical contradiction on a material point. The proposed color 'red' is correct.
REDZahlenÜbersehenEvaluating the Impact of Brazil's Bolsa Família: Cash Transfer Programs in Comparative Perspective
The review describes Bolsa Família as benefiting roughly 17 million families.
Fall öffnen ↓
Geprüfte Aussage
The review describes Bolsa Família as benefiting roughly 17 million families.
Eingefrorene Quelle
benefiting roughly 11 million families
Keine Karte ausgegeben
REDRichtung oder PolaritätErkennung bestätigtEmpagliflozin, Cardiovascular Outcomes, and Mortality in Type 2 Diabetes
In EMPA-REG OUTCOME, cardiovascular death was significantly higher with empagliflozin than with placebo.
Fall öffnen ↓
Geprüfte Aussage
In EMPA-REG OUTCOME, cardiovascular death was significantly higher with empagliflozin than with placebo.
Eingefrorene Quelle
significantly lower rates of death from cardiovascular causes (3.7%, vs. 5.9% in the placebo group)
Ausgegebene Karte · RED
The claim that cardiovascular death was higher with empagliflozin contradicts the account of the same trial’s cardiovascular results, which explicitly reports a lower rate of death from cardiovascular causes.
“Cardiovascular Outcomes The primary outcome that was reported previ ously showed a significantly lower risk of 3-point MACE in the pooled empagliflozin group than in the placebo group, a difference that was driven by a lower rate of death from cardiovas cular causes.23”— Empagliflozin and Progression of Kidney Disease in Type 2 Diabetes
Unabhängige Prüfung · valid
The target quote explicitly claims cardiovascular death was 'significantly higher with empagliflozin than with placebo' in EMPA-REG OUTCOME. The source quote directly contradicts this by stating there was 'a lower rate of death from cardiovascular causes' in the empagliflozin group, which 'drove' the composite benefit. Both quotes concern the same trial (EMPA-REG OUTCOME), the same outcome (cardiovascular death/mortality), the same comparison (empagliflozin vs. placebo), and the same directionality claim—but with opposite directions. The contradiction is material and unambiguous: 'higher' vs. 'lower' for the identical endpoint in the identical trial.
REDRichtung oder PolaritätErkennung bestätigtEvaluating the Impact of Brazil's Bolsa Família: Cash Transfer Programs in Comparative Perspective
The review concludes that Bolsa Família increased inequality and extreme poverty.
Fall öffnen ↓
Geprüfte Aussage
The review concludes that Bolsa Família increased inequality and extreme poverty.
Eingefrorene Quelle
helped reduce inequality and extreme poverty
Ausgegebene Karte · RED
The review attributes 21 percent of Brazil’s 1995–2004 Gini decline to Bolsa Família, contradicting the claimed increase in inequality.
“They found that the Gini index for Brazil fell by 4.7 percent from 1995 to 2004 and that Bolsa Familia was responsible for 21 percent of that fall (before 1995 there were no CCT programs in Brazil, so there is confidence that 1995 is a baseline year).”— Evaluating the Impact of Brazil's Bolsa Família: Cash Transfer Programs in Comparative Perspective
Unabhängige Prüfung · valid
The TARGET QUOTE states 'The review concludes that Bolsa Família increased inequality.' The SOURCE QUOTE from the same review states that Bolsa Família was responsible for '21 percent of that fall' in the Gini index, where 'fall' means a decrease in inequality. A decrease in the Gini index signifies reduced inequality. Therefore, the source directly contradicts the target proposition: the review concludes Bolsa Família decreased inequality (contributed to 21% of the Gini decline), not increased it. The scope matches—both concern the review's conclusion about Bolsa Família's effect on inequality.
Geltungsbereich und Grenzen
- 1Dieser kontrollierte Test misst, ob das System eindeutige Fehler findet. Er schätzt nicht, wie häufig solche Fehler in echten Arbeiten vorkommen.
- 2Einige Quellarbeiten wurden bereits in frühen Entwicklungsläufen verwendet. Die Ergebnisse eignen sich für Regressionstests und kontrollierte Erkennungsangaben, nicht für Aussagen zur Häufigkeit in einer Zufallsstichprobe.
- 3Der angepasste Lauf gab nur 8 Yellow Cards aus. Der Nenner 6/8 muss sichtbar bleiben; 75 % sind keine Schätzung der Gesamtpräzision.