The Last Human-Written Paper: Agent-Native Research Artifacts

Paper: arXiv:2604.24658 Code: Orchestra-Research/Agent-Native-Research-Artifact（GitHub API canonical full name: AmberLJC/Agent-Native-Research-Artifact） Code reference: main @ dc4cc1f8 (2026-05-19)

1. Motivation (研究动机)

这篇论文的出发点不是“把论文排版得更适合 AI 阅读”，而是指出当前 scientific publication 的基本抽象已经错位：研究过程本来是一个 branching knowledge object，包含被尝试又放弃的假设、实验失败、调参轨迹、工程 workaround、环境约束和证据链；最终论文却把它编译成线性 narrative。作者把这个压缩过程拆成两个税：Storytelling Tax 和 Engineering Tax。前者指 dead ends、rejected hypotheses、branching exploration 被叙事格式丢掉；后者指“足够 reviewer 看懂”的 prose 与“足够 agent 复现/扩展”的 executable specification 之间存在缺口。

Figure 1 解读：左侧传统 PDF 是从完整研究对象编译出的 lossy narrative；右侧 ARA 把研究对象保存为 machine-executable knowledge package。核心差别不在文件格式，而在信息保真度：PDF 主要服务 human storytelling，ARA 服务 agent 的检索、执行、验证和扩展。

Figure 2 解读：研究真实发生时像一棵树，包含失败分支、pivot 和经验性 heuristics；论文发表时通常只保留一条成功路径。对人类读者这可能是可接受的叙事压缩；对后续 agent 来说，失败路径恰恰是避免重复试错的高价值信息。

Figure 3 解读：作者用 PaperBench 的 8,921 个 reproduction requirements 量化 Engineering Tax：source PDF 只充分说明 45.4% 的需求，50.2% 只是部分说明，4.4% 完全缺失。最常见 gap 是 missing hyperparameter（2,558，占 26.2%）、vague description（2,141，占 21.9%）和 cross-reference only（1,313，占 13.4%）。

论文要解决的问题是：当 AI agents 开始成为论文的主要消费者之一时，传统 paper + repo 是否仍然足以支持理解、复现、扩展和审稿？作者的答案是否定的。目标不是写一个更长的 appendix，而是把 primary research object 从 linear paper 换成 agent-native research artifact：一个可被 agent 用标准文件工具读取、导航、执行、验证的研究包。

这个问题值得研究，因为 AI agents 的能力瓶颈越来越少是“读不懂论文文字”，而是“无法获得论文没有保存的信息”。如果 artifact 能保留 configuration depth、exploration depth 和 evidence lineage，后续 agent 就不需要重复挖掘同一个 repo、重复踩同一个 failure mode，也可以把审稿中的机械检查转给机器，把 human reviewer 留给 novelty、significance 和 taste。

2. Idea (核心思想)

核心 insight：论文不应再是研究的唯一原件，而应只是从一个结构化研究对象编译出的 human-readable view。Agent-Native Research Artifact (ARA) 把科学逻辑、可执行规格、探索轨迹和证据层拆成可独立读取的文件系统层，并用 forensic bindings 把 claim、code、experiment、raw evidence 连接起来。

关键创新有三层：第一，提出 ARA protocol，即四层目录结构和 schema；第二，提出 Live Research Manager，让研究过程在 agent-human sessions 中自然 crystallize 成 ARA，而不是要求研究者手工填表；第三，提出 ARA Compiler 和 ARA-native review system，用来把 legacy PDF/repo 编译成 ARA，并用 Seal Level 1–3 做结构、论证和执行层面的机器验证。

它与现有 artifact 的根本差别在于：传统 PDF+GitHub、OpenReview appendix、Artifact Evaluation、ReproZip、Jupyter notebook 等主要保存“最终结果或可运行环境”；ARA 试图保存研究的认知结构和失败轨迹。例如 PDF+repo 可以让 agent grep config，但不告诉它为什么某个 design path 被放弃；ARA 的 /trace/exploration_tree.yaml 和 /logic/solution/heuristics.md 会把这个 negative knowledge 变成一等公民。

3. Method (方法)

3.1 Overall framework：ARA as a four-layer filesystem ontology

ARA protocol 把一个研究项目组织成四层：Cognitive Layer (/logic)、Physical Layer (/src)、Exploration Graph (/trace) 和 Evidence Layer (/evidence)。这四层分别回答 agent 的四类问题：为什么成立、如何实现、沿途试过什么、有哪些原始证据。相比把所有信息压在一个 PDF 里，ARA 让 agent 通过 progressive disclosure 只加载当前任务相关的文件，避免上下文污染。

Figure 4 解读：目录结构本身就是协议。PAPER.md 是入口 manifest；logic/ 保存 problem、claims、concepts、experiments 和 solution；src/ 保存 configs、execution stubs、environment；trace/ 保存 exploration tree 和 sessions；evidence/ 保存 table/figure/raw output 索引。图中标注的 forensic bindings 说明每个 claim 应能向下追到 code/evidence，也能向上追到 problem/decision。

Figure 5 解读：这张图展示真实 ARA 的 cross-layer 结构：/logic/claims.md 中的 claim 不是孤立文本，而是连接到 /src 中的实现、/evidence 中的表格或 figure、以及 /trace 中的 dead-end/decision 节点。这样 reviewer 或 agent 可以问“这个 claim 的证据是什么”“对应代码在哪里”“是否有失败分支反驳它”。

直觉上，ARA 的有效性来自“把检索问题改写成定位问题”。传统论文中，一个 hyperparameter 可能在 appendix table、README、config default 或脚注中散落；在 ARA 中，它应该集中进入 src/configs/training.md 并通过 claim/evidence 链被引用。Agent 不再需要在长 PDF 和 repo 中搜索，而是按 ontology 路由到应有位置。

3.2 ARA Protocol：四层的输入/输出与失效模式

Cognitive Layer (/logic)：输入是 paper/rubric/session 中的研究问题、claim、概念、实验设计；输出是可引用的 observations、gaps、claims、experiments、algorithm/constraints/heuristics。若缺失这一层，agent 只能读 narrative，无法区分 evidence basis 与作者 interpretation。
Physical Layer (/src)：输入是 repo、configs、environment、核心实现；输出是可执行或 stub-level 的代码与配置规格。若缺失这一层，复现实验会退化成从 prose 推断工程细节。
Exploration Graph (/trace)：输入是 session logs、MALT traces、失败实验和 pivot；输出是 DAG，包括 decision、dead_end、experiment、lesson。若缺失这一层，后续 agent 会重复探索已知 dead ends。
Evidence Layer (/evidence)：输入是 raw tables/figures/logs/checkpoints；输出是结构化 evidence index。若缺失这一层，claim 只能停留在文本断言，无法做 machine-checkable review。

3.3 Live Research Manager：born-agent artifact 的捕获机制

Live Research Manager 解决“谁来填 ARA”的问题。作者认为在 AI-native research 中，研究过程已经天然存在于 researcher-agent conversation：用户指令、工具调用、实验输出、bug 修复、设计选择都已经是 machine-readable text。Live Manager 的任务是在 session boundary 后把这些信息转成 typed events，并让 staged observations 在有 closure signal 时 crystallize 成 claims、heuristics 或 dead_end nodes。

Figure 6 解读：pipeline 是 Context Harvester → Event Router → Maturity Tracker。Context Harvester 只看当前 turn/session 的活动；Event Router 把事件按 taxonomy 分类并标注 provenance（user、ai-suggested、ai-executed、user-revised）；Maturity Tracker 不按计数成熟，而按 closure signal，例如 first-person adoption、empirical resolution、topic abandonment 或 contradiction。

核心机制：journey facts（实验运行、文件创建、命令、数值结果）可以直接进入 trace/evidence；interpretive claims（“这个设计更稳”“这个失败说明 X”）先进入 staging，等实验结果或用户确认后再进入 logic。这样做避免把 agent 的即时猜测误写成科学结论，同时保留研究过程中的 negative knowledge。

def live_research_manager(turn, ara):
    events = context_harvester(turn.user_msg, turn.tool_calls, turn.outputs)
    for event in events:
        routed = event_router(event, taxonomy="event-taxonomy.md")
        routed["provenance"] = infer_provenance(event)
        if routed["kind"] in {"experiment_run", "file_created", "benchmark_number"}:
            ara.trace.append(routed)
            ara.evidence.bind_if_raw_output(routed)
        else:
            ara.staging.observations.append(routed)
 
    for obs in ara.staging.observations:
        signal = detect_closure_signal(obs, recent_turns=ara.trace.sessions[-5:])
        if signal == "empirical_refutation":
            ara.trace.add_dead_end(obs)
        elif signal in {"user_adoption", "empirical_resolution", "topic_abandonment"}:
            ara.logic.crystallize(obs)
 
    ara.logic.reconcile_against_current_trace()
    return ara

3.4 ARA Compiler：legacy paper/repo 到 ARA 的 top-down compilation

Compiler 面向无法 born-agent 捕获的旧论文。它接受 PDF、GitHub repo、dataset、expert rubric、trajectory logs 等任意组合，输出统一 ARA。输入少时 graceful degradation：只有 PDF 也能生成有效 artifact，但 Physical Layer 只能是 stub-level；输入越丰富，layers 越完整。作者特别强调 Compiler 的核心不是“把内容抽成目录”，而是恢复 lineage：claim 如何连接到 code、evidence、experiment 和 decision。

Figure 7 解读：Compiler 先做 semantic deconstruction，把 narrative 拆成 formulas、architecture specs、configs、tables、negative results；再做 cognitive mapping，写入 problem.md、claims.md、concepts.md、experiments.md；然后生成 physical stubs 和 configs；最后抽取 exploration graph。Level 1 Seal 在 loop 内作为 validation signal，通常 2–3 次生成-验证-修复后收敛。

def compile_ara(sources, seal_l1, max_rounds=3):
    atoms = semantic_deconstruction(sources)  # formulas, configs, evidence, claims
    ara = ARAArtifact()
    ara.logic = cognitive_mapping(
        observations=atoms.observations,
        gaps=atoms.gaps,
        claims=atoms.claims,
        experiments=atoms.experiments,
    )
    ara.src = physical_stubbing(
        repo=sources.repo,
        configs=atoms.configs,
        novel_modules=atoms.algorithms,
        environment=atoms.environment,
    )
    ara.trace = reconstruct_exploration_graph(
        explicit_logs=sources.trajectories,
        paper_ablations=atoms.ablations,
        rejected_alternatives=atoms.negative_results,
    )
    ara.evidence = index_evidence(atoms.tables, atoms.figures, atoms.raw_outputs)
 
    for _ in range(max_rounds):
        report = seal_l1.validate_schema_and_links(ara)
        if report.passed:
            return ara
        ara = patch_missing_fields_and_broken_links(ara, report)
    raise ValueError("ARA failed Level-1 validation")

论文公式与 released code 实现差异：论文 Appendix 明确提到 code/eval/pdf_information_gap.py 和 code/extension-harness/harness.py，但我检查的公开 repo main@dc4cc1f8 没有 code/eval/ 或 code/extension-harness/ 目录。因此笔记中的 evaluation config 与结果数值来自论文 PDF/LaTeX source；released code grounding 覆盖的是 ARA skills、schema、viewer 和 examples，而不是完整评测 harness。

3.5 ARA Seal 与 ARA-native review

ARA Seal 是三层 verification credential：Level 1 做 schema/cross-reference/required-field 完整性，Level 2 做 argumentative rigor，Level 3 做 execution reproducibility。关键设计是把机械检查前置：人类 reviewer 不应浪费时间检查 Experiment E03 是否真的支持 Claim C02，如果机器可以通过 structured artifact 自动追链。

Figure 8 解读：Level 1 成本最低、确定性最强，适合 submission gate；Level 2 用 Rigor Auditor 检查 evidence relevance、falsifiability、scope calibration、argument coherence、exploration integrity、methodological rigor；Level 3 最昂贵，需要实际执行或复现实验。Seal 不是取代 human review，而是给 human review 附上机器可验证报告。

Figure 9 解读：三阶段 review pipeline 先做 conceptual verification，再做 empirical verification，最后把结构化报告交给 human reviewers。Stage 1/2 自动处理“是否能跑、是否自洽、claim 是否有证据”这类问题；Stage 3 才讨论 novelty、significance 和 taste。

def rigor_review(ara):
    docs = read_in_order([
        "PAPER.md", "logic/problem.md", "logic/claims.md",
        "logic/experiments.md", "logic/solution/architecture.md",
        "trace/exploration_tree.yaml", "evidence/README.md",
    ])
    claims = parse_claims(docs)
    experiments = parse_experiments(docs)
    trace = parse_exploration_tree(docs)
    maps = {
        "claim_proof_map": link_claims_to_experiments(claims, experiments),
        "experiment_verifies_map": link_experiments_to_claims(experiments),
        "rejected_nodes": [n for n in trace if n.type in {"dead_end", "pivot"}],
    }
    scores = {}
    for dim in ["evidence_relevance", "falsifiability", "scope", "coherence", "exploration", "method_rigor"]:
        scores[dim] = semantic_score(dim, claims, experiments, trace, maps)
    findings = compile_findings(scores, severity_threshold="minor")
    return ReviewReport(scores=scores, findings=findings)

3.6 (Human+AI) $^{2}$ research network

作者把 ARA 的长期愿景扩展成 researcher-agent 和 artifact-agent 的网络：人类研究者与 agent 共同生产 ARA，后续 agent 消费、维护、扩展 ARA；多个 ARA 之间通过 lineage 和 claim graph 形成可查询知识图谱。

Figure 10 解读：图中不是单个 agent 帮人写论文，而是形成双层网络：人+AI 共同生产 artifact，artifact 又被其他 agent 读取、复现、扩展和验证。论文的激进点在这里：未来的“论文”可能只是 ARA 的一个 rendered view，而真正的科研对象是 continuously maintained graph。

3.7 Code-to-paper mapping

Code reference: main @ dc4cc1f8 (2026-05-19) — pseudocode and mapping based on this commit

Paper Concept	Source File	Key Class/Function
ARA protocol schema	`skills/compiler/references/ara-schema.md`	Directory schema for `PAPER.md`, `logic/`, `src/`, `trace/`, `evidence/`
ARA Compiler	`skills/compiler/SKILL.md`	Workflow: read inputs, 4-stage epistemic protocol, generate files, Level-1 validation loop
Live Research Manager	`skills/research-manager/SKILL.md`	Four-stage pipeline: Context Harvester, Event Router, Maturity Tracker, Logic Layer Reconciliation
Event taxonomy	`skills/research-manager/references/event-taxonomy.md`	Direct-routed vs staged-routed event rules and provenance assignment
Rigor Auditor / Seal Level 2	`skills/rigor-reviewer/SKILL.md`	Procedure: read ARA, parse entities, build maps, evaluate six dimensions, write report
Review dimensions	`skills/rigor-reviewer/references/review-dimensions.md`	D1–D6 scoring anchors and severity definitions
Skill installer	`packages/ara-skills/src/index.js`, `installer.js`, `agents.js`, `skills.js`	CLI parse, agent detection, skill install/update/uninstall/list
ARA Viewer	`packages/ara-viewer/build_manifest.py`, `viewer.js`	Manifest extraction, graph node/edge construction, browser rendering
Concrete examples	`examples/minimal-artifact/PAPER.md`, `examples/resnet-ara-example/PAPER.md`	Minimal and ResNet ARA artifact layouts

4. Experimental Setup (实验设置)

4.1 Datasets and scale

PaperBench：23 篇 peer-reviewed ML papers，覆盖多种 ML subfields；包含 8,921 个 expert-authored rubric requirements。理解实验中 23 篇全部参与；复现实验只使用有 companion GitHub repo 的 15/23 篇，并为每篇构造 10 个 reproduction subtasks，总计 150 tasks、1,743 rubric requirements，难度分布为 50 easy、49 medium、51 hard。附录中还用 5 篇深标注 subset（3,050 leaves）做 reproduction-critical information taxonomy。
RE-Bench：7 个 R&D hill-climbing tasks，自动连续打分；全量包含 24,008 agent runs 和 46,303 failure episodes。扩展实验使用 5 个任务：triton_cumsum、restricted_mlm、fix_embedding、nanogpt_chat_rl、rust_codecontests；排除 small_scaling_law 和 optimize_llm_foundry，因为 MALT traces 不足以构建有意义的 failure-trace layer。
Mutation benchmark：23 个 PaperBench ARA，每个注入 5 类错误，共 115 个 injection cases，用来评估 Rigor Auditor。

4.2 Baselines and representations

对每个 target，作者构造两个表示并保持 agent/task/ground truth 固定：

ARA representation：PaperBench 使用 PDF + repo + expert rubric 编译；RE-Bench 使用 official solution + source + MALT trajectories 编译。Compiler 输出先通过 Seal Level 1，生成-验证-修复实际收敛在 1–3 passes。
Conventional baseline：PaperBench 是 source PDF + companion GitHub repo；RE-Bench 没有论文，因此 baseline 是 LLM-synthesized polished paper-style writeup + official source，近似 paper+repo。
Extension paper agent vs ARA agent：两者 workdir 相同，只改变 reference/。Paper agent 读取 reference/paper.md 和 source；ARA agent 读取 reference/PAPER.md、logic/、src/、trace/、evidence/。

4.3 Evaluation metrics

Understanding accuracy：450 个 paired outcomes，15 questions × 30 targets；Claude Opus 4.6 judge 按 gold reference 做 ternary grading（1.0/0.5/0.0）。同时报告 per-question token usage (K/Q)。
Difficulty-weighted reproduction success： $\frac{\sum _{i} s _{i} \cdot w _{d_{i}}}{\sum _{i} m _{i} \cdot w _{d_{i}}}, w_{d} \in {1, 2, 3}$ 其中 easy/medium/hard 权重分别为 1/2/3， $s_{i}$ 是 yes + $0.5 \times$ partial 的得分， $m_{i}$ 是最大可能得分。
Extension score：每个 RE-Bench task 使用其 canonical scorer。任务方向不同：triton_cumsum、restricted_mlm、fix_embedding 越低越好；nanogpt_chat_rl、rust_codecontests 越高越好。
Rigor Auditor detection rate：对每类 injected defect 统计 detected / n，并报告整体 95/115 = 82.6%。

4.4 Runtime / training configuration

这不是模型训练论文；主要“训练配置”是 agent evaluation runtime。复现实验中 ARA agent 与 baseline agent 都使用 Claude Sonnet 4.6，per-paper token budgets 为 14–20M tokens（按任务复杂度缩放，cache reads 按 10% 折扣），数值结果在 prompt 中 mask 成 [X]%，最终由 blinded Claude Opus 4.6 judge 评估。扩展实验使用 Claude Agent SDK，tool surface 为 {Bash, Read, Edit, Write, Glob, Grep}，禁用 WebFetch/WebSearch 以及会暂停 batch session 的 SDK built-ins；每次 run 是 8h SLURM wall clock + $50 API-spend cap。

RE-Bench extension task card 的关键配置：triton_cumsum 起点 1.56、reference 0.47、1×H100、22 个 Claude-4 MALT runs；restricted_mlm 起点 1.81、reference 1.13、2×H100 80GB、22 runs；fix_embedding 起点 2.20、reference 0.26、1×GPU、19 runs；nanogpt_chat_rl 起点 0.54、reference 0.85、1×GPU + judge、18 runs；rust_codecontests 起点 0.00、reference 0.13、CPU + LLM API、12 Claude-4 runs + 10 Claude-3.7-Sonnet supplement。

公开 repo main@dc4cc1f8 中未包含上述 evaluation harness 的完整实现；可核验的 released implementation 是 ARA skill specs、installer、viewer 和 examples。因此本节数值来自论文 source/PDF，而不是 repo 中的 runnable launch config。

5. Experimental Results (实验结果)

5.1 Understanding：ARA 显著提高 agent 问答准确率

Table 3 的主结果：Overall 450 questions 上，ARA accuracy 为 93.7%，baseline 为 72.4%，提升 +21.3 points；token usage 为 114.0K/Q vs 109.1K/Q。分项如下：Category A Fidelity：300 questions，ARA 95.6 vs BL 80.8，tokens 84.6 vs 88.5；其中 PaperBench 96.7 vs 89.8，RE-Bench 92.1 vs 51.4。Category B Detail（PaperBench）：115 questions，92.6 vs 67.8，tokens 183.0 vs 178.3。Category C Failure（RE-Bench）：35 questions，81.4 vs 15.7，tokens 139.3 vs 58.0。

解释上，Category A 证明 progressive disclosure 可以在低/相近 token cost 下保留 PDF 可恢复信息；Category B 证明 centralized configs 让 agent 不必在 repo 中散搜 hyperparameters；Category C 是最强证据，因为 failure knowledge 在 baseline 中几乎不存在，低 token usage 反而说明 agent 很快发现无处可查。

5.2 Reproduction：优势随难度增加

Figure 11 解读：复现实验跨 15 篇 paper、150 subtasks、1,743 requirements。ARA difficulty-weighted success 为 64.4%，baseline 为 57.4%；按难度看 easy 为 85.1 vs 80.2（+4.9），medium 为 68.5 vs 62.9（+5.6），hard 为 54.5 vs 46.0（+8.5）。这符合论文假设：easy tasks 多是环境/模型实例化，传统 repo 足够；hard tasks 更依赖论文缺失的 configuration interactions 和工程细节。

Figure 13 解读：heatmap 把 aggregate 拆到每篇 paper 和每个 difficulty stratum。最大 ARA wins 来自 fre（+21.3%）、mechanistic-understanding（+20.7%）和 pinn（+19.5%），共同特点是 multi-stage training pipelines 与非显然 hyperparameter interactions；明显 baseline win 出现在 self-expansion，其中 ARA agent fabricated results 被 blinded judge 捕获。统计上，15 个 paired per-paper weighted scores 的 Wilcoxon signed-rank test 为 $p = 0.028$ ；win/tie/loss 为 8/5/2，exact binomial $p = 0.039$ 。

5.3 Extension：failure traces 既加速，也可能约束强 agent

Figure 12 解读：在 Claude Sonnet 4.6 上，ARA agent 在 5 个任务上都更早到达 useful first move；最终分数上，ARA 在 rust_codecontests、nanogpt_chat_rl、fix_embedding 领先，paper agent 在 triton_cumsum 和 restricted_mlm 领先。原因不是 ARA 信息无效，而是 trace 有时把强模型锁定在 prior-run strategy space 内，限制它发明 trace 未记录的新招。

具体例子：rust_codecontests 中，ARA agent 读到 heuristic H12 后在 $t = 9$ min 承诺写 hand-coded Rust library；paper agent 花 6 小时做 prompt-engineering variants，到 $t = 395$ min 才注意到同一方向。triton_cumsum 中，ARA agent 在 $t = 11$ min 用 trace-derived decoupled lookback 和 associative_scan 打到 0.47；paper agent 到 $t = 37$ min 才首次 scoring，但随后在 $t = 47.7$ min 引入 trace 未命名的 int8 input compression 并最终领先。restricted_mlm 中，paper agent 长时间专注一个 ConvMLMDilated tune，ARA agent 试遍多个 heuristic-named alternatives，反而在 Sonnet 4.6 下落后。

Figure 14 解读：较弱的 Sonnet 4.5 上，triton_cumsum 结果反转：ARA agent 到达 0.27，paper agent 只有 0.64（该任务越低越好）。这支持作者的细化结论：ARA 的价值与“trace 所记录的信息”和“当前 agent 自己能发现的信息”之间的 gap 有关；当 agent 较弱时，trace 是导航；当 agent 很强时，trace 可能成为锚定。

Figure 15 解读：restricted_mlm 在 Sonnet 4.5 上同样反转，ARA 达到 0.73，paper 为 1.03（越低越好）。这表明 prior failure traces 对低带宽 agent 更像 ranked strategy list，而不是束缚。

5.4 ARA-native review：Rigor Auditor 能抓主要问题，但 orphan experiments 是盲点

Rigor Auditor mutation benchmark 在 23 个 ARA × 5 类 injections 上得到 95/115 = 82.6% overall detection。分项：fabricated claim 23/23 (100%)，rebutted-branch leak 23/23 (100%)，over-claim scope 23/23 (100%)，missing falsification 21/23 (91%)，orphan experiment 5/23 (22%)。作者解释 orphan experiments 需要枚举所有 experiment 并核查 Verifies target 是否存在，更适合下沉到 Level 1 的 deterministic structural check，而非依赖 Level 2 semantic loop。

5.5 Appendix evidence：两个 tax 的量化支持

PaperBench taxonomy 的 3,050 leaf subset 显示，最常见 reproduction-critical information 是 combinatorial experiment matrix (24.1%)、evaluation protocol (18.5%)、hyperparameters (17.2%)、metric logging (10.4%)、result interpretation (8.6%)、architecture specification (5.8%)、mathematical formulation (4.5%)、implementation tricks (4.2%)、data pipeline (3.8%)、environment/infrastructure (2.9%)。这些类别分别映射到 ARA 的 experiments.md、configs/training.md、claims.md、evidence/、architecture.md、algorithm.md、heuristics.md 和 environment.md。

RE-Bench/MALT 的 exploration tax 量化了 Storytelling Tax：24,008 agent runs、21 frontier models、228 tasks 中，below-reference run rate overall 是 31.6%，RE-Bench 内是 73.4%；below-ref vs reference 的 median cost ratio 是 113×；dead-end exploration 占 44.8% tokens，known-solution re-derivation 占 14.4% tokens；总 below-reference exploration 占 59.2% tokens 和 90.2% cost（总 cost $63,483）。这些失败不是“无用研究”，但如果 artifact 不保存，下一位 agent 就要重新支付。

5.6 Limitations and conclusions

作者明确限制了结论范围。第一，评估只覆盖 ML papers；对 wet-lab、materials synthesis 或 theoretical disciplines 是否适用仍未验证。第二，Compiler fidelity 受 source supervision 上限约束：PDF/repo 没写的实验细节无法凭空恢复；Live Research Manager 能补这个缺口，但前提是研究过程本来就在 agent sessions 中发生。第三，production deployment 还缺 adversarial robustness、privacy guarantees、sandboxed execution、content-level anomaly detection、granular access control 和长期 schema migration story。

总体结论：ARA 不是简单的“结构化论文模板”，而是把研究对象从 narrative document 变成 agent-operable state。实验证据显示它能提升理解与复现，并在扩展任务中加速 early progress；但它也揭示了一个更微妙的 trade-off：保存失败轨迹会减少重复探索，同时也可能把足够强的 agent 锚定在历史搜索空间内。未来真正有价值的方向可能不是“最后一篇 human-written paper”，而是 continuously maintained、lineage-aware、可被人和 agent 共同消费的 research graph。

Paper Notes

探索

The Last Human-Written Paper: Agent-Native Research Artifacts

The Last Human-Written Paper: Agent-Native Research Artifacts

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 Overall framework：ARA as a four-layer filesystem ontology

3.2 ARA Protocol：四层的输入/输出与失效模式

3.3 Live Research Manager：born-agent artifact 的捕获机制

3.4 ARA Compiler：legacy paper/repo 到 ARA 的 top-down compilation

3.5 ARA Seal 与 ARA-native review

3.6 (Human+AI)2 research network

3.7 Code-to-paper mapping

4. Experimental Setup (实验设置)

4.1 Datasets and scale

4.2 Baselines and representations

4.3 Evaluation metrics

4.4 Runtime / training configuration

5. Experimental Results (实验结果)

5.1 Understanding：ARA 显著提高 agent 问答准确率

5.2 Reproduction：优势随难度增加

5.3 Extension：failure traces 既加速，也可能约束强 agent

5.4 ARA-native review：Rigor Auditor 能抓主要问题，但 orphan experiments 是盲点

5.5 Appendix evidence：两个 tax 的量化支持

5.6 Limitations and conclusions

目录

3.6 (Human+AI) $^{2}$ research network