Paper Circle: An Open-source Multi-agent Research Discovery and Analysis Framework

Paper: arXiv:2604.06170 / Hugging Face Papers Code: MAXNORM8650/papercircle Code reference: main @ 05db8cd8 (2026-05-13)

1. Motivation (研究动机)

论文要解决的不是单点的“论文搜索”问题，而是完整文献工作流的断裂：研究者需要先发现相关论文，再判断哪些值得读、组织成可复用的阅读列表、深入理解单篇论文、和合作者共享讨论结果。传统搜索引擎、推荐系统或单轮 RAG 工具通常只能覆盖其中一段：它们可能能返回标题列表，但缺少可追溯的中间状态、稳定可复现的排序、多源覆盖、结构化导出，以及对单篇论文内部概念、方法、实验和图表的深层解析。

现有 AI Scientist / multi-agent scientific discovery 系统更偏向“让 agent 自主完成科研任务”，而 Paper Circle 的定位更实际：把 agent 放进 human-in-the-loop 的 literature review workbench 中，让研究者保留问题定义、筛选与判断权，系统负责把搜索、排序、分析、review、导出这些机械且容易遗漏的步骤串起来。这个差异很重要，因为文献综述往往不是一次性问答，而是持续积累的社区过程：同一批论文会被多人复查、补充、引用、重新排序，并且需要留下可审计的 JSON/CSV/BibTeX/Markdown/HTML 产物。

作者认为值得研究的核心原因有三点。第一，科学文献增长让“靠关键词 + 手动打开 PDF”越来越低效；第二，单篇论文理解本身也需要结构化工具，例如把概念、方法、实验、数据集、图表和公式连成 typed graph；第三，社区阅读需要共享状态，而不是每个研究者在自己的聊天窗口里重新问一遍。Paper Circle 因此试图把 discovery、paper mind graph、review agents 和 collaborative reading circle 合成一个开源平台。

Figure 1 解读：这张总览图把 Paper Circle 拆成三条主线：左侧从 user query 进入 Paper Mind / Discovery Orchestrator，系统从 paper graph、community 和 arXiv live 等来源构建候选集；中间的 multi-agent 层包括 query、search、sorting、analysis、export；右侧的 Tracker 维护 shared state，并把状态同步到数据库和界面。它说明本文的贡献不是一个新的 embedding 模型，而是把“检索—排序—分析—导出—社区展示”做成可复现的 agent workflow。

2. Idea (核心思想)

核心洞察是：research discovery 更像一个有状态的协作流程，而不是无状态的 top- $k$ 检索。Paper Circle 让每个 agent 只负责一个窄工具接口，并把所有中间结果写入共享状态；这样既能利用 LLM agent 的查询理解和分析能力，又能保留 deterministic ranking、process logs、multi-format exports 与 human verification。

关键创新可以概括为两个互补 pipeline：Discovery Pipeline 负责多源检索、评分、去重、多样性排序和结构化输出；Analysis Pipeline 把单篇论文解析成 typed knowledge graph，并在 graph-aware QA、coverage verification 和 human editing 中复用。与 PaperQA / STORM / SciSage 这类更偏问答或写作的系统相比，Paper Circle 同时强调 multi-source discovery、typed paper KG、node/edge provenance、coverage verification、deterministic runs 和 structured exports；论文的 Table 1 中只有 Paper Circle 在这些列上全支持。

一个更直观的区别是：BM25 / semantic search baseline 只关心“相关论文是否排在前面”，Paper Circle 还关心“为什么它排在这里、来自哪个源、是否重复、是否覆盖不同子主题、能否导出给下一步阅读/讨论/复现”。因此它的 method 更接近 research operations system，而不是单独的 ranking algorithm。

3. Method (方法)

3.1 Overall framework：有状态的 multi-agent literature workflow

Paper Circle 的系统由三类后端能力和一个前端工作台组成：

Discovery backend：从 local JSON corpus、arXiv、Semantic Scholar、OpenAlex、Google Scholar/HF fallback 等源拉取论文；通过 intent classifier 决定 offline / online search，经过 search、sort、analysis、export agent 更新共享状态。
Paper Mind Graph / Analysis backend：对 PDF 做 ingestion、semantic chunking、concept/method/experiment/linkage extraction，构建 typed graph，再支持 graph-aware QA 与 coverage checking。
Review agents：围绕一篇论文并行运行 deep analyzer、critic、literature expert、contribution analyzer、reproducibility checker、summarizer、knowledge graph constructor 等角色，给出结构化 critique 与打分。
Frontend + persistence：React/TypeScript 前端显示 discovery、analysis、review、community reading circle；Supabase 负责认证和持久化。

方法上的直觉是：LLM agent 擅长解释意图、生成结构化分析、把图表/方法和上下文联系起来；但它不擅长保证稳定、完整和可复现。Paper Circle 的折中是把自由推理放在 agent role 中，把检索、排序、导出、coverage、状态写入等约束性环节做成工具函数和 shared state。这样 agent 每一步都能“写账”，用户可以复查每一步产生的 papers.json、links.json、stats.json、summary.json、Markdown/BibTeX/HTML 等产物。

3.2 Discovery Pipeline：query → search → score → diversity → export

Figure 2 解读：Discovery subsystem 从空的 discovery draft 开始，orchestrator 迭代调用 query decomposition、paper search、sorting、analysis/insights、export 和 web search agent。图中的 shared state 是关键：papers、links、statistics 和 summaries 每一步都会被更新，因此最终结果不是一次黑盒 LLM 输出，而是一串可检查、可重跑、可导出的状态转移。

Discovery Pipeline 包含六类 agent：intent classification、paper search、sorting、analysis、export、web search。intent classifier 把自然语言需求转成 search mode、conference/year filters、max results、ranking preferences；paper search agent 负责 offline/online 检索并更新 global state；sorting 和 analysis agent 负责重排与摘要；export agent 统一输出；web search agent 在问题含糊或需要最新信息时补充在线检索。

Offline / online retrieval

Offline search 从本地 JSON paper corpus 加载结构化记录，按 conference 和 year range 过滤，再把 title、abstract、keywords 拼成 searchable text。默认使用 BM25；可选 semantic 或 hybrid ranking。Online search 则调用 arXiv、Semantic Scholar、OpenAlex、Google Scholar/HF Space 等外部源。多源聚合后，系统用 normalized title、DOI、arXiv ID、URL 等键去重，因为同一论文经常以不同 metadata 出现在多个 API 中。

论文的评分公式包含四类维度。TF—IDF cosine similarity 衡量 query 和 paper text 的相关性： $similarity (q, p) = \frac{v _{q} \cdot v _{p}}{∥ v _{q} ∥ ∥ v _{p} ∥} .$ Recency score 按年份归一化： $\text{recency}(p)=\frac{\text{year}(p)-\text{year}_\min}{\text{year}_\max-\text{year}_\min}.$ 最终 combined score 是多维加权和： $combined (p) = w_{s} \cdot similarity + w_{r} \cdot recency + w_{n} \cdot novelty + w_{b} \cdot bm25 .$ 论文给出的 mode weights 是：stable mode 更偏 relevance/authority， $w_{s} = 0.5, w_{r} = 0.2, w_{n} = 0.1, w_{b} = 0.2$ ；discovery mode 提高 novelty， $w_{s} = 0.3, w_{r} = 0.1, w_{n} = 0.4, w_{b} = 0.2$ ；balanced mode 为 $w_{s} = 0.3, w_{r} = 0.2, w_{n} = 0.2, w_{b} = 0.3$ 。排序标准可选 recency、citations、similarity、novelty、bm25 或 combined。

Diversity-aware postprocessing

为了避免 top results 全是同一个方向的相似论文，Paper Circle 在初排之后使用 MMR： $MMR = ar g max_{p \in R ∖ S} [λ \cdot sim (p, q) - (1 - λ) \cdot max_{s \in S} sim (p, s)] .$ 其中 $R$ 是候选集， $S$ 是已选集合， $q$ 是查询， $λ$ 控制 relevance 与 diversity 的权衡。论文写明 stable mode 使用 $λ = 0.8$ ，discovery mode 使用 $λ = 0.5$ ，balanced mode 使用 $λ = 0.65$ 。postprocessing 还生成 Hidden Gems（novelty 高但 combined rank 不一定最高）、Canonical Papers（高引用或高 authority）和 source distribution 等辅助视图。

论文公式与 released code 实现差异：论文的 scoring section 使用 similarity/recency/novelty/BM25 四维权重，而 backend/core/paperfinder.py 的 refactored pipeline 使用 relevance/authority/novelty 三维 MODE_WEIGHTS：stable=0.5/0.4/0.1、discovery=0.3/0.1/0.6、balanced=0.4/0.3/0.3；BM25/semantic/hybrid ranking 仍存在于 backend/agents/discovery/pca.py::OfflinePaperSearchEngine。此外，论文写 stable/balanced/discovery 的 MMR $λ$ 分别为 0.8/0.65/0.5，released code 在 backend/core/paperfinder.py 和 backend/core/discovery_papers.py 中使用 stable=0.7、其它 mode=0.5，没有单独的 balanced=0.65 分支。

3.3 Paper Analysis Agent：从 PDF 到 typed mind graph

Figure 3 解读：Paper Analysis Agent 分四层：ingestion 把 PDF 拆成 sections、figures、tables、equations；semantic chunking 产生结构感知 chunk；graph construction 抽取 concepts、methods、experiments 及其关系；Q&A / verification / export 层在图上检索、回答问题并检查覆盖度。图中最重要的是 provenance：graph 中的节点和边都能追溯到 source chunk、page number 和 verification status。

Ingestion and semantic chunking

released code 中 backend/agents/paper_mind_graph/ingestion.py 的 PDFParser 负责提取 metadata、sections、figures、tables、equations；SemanticChunker(max_chunk_size=1500) 按论文结构分块，而不是按固定 token 窗口切割。section 内段落会被组合到默认 1500 characters 限制内，figures/tables/equations 保留为带 caption 和 context 的 distinct chunks。这一点和普通 RAG 很不一样：普通 RAG 容易把图表说明、公式和正文切散，导致 answer 无法定位；Paper Circle 明确把 visual / equation artifacts 变成 graph 中可链接的对象。

Graph schema and extraction agents

mind graph 的 node 类型包括 paper、section、concept、method、experiment、dataset、visual element（figures/tables/equations）。edge 类型包括 hierarchy、definition、proposal、usage、evaluation、illustration、dependency。每个 node/edge 都带 provenance metadata：source chunk IDs、page numbers、verification status、confidence scores、timestamps。GraphBuilder 依次运行四类 extractor：Concept Extractor 分类 key concepts；Method Extractor 找方法段落中的 proposed/baseline/evaluation methods；Experiment Extractor 抽数据集、指标、结果；Linkage Agent 把 figure/table caption 和 nearby text 连接到已抽取概念或方法。

Graph-aware QA and coverage verification

Q&A module 用 EmbeddingStore 建索引，并用 GraphRetriever 检索 top- $k$ relevant chunks/nodes，再扩展 1-hop graph neighbors。PaperQA 用检索上下文构造 prompt，返回 answer、supporting evidence、source node IDs 和 confidence。CoverageChecker 会检查 figures、tables、sections、equations 是否已经链接到 concepts/methods，输出 0–100% coverage score、unlinked items 和 critical issues。这个 coverage layer 是系统工程上很关键的一步：它防止 agent 生成看似完整的分析，却静默漏掉图表、公式或实验段落。

3.4 Research Review Framework：多角色并行 critique

Figure 4 解读：Review framework 以 PDF/URL 为输入，由 orchestrator 维护 shared paper metadata 和 agent context，然后并行调度 specialized roles。Deep Analyzer 关注技术核心，Critic 模拟顶会 reviewer，Literature Expert 连接 Semantic Scholar/arXiv，Contribution Analyzer 分离作者 claim 和真实贡献，Reproducibility Checker 检查代码/超参/数据/算力披露，Summarizer 生成多层摘要，Knowledge Graph Constructor 构建 paper graph。图的重点是“分工 + 汇总”：不是让一个 LLM 一次性写完整 review，而是把不同审稿维度拆给不同 agent。

released code 中 backend/agents/paper_review_agents/benchmark_framework.py 的 BenchmarkConfig 默认 model_id="ollama_chat/qwen3-coder:30b"、api_base="http://10.127.30.115:11434"、num_ctx=32000、parallel_reviews=3；CLI 示例在 benchmark_paper_review.py 中支持 --model、--parallel 和 --limit。论文实验还说明所有实验在 open-source model 上运行，硬件为 $4 \times 40$ GB Nvidia GPUs，平台为 Ollama + fastllm。

3.5 Output and interface

Figure 5 解读：这张界面图展示 paper analysis/database management：用户可以在网页端管理论文数据库、触发分析并查看快速 inference 结果。它对应代码中的 FastAPI analysis service 与 React front-end，而不是论文中的抽象 pipeline 图。

Figure 6 解读：这张结果图展示 Analysis Agent 的五类输出：(A) concept graph，节点是抽取出的概念，边是语义关系；(B) concept explanation，概念解释带来源 section/page；(C) graph-aware Q&A，回答带 supporting figures/references；(D) Markdown export，把概念与方法结构化导出；(E) flowchart，把 concepts、methods、experiments 的高层关系画出来。这些输出说明 Paper Circle 的 analysis pipeline 不止服务即时问答，也服务后续阅读、汇报和协作。

Figure 7 解读：dashboard 汇总 ICLR 2024 review prediction 的误差、相关性和阈值准确率。图中各模型在不同 review category 上差异很大，尤其是 correlation 普遍偏低，这支持作者在 limitations 中的观点：review agent 可以辅助阅读，但不能作为可靠的论文强弱排序器。

3.6 Pseudocode grounded in released code

Discovery retrieval + scoring + MMR

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
 
MODE_WEIGHTS = {
    "stable": {"relevance": 0.5, "authority": 0.4, "novelty": 0.1},
    "discovery": {"relevance": 0.3, "authority": 0.1, "novelty": 0.6},
    "balanced": {"relevance": 0.4, "authority": 0.3, "novelty": 0.3},
}
 
def run_research_discovery_refactored(query, papers, mode="balanced", apply_diversity=True, top_k=30):
    weights = MODE_WEIGHTS.get(mode, MODE_WEIGHTS["balanced"])
    relevance = tfidf_cosine(query, [p.title + " " + p.abstract for p in papers])
    authority = compute_authority_scores(papers)  # recency + source proxy in released code
    novelty = compute_novelty_scores(papers)      # distance from TF-IDF corpus centroid
 
    for i, paper in enumerate(papers):
        paper.final_score = (
            weights["relevance"] * relevance[i]
            + weights["authority"] * authority[i]
            + weights["novelty"] * novelty[i]
        )
 
    ranked = sorted(papers, key=lambda p: p.final_score, reverse=True)
    lambda_param = 0.7 if mode == "stable" else 0.5
    overall = mmr_diversity(query, ranked, lambda_param=lambda_param, top_k=top_k) if apply_diversity else ranked[:top_k]
    hidden_gems = sorted(ranked[20:], key=lambda p: p.novelty_score, reverse=True)[:3]
    canonical = sorted(ranked, key=lambda p: p.authority_score, reverse=True)[:3]
    return {"overall": overall, "hidden_gems": hidden_gems, "canonical": canonical}

Paper mind graph construction

def build_paper_mind_graph(pdf_path, model):
    parsed = PDFParser(pdf_path).extract_all()  # metadata, sections, figures, tables, equations
    chunks = SemanticChunker(max_chunk_size=1500).chunk_paper(
        parsed.metadata, parsed.sections, parsed.figures, parsed.tables, parsed.equations
    )
 
    graph = MindGraph(metadata=parsed.metadata)
    graph.add_structural_nodes(parsed.sections, parsed.figures, parsed.tables, parsed.equations)
 
    builder = GraphBuilder(model=model)
    concepts = builder._extract_concepts(chunks)
    methods = builder._extract_methods(chunks)
    experiments = builder._extract_experiments(chunks)
    builder._link_visuals(parsed.figures + parsed.tables, concepts + methods)
    builder._find_relationships(concepts, methods, experiments)
    return graph

Graph-aware Q&A + verification

def answer_with_graph_context(graph, question, top_k=5):
    retriever = GraphRetriever(graph)
    context = retriever.retrieve(question, top_k=top_k)
    prompt = build_qa_prompt(question, context.chunks, context.nodes, context.relationships)
    response = PaperQA(graph).agent.run(prompt)
    return {
        "answer": response.text,
        "evidence": context.source_chunks,
        "source_nodes": [node.id for node in context.nodes],
        "confidence": estimate_confidence(response, context),
    }
 
def verify_graph_coverage(graph):
    report = CoverageChecker(graph).check_coverage()
    return {
        "coverage_score": report.get_coverage_score(),
        "unlinked_figures": report.unlinked_figures,
        "unlinked_tables": report.unlinked_tables,
        "critical_issues": report.critical_issues,
    }

Multi-agent review benchmark

def benchmark_review_agents(papers, model_id="ollama_chat/qwen3-coder:30b", parallel_reviews=3):
    config = BenchmarkConfig(
        data_path="iclr2024.json",
        output_dir="benchmark_results",
        model_id=model_id,
        num_ctx=32000,
        parallel_reviews=parallel_reviews,
        skip_cached=True,
    )
    framework = BenchmarkFramework(config)
    with ThreadPoolExecutor(max_workers=config.parallel_reviews) as pool:
        futures = [pool.submit(framework.review_one_paper, paper) for paper in papers]
        predictions = [future.result() for future in futures]
    return compute_metrics(predictions, human_scores=papers)

Code reference: main @ 05db8cd8 (2026-05-13) — pseudocode and mapping based on this commit

Paper Concept	Source File	Key Class/Function
Discovery shared state and multi-format outputs	`backend/agents/discovery/pca.py`	`PipelineState`, `_update_all_outputs`, `get_structured_output`
Offline / online paper retrieval	`backend/agents/discovery/pca.py`	`OfflinePaperSearchEngine.search_offline`, `PaperSearchEngine.search_all`
Refactored deterministic discovery + MMR	`backend/core/paperfinder.py`, `backend/core/discovery_papers.py`	`run_research_discovery_refactored`, `mmr_diversity`, `calculate_mmr_diversity`
Agentic research pipeline	`backend/agents/discovery/pca.py`	`create_research_pipeline`, `PaperSearchTool`, `PaperSortTool`, `PaperAnalysisTool`, `PaperExportTool`
PDF ingestion and chunking	`backend/agents/paper_mind_graph/ingestion.py`	`PDFParser`, `SemanticChunker`, `IngestionPipeline`
Typed graph construction	`backend/agents/paper_mind_graph/graph_builder.py`, `schema.py`	`GraphBuilder`, `MindGraph`, node/edge dataclasses
Graph-aware QA	`backend/agents/paper_mind_graph/qa_system.py`	`EmbeddingStore`, `GraphRetriever`, `PaperQA.ask`
Coverage and human verification	`backend/agents/paper_mind_graph/verification.py`	`CoverageChecker`, `VerificationManager`
Review-agent benchmarking	`backend/agents/paper_review_agents/benchmark_framework.py`, `benchmark_paper_review.py`	`BenchmarkConfig`, `BenchmarkFramework`, CLI args
API / UI integration	`backend/apis/.py`, `src/components/Papers/.tsx`	FastAPI endpoints, `AIDiscoveryView_v2`, `PaperAnalysisView`, `PaperReviewView`

4. Experimental Setup (实验设置)

4.1 Data and benchmarks

论文实验覆盖三类 evidence：

Paper database corpus：从 OpenReview 及 metadata/review 信息构建，共 292 papers，覆盖主要 CS/ML venue。Table 2 给出的 venue count 为 ICLR 12、NeurIPS 39、ICML 13、CVPR 13、IROS 25、ICRA 25、AAAI 5、ACL 5、ICCV 7、EMNLP 4、Other 144；Other 包含 AISTATS、RSS、SIGGRAPH、WACV 等。
Retrieval benchmarks：论文使用 50-query SemanticBench 评估大多数 agent/baseline；另有 RAbench 使用 500 queries，用 gpt-oss-20B 生成 research-assistant-style natural queries，并从数据库记录中抽 topic、template、scope filters。
Review benchmark：从 ICLR 2024 released reviews 中随机抽 50 papers，覆盖多种 human rating；模型预测 overall rating、soundness、presentation、contribution，再和 human scores 比较。

4.2 Baselines and compared systems

retrieval baselines 包括 BM25、Semantic（MiniLM/sentence-transformer style）、Simple bag-of-words、Hybrid（BM25+semantic）。agent models 包括 Qwen3-Coder-30B-A3B-Instruct-Q3_K_M、qwen3-coder:30b、microcoder-deepseekr1-14.8、deepseek-coder-v3:16b、qwen2.5-coder:3b/7b/14b/1.5b、deepseek-coder:33b、qwen3vl-4b-orlex、granite-code:34b、microcoder-oss-20b 等。系统功能对比还覆盖 PaperQA、PaperQA2、STORM、SciSage、Connected Papers、alphaXiv，以及 source/export 对比中的 arXiv、Semantic Scholar、Google Scholar、PaperCircle。

4.3 Metrics

retrieval metrics 包括 Success、Hit Rate、MRR、R@1/R@5/R@10/R@20/R@50、Time(s)、Steps。系统 usage/export metrics 包括 sources queried per run、not retrievable fraction、PDF availability、export formats、bulk export、process-level logs、sessions、papers processed、duplicates removed、median runtime。review metrics 包括 MSE、MAE、RMSE、Pearson、Spearman、Acc. $\pm 0.5$ 、Acc. $\pm 1.0$ 、Acc. $\pm 1.5$ 、mean/std signed error 和 evaluated $N$ 。

4.4 Implementation / hardware / hyperparameters

论文写明实验使用 open-source models，在 $4 \times 40$ GB Nvidia GPUs 上运行，平台为 Ollama + fastllm。released code 的 review benchmark config 位于 backend/agents/paper_review_agents/benchmark_framework.py：默认 model_id="ollama_chat/qwen3-coder:30b"、api_base="http://10.127.30.115:11434"、num_ctx=32000、parallel_reviews=3、skip_cached=True。CLI 示例位于 backend/agents/paper_review_agents/benchmark_paper_review.py，支持 --model ollama_chat/qwen3-coder:70b、--parallel 5、--limit 50/100/200。Paper Mind Graph API 的 chunking 默认值在 backend/agents/paper_mind_graph/api.py 和 ingestion.py 中是 max_chunk_size=1500。

5. Experimental Results (实验结果)

5.1 Retrieval main results

Table 3 的主要结论是：30B-class coder agent 和 BM25 都很强，但 agent 在 semantic / RA-style natural queries 上更能利用结构化流程。50-query SemanticBench 中：

Method	Type	Success	Hit Rate	MRR	R@1	R@5	Time(s)
Qwen3C-30B-Inst-Q3_K_M	Agent	100%	0.80	0.627	0.58	0.66	22.2
qwen3-coder:30b	Agent	100%	0.80	0.518	0.46	0.52	21.1
BM25	Baseline	100%	0.78	0.541	0.48	0.60	—
microcoder-deepseekr1-14.8	Agent	52%	0.73	0.453	0.38	0.46	107.4
deepseek-coder-v3:16b	Agent	100%	0.66	0.396	0.32	0.46	47.9
Semantic	Baseline	100%	0.54	0.279	0.22	0.32	—
Simple bag-of-words	Baseline	100%	0.54	0.279	0.22	0.32	—
Hybrid (BM25+semantic)	Baseline	100%	0.02	0.001	0.00	0.00	—
Qwen3-Coder-30B-A3B-Inst-Q3_K_M on RAbench	Agent	100%	0.98	0.882	0.83	0.93	21.53

作者特别指出 RAbench 的 500-query row 更高（Hit Rate 0.98、MRR 0.882），说明 LLM 改写/扰动后的自然查询可能比随机 template SemanticBench 更容易检索，因为 lexical specificity 和 intent clarity 更强。

5.2 Configuration and ablation findings

Qooba/qwen3-coder-30b 的扩展配置结果：Default Full Agent 在 500 queries 上 Hit Rate 0.9818、MRR 0.8824、R@1 0.8381、R@5 0.9312、Time 21.54s；With Filters & Offline 在 50 queries 上 Hit Rate 0.9600、MRR 0.8485、R@1 0.7800、R@5 0.9000、Time 22.76s；Offline Only 降到 Hit Rate 0.9200、MRR 0.6476；No Mentions 和 Online/Offline Mix 只有 0.6400 / 0.6200 Hit Rate。论文解释为：明确 conference/year filters 和 local database 能显著提高准确度，而缺少具体 paper mentions 或混合在线/离线链路会破坏检索稳定性。

Ablation 中 BM25 Full、BM25 Search Sort、BM25 No Intent、BM25 Search Analysis、BM25 Minimal 的 Hit Rate 都是 0.9600，MRR 从 0.8629 到 0.8420；Hybrid Full 也是 Hit Rate 0.9600、MRR 0.8620；BM25 + Reranker 取得最高 MRR 0.8692 和 R@5 0.9400，但 Time 达到 935.07s，约为其它 31–34s 配置的 28 倍。Semantic Full 的 Hit Rate 0.9400、MRR 0.7097。这个结果说明 reranker 的 ranking quality 有收益，但在 practical research workflow 中代价很高。

5.3 Source coverage / export / usage

Paper Circle 在 81 observed user sessions 中处理 21,115 papers，删除 18,613 个 duplicate entries（43.5%），median runtime 为 2.3 min/session，每个 session 支持 5 种 export formats。source coverage 对比显示：单独 arXiv 有 70.9% 的 PaperCircle paper set 无法检索到，Semantic Scholar 单源 miss 80.4%，Google Scholar 估计 miss 36.9%，PaperCircle 多源 miss 9.0%；每次运行平均查询 8.7 个 sources。PDF availability 方面，PaperCircle 为 62.5%，低于 arXiv 的约 90%，但它同时提供 bulk export 和 process-level logs。

5.4 Review agent results

ICLR 2024 review score prediction 暴露出 review agent 的上限。论文总结：gpt-oss:120b 在 rating 与 contribution 上总体更好，例如 rating MAE=1.6844、contribution MAE=0.6240；gpt-oss:20b 在若干指标上也有竞争力。但各模型与 human scores 的 correlation 普遍弱，通常 $∣ r ∣ < 0.25$ 。Table 中例如 Qwen 30B 的 rating Pearson=-0.1820、Spearman=-0.2216，contribution Pearson=-0.2119、Spearman=-0.2160；qwen30B-code_qk_3 的 rating Pearson=-0.2233、Spearman=-0.2837。作者在 limitations 中明确说 review agent 不应作为可信的论文强弱排序机制。

5.5 Limitations and overall conclusion

论文的主要 limitation 是 review score alignment：即使 agent 能生成完整 critique，其相对排序和 human judgment 的相关性仍低，甚至可能负相关，因此只能作为辅助阅读/检查器，而不能替代人类 reviewer 或作为 ranking ground truth。系统层面还隐含依赖 PDF parsing、metadata coverage、API 可用性、LLM instruction following 和多源去重质量；这些会影响 graph 完整性与检索稳定性。

整体结论是：Paper Circle 的贡献更偏平台和 workflow，而不是单个模型能力刷新。它证明 multi-agent literature management 可以把多源检索、确定性排序、paper knowledge graph、coverage checking、review agents 与结构化导出接到同一个开源系统中。实验结果显示强 lexical retrieval（BM25）依然是高基线，agentic workflow 的价值主要体现在 query interpretation、stateful refinement、analysis/export 和 human-readable intermediate artifacts。

Paper Notes

探索

Paper Circle: An Open-source Multi-agent Research Discovery and Analysis Framework

Paper Circle: An Open-source Multi-agent Research Discovery and Analysis Framework

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 Overall framework：有状态的 multi-agent literature workflow

3.2 Discovery Pipeline：query → search → score → diversity → export

Offline / online retrieval

Diversity-aware postprocessing

3.3 Paper Analysis Agent：从 PDF 到 typed mind graph

Ingestion and semantic chunking

Graph schema and extraction agents

Graph-aware QA and coverage verification

3.4 Research Review Framework：多角色并行 critique

3.5 Output and interface

3.6 Pseudocode grounded in released code

Discovery retrieval + scoring + MMR

Paper mind graph construction

Graph-aware Q&A + verification

Multi-agent review benchmark

4. Experimental Setup (实验设置)

4.1 Data and benchmarks

4.2 Baselines and compared systems

4.3 Metrics

4.4 Implementation / hardware / hyperparameters

5. Experimental Results (实验结果)

5.1 Retrieval main results

5.2 Configuration and ablation findings

5.3 Source coverage / export / usage

5.4 Review agent results

5.5 Limitations and overall conclusion

目录