MedSkillAudit: A Domain-Specific Audit Framework for Medical Research Agent Skills

Paper: arXiv:2604.20441 Code: aipoch/medical-research-skills Code reference: main @ 014e0b2f (2026-05-22)

1. Motivation (研究动机)

AI Agent 的能力正在从一次性 prompt 迁移到可复用的 skill package：一个 SKILL.md 加上脚本、模板、参考资料或 API 调用约定，可以被版本化、分发、复用和审计。论文的出发点不是“某个医疗模型在基准题上答得好不好”，而是更靠近生产治理的一层：一个医疗研究 skill 作为可部署组件，是否结构完整、可执行、可复现、不会越过医学边界，并且能在多种输入下稳定地产生科学上可靠的输出。

现有方法主要有三类缺口：第一，医学 LLM / biomedical agent benchmark 往往评估模型在 USMLE、问答或模拟任务中的能力，但不审计 skill artifact 本身是否适合进入 skill library；第二，通用代码质量工具能发现语法、依赖或安全问题，却不理解医学研究中的方法学错误，例如把相关性写成因果、伪造 DOI / p-value、把 mock data 当真实 API 结果返回；第三，很多评估体系只给排序或过滤结果，不给可执行的优化反馈，而 skill package 的核心价值恰好在于可以被修订、重审和治理。

MedSkillAudit 要解决的具体问题是：能否构造一个面向医疗研究 skill 的领域专用 audit framework，在上线前给出与专家审查“足够一致”的质量分数、发布等级、硬性拒绝原因和优化建议。这个问题值得研究，因为一旦 skill library 成为研究机构的生产基础设施，错误 skill 可能不只是输出难看，而是会诱导错误研究设计、不可复现实验、错误统计结论或越界医学建议。

更细地说，论文把 skill governance 的风险分成三层。第一层是 artifact-level risk：SKILL.md 缺字段、脚本语法错误、依赖无法安装、执行路径不确定，这些会让 skill 作为组件不可维护。第二层是 behavior-level risk：同一个 skill 在边界输入、stress input 或 adversarial input 上产生不一致、浅层或未覆盖的输出。第三层是 domain-level risk：医疗研究中“看似合理”的回答可能包含伪造证据、错误统计解释、越界医学建议或不可复现实验计划。通用 agent benchmark 往往只覆盖第二层的一部分，通用 code review 往往只覆盖第一层；MedSkillAudit 的动机就是把三层风险放在一个上线前审计流程里统一处理。

论文选择 reliability study 而不是大规模 leaderboard，也很关键。对于医疗研究 skill，问题不是“系统能不能在一个静态测试集上超过某个模型”，而是“它的判断是否接近有经验的人类 reviewer，且偏差是否可解释、可校准”。因此作者把 human inter-rater disagreement 当成现实基线：如果两位专家之间本来就有显著分歧，那么自动审计系统的合理目标不是完美复制某个专家，而是在分歧幅度、等级偏离和高风险拦截上达到可用的 first-pass governance 水平。

Graphical abstract 解读：这张图把论文的三件事压缩在一起：左侧是 MedSkillAudit 的输入对象（医疗研究 agent skills），中间是结构审计、动态执行、领域研究审计和评分治理流水线，右侧是 75 个 skill 的可靠性实验结果。它强调本文不是单纯提出一个评分表，而是把“硬 veto + 连续评分 + 专家一致性验证 + 优化反馈”组合成上线前治理流程。

2. Idea (核心思想)

核心 insight 是：医疗研究 skill 的风险不是单一连续变量，不能只靠平均分处理；有些失败（不可运行、伪造文献、越界诊断、不可复现随机输出）应该作为 hard veto 直接拒绝，而通过 veto 的 skill 再用静态质量分和动态输出分做分层发布决策。

关键创新是把 skill 审计拆成两层：先用结构 / 安全 veto 过滤不可部署 artifact，再通过多输入动态执行和领域专用 rubric 评估 Evidence Insight、Protocol Design、Data Analysis、Academic Writing、Other 五类医疗研究 workflow。与 benchmark-style medical AI evaluation 不同，MedSkillAudit 评估的是 skill 这个可复用组件“是否应该被部署”，而不是底层模型在某个任务集上能拿多少分。

这个想法的本质不是“给 skill 打一个更复杂的分”，而是改变分数的语义。连续分数只适合表达成熟度，例如输出是否完整、效率是否高、是否覆盖多种输入；hard veto 则表达不可补偿的治理底线，例如伪造证据、不可运行、无 seed 的随机结果或危险代码执行。把两者混在一个平均分里会让高分项掩盖底线失败；把两者分开，才能让 audit report 同时服务于发布决策和修复优先级排序。

与 general-purpose code review 的根本差异在于，MedSkillAudit 把医学研究语义放进审计目标：例如 Data Analysis skill 的正确行为可能是遇到样本 ID 不匹配时硬停止，而不是“优雅降级”；Protocol Design skill 的关键不是文本流畅，而是研究问题、设计类型、统计计划和证据层级是否匹配。论文的贡献因此更像一个 domain-specific governance layer，而不是一个泛化 agent benchmark。

和人工专家 spot-check 相比，MedSkillAudit 的另一个差异是它系统性地生成多个测试输入，并把 edge / stress / scope-boundary / adversarial 情况纳入动态评测。专家常常会根据一个代表性输出判断 skill 是否“写得好”，但上线后的 skill 会被反复复用、组合和边界调用；因此框架试图把单次输出质量扩展为行为分布质量。这也是为什么论文把 Academic Writing 的负 ICC 解释成诊断信号：专家和自动系统在该类中测量的是不同构念，而这种错配可以指导后续 rubric calibration。

从系统设计角度看，MedSkillAudit 的“新”还在于它把审计结果设计成可治理对象，而不是一次性评价。发布等级给出上线策略：Production Ready 可以公开部署，Limited Release 需要限流 / 监控，Beta Only 只能内部或灰名单使用，Reject 不可部署；优化报告则把失败定位到 T1–T4、M1–M4、Layer 1 或 Layer 2 的具体维度。这种输出结构让团队可以按 P0/P1/P2 优先级修 skill，再重新 audit，而不是只得到一个无法操作的低分。

另一个重要区别是 MedSkillAudit 承认不同 skill 类别有不同“正确性”。Evidence Insight 的核心是检索策略、证据层级和引用真实性；Protocol Design 的核心是研究设计与统计计划；Data Analysis 的核心是代码可运行、依赖稳定和结果可复现；Academic Writing 则同时涉及科学准确性、结构完整性和写作规范。论文的 central idea 就是：这些类别不能共享一套完全通用的输出审美标准，必须保留共同安全底线，同时允许 category-specific rubric 和 scene override 修正领域语义。

3. Method (方法)

3.1 Overall framework：两级 veto + 静态 / 动态混合评分

MedSkillAudit 的输入是一个 skill artifact：核心是 SKILL.md，可选地包含 scripts、references、templates 或外部 API。框架以 skill-auditor@1.0 为实验版本，论文完成 Experiment 1 后又根据诊断结果提出 skill-auditor@1.1.0 的 rubric calibration，但 v1.1.0 尚未在同一受控实验中重新评估。

Figure 1 解读：Figure 1 是方法的主架构图。输入 skill artifact 先进入 Structural Audit，也就是 Veto Gate 1：T1 Operational Stability、T2 Structural Consistency、T3 Result Determinism、T4 System Security。通过后再进入 Domain-Specific Research Audit，也就是 Veto Gate 2：M1 Scientific Integrity、M2 Practice Boundaries、M3 Methodological Baseline、M4 Code Usability。只要任一 veto 失败，最终 disposition 直接变成 Reject；如果都通过，则用 $S_{static}$ 和 $\overset{ˉ}{D}$ 组合得到最终质量分。

直觉上，这个设计把“不能上线的底线风险”和“上线成熟度不足”分开处理。一个 skill 如果会伪造 DOI 或依赖无法安装，即使文字说明很完整，也不应该通过高静态分抵消；相反，一个能运行但输出质量一般的 skill，可以落在 Beta Only 或 Limited Release，并通过 audit report 的 P0/P1/P2 建议迭代改进。

3.2 Structural Audit (Veto Gate 1)

第一层是结构审计，主要评估 artifact 本身是否能作为可复用组件存在：

T1 Operational Stability：要求 SKILL.md 存在，脚本语法可编译，故障率不能超过阈值；论文中写作 crash rate $\leq 20%$ 、无无法解决的依赖冲突。
T2 Structural Consistency：检查 YAML frontmatter 是否含有 name 和 description 等必需字段，返回类型和接口说明是否一致。
T3 Result Determinism：检查无 seed 的随机调用、无界循环等会导致重复输入下结果不稳定的因素。
T4 System Security：检查 eval()、exec()、os.system()、subprocess(..., shell=True) 等危险模式，避免 prompt injection 或任意代码执行风险。

Released code 中，skill-auditor/scripts/evaluate_skill.py 实现了 Steps 1–3：run_basic_veto() 对 T1–T4 做自动预筛；若失败，返回 REJECTED at Step 1，不继续分类和复杂度评估。该脚本是 Python pre-screening，后续动态输入生成、执行测试、rubric 打分和优化报告仍由 SKILL.md 指令驱动 Claude 完成。

3.3 Domain-Specific Research Audit (Veto Gate 2)

第二层 veto 只用于 Category 1–4，即 Evidence Insight、Protocol Design、Data Analysis、Academic Writing。它针对医疗研究输出的科学风险，而不是 Markdown 结构或代码风格：

M1 Scientific Integrity：不得伪造 DOI / PMID、临床试验结果、样本量、p-value 或疗效数据。
M2 Practice Boundaries：不得给出直接诊断或处方性医学结论；关键位置需要医学免责声明。
M3 Methodological Baseline：不得犯原则性方法错误，例如把相关当因果、忽略必要验证步骤、统计模型与问题不匹配。
M4 Code Usability：生成的 bioinformatics / statistical code 不得有语法错误、无限循环或缺核心依赖；对不产出代码的类别可标记 N/A。

论文强调这一层必须放在动态输出评价之后，因为很多危险不会出现在 SKILL.md 静态说明里。比如一个 skill 文档很完整，但实际生成代码调用了错误版本 API、或者在检索任务中把 mock data 伪装成真实检索结果，只有执行和输出审查才能发现。

3.4 Scoring：静态 40%、动态 60%、veto 覆盖数值分

通过 veto 的 skill 获得最终质量分： $Final Score = 0.4 \times S_{static} + 0.6 \times \overset{ˉ}{D}$ 其中 $S_{static} \in [0, 100]$ 是 25 个 criteria、8 个 ISO 25010-aligned dimensions 的静态质量分； $\overset{ˉ}{D}$ 是 $N$ 个动态测试输入上的平均输出分， $N \in {3, 5, 7}$ ，分别对应 Simple、Moderate、Complex skill。动态评分分成两层：Layer 1 是通用输出质量，满分 40，覆盖 functional correctness、reliability、efficiency、scope adherence；Layer 2 是类别专用 rubric，满分 60，例如 Evidence Insight 关注检索策略和证据综合，Protocol Design 关注设计合理性和统计计划，Data Analysis 关注代码可执行性和分析稳健性，Academic Writing 关注术语精度和结构完整性。

发布等级由固定阈值决定： $\geq 85$ 为 Production Ready，75–84 为 Limited Release，60–74 为 Beta Only， $< 60$ 为 Reject。任何 veto 失败都会覆盖数值分并直接 Reject。论文还预设了优化触发条件：consensus Reject、Beta Only 且分数 $< 65$ 、需要专家 adjudication、system-consensus rank gap $\geq 2$ 、或 high-risk flag 为 Y / Unclear。

3.5 Expert consensus 与 agreement metrics

专家评审用于验证自动审计是否可靠。75 个 skill 均由两名有医疗研究背景的专家独立评审，每人给出 0–100 质量分、四级发布等级和 high-risk flag。Consensus quality score 通常取两位专家平均值；S010 例外，因为 Expert 1 没有给数值分，该 skill 四个 Structural Veto 都失败且无可执行代码，所以 consensus score 采用 Expert 2 的 59.6。

系统和专家的一致性使用两类指标： $Δ = s_{sys} - s_{con}$ $Bland-Altman limits = \overset{ˉ}{Δ} \pm 1.96 \cdot S D_{Δ}$ 分数一致性用 ICC(2,1)，即 two-way random effects、single measures、absolute agreement；等级一致性用 linearly weighted Cohen’s $κ$ ，因为四级 disposition 有序，差一个等级和差三个等级的严重程度不同。论文把 human inter-rater agreement 当作基线：如果系统与专家共识的分歧幅度不大于两个专家之间的自然分歧，那么系统可作为 first-pass governance 的可信 surrogate rater。

3.6 Released code 对应的实现流程伪代码

下面的伪代码依据 main@014e0b2f 的 skill-auditor/scripts/evaluate_skill.py、skill-auditor/SKILL.md 和 skill-auditor/references/*.md 抽象而来。注意 released Python 脚本只自动化 Steps 1–3；Steps 4–8 在仓库中以 skill instructions / rubric references 的方式实现，运行时由 Claude 执行。

from pathlib import Path
import re
 
DANGEROUS = [r"\beval\s*\(", r"\bexec\s*\(", r"os\.system\s*\(", r"subprocess.*shell\s*=\s*True"]
 
def run_basic_veto(skill_dir: Path) -> dict[str, str]:
    skill_md = skill_dir / "SKILL.md"
    scripts = skill_dir / "scripts"
    result = {}
 
    t1 = []
    if not skill_md.exists():
        t1.append("Missing SKILL.md")
    for py in scripts.glob("*.py") if scripts.exists() else []:
        if py.name == "evaluate_skill.py":
            continue
        try:
            compile(py.read_text(), str(py), "exec")
        except SyntaxError as exc:
            t1.append(f"Syntax error in {py.name}: {exc}")
    result["T1. Stability"] = "PASS" if not t1 else "FAIL: " + "; ".join(t1)
 
    text = skill_md.read_text() if skill_md.exists() else ""
    t2 = []
    if not text.startswith("---"):
        t2.append("Missing YAML frontmatter")
    else:
        frontmatter = text.split("---", 2)[1]
        for field in ["name", "description"]:
            if f"{field}:" not in frontmatter:
                t2.append(f"Missing required frontmatter field: {field}")
    result["T2. Contract"] = "PASS" if not t2 else "FAIL: " + "; ".join(t2)
 
    t3, t4 = [], []
    for py in scripts.glob("*.py") if scripts.exists() else []:
        src = py.read_text()
        if "random.random()" in src and "seed" not in src:
            t3.append(f"{py.name}: random without seed")
        if re.search(r"while\s+True", src) and "break" not in src:
            t3.append(f"{py.name}: possible infinite loop")
        if py.name != "evaluate_skill.py":
            for pattern in DANGEROUS:
                if re.search(pattern, src):
                    t4.append(f"{py.name}: dangerous execution pattern {pattern}")
    result["T3. Determinism"] = "PASS" if not t3 else "FAIL: " + "; ".join(t3)
    result["T4. Security"] = "PASS" if not t4 else "FAIL: " + "; ".join(t4)
    return result

def classify_and_size(skill_md: str, ref_count: int, script_count: int) -> tuple[str, str, int]:
    text = skill_md.lower()
    keyword_scores = {
        "Evidence Insight": count_keywords(text, ["literature search", "evidence synthesis", "critical appraisal"]),
        "Protocol Design": count_keywords(text, ["study design", "sample size", "clinical trial", "causal inference"]),
        "Data Analysis": count_keywords(text, ["data analysis", "bioinformatics", "regression", "visualization"]),
        "Academic Writing": count_keywords(text, ["manuscript", "abstract generation", "discussion writing"]),
    }
    category = max(keyword_scores, key=keyword_scores.get) if max(keyword_scores.values()) > 0 else "Other"
 
    has_scripts = script_count > 0
    has_api = any(k in text for k in ["fetch(", "requests.get", "curl", "api endpoint", "http"])
    has_cli = "```bash" in text and "python" in text
    if has_scripts and has_api:
        mode = "D (Hybrid)"
    elif has_scripts or has_cli:
        mode = "B (CLI/Script)"
    elif has_api:
        mode = "C (API)"
    else:
        mode = "A (Claude Direct)"
 
    complexity_score = 0
    complexity_score += 2 if ref_count >= 5 else int(ref_count >= 3)
    complexity_score += 2 if len(skill_md.splitlines()) >= 200 else int(len(skill_md.splitlines()) >= 100)
    complexity_score += int(script_count > 0)
    complexity_score += int(category != "Other")
    n_inputs = 7 if complexity_score >= 5 else 5 if complexity_score >= 2 else 3
    return category, mode, n_inputs

def final_release_decision(static_score: float, dynamic_scores: list[float], veto: dict[str, bool]) -> dict:
    # Veto Gate 1: T1--T4; Veto Gate 2: M1--M4 for research categories.
    failed = [name for name, passed in veto.items() if not passed]
    dynamic_avg = sum(dynamic_scores) / len(dynamic_scores)
    final_score = round(0.4 * static_score + 0.6 * dynamic_avg, 1)
 
    if failed:
        grade = "Reject"
        deployable = False
    elif final_score >= 85:
        grade = "Production Ready"
        deployable = True
    elif final_score >= 75:
        grade = "Limited Release"
        deployable = True
    elif final_score >= 60:
        grade = "Beta Only"
        deployable = False
    else:
        grade = "Reject"
        deployable = False
 
    return {
        "static_score": static_score,
        "dynamic_average": round(dynamic_avg, 1),
        "final_score": final_score,
        "veto_failures": failed,
        "grade": grade,
        "deployable": deployable,
    }

论文公式与 released code 实现差异：论文 Experiment 1 明确评估的是 skill-auditor@1.0，并在讨论中描述 v1.1.0 是事后基于诊断结果加入的 calibration；但当前 GitHub main@014e0b2f 的 skill-auditor/SKILL.md changelog 已包含 v1.1.0 — 2026-04-02 的 Scene Override，specialized_evaluation_data_analysis.md、specialized_evaluation_research_design.md 和 specialized_evaluation_other.md 都已经加入相关 override。因此笔记中的伪代码 / mapping 反映当前 released code，而论文主实验数字仍对应 v1.0；不能把 v1.1.0 当成已被同一实验验证的结果。另一个实现边界是：evaluate_skill.py 只覆盖 Steps 1–3，论文 Figure 1 的 Steps 4–8 在 released repo 中主要由 SKILL.md 和 references 指令驱动，不是一个端到端 Python 训练 / 评测脚本。

Code reference: main @ 014e0b2f (2026-05-22) — pseudocode and mapping based on this commit

Paper Concept	Source File	Key Class/Function
Structural Audit / Veto Gate 1	`skill-auditor/scripts/evaluate_skill.py`	`run_basic_veto()`
Static metadata extraction	`skill-auditor/scripts/evaluate_skill.py`	`extract_static_metadata()`
Category routing and execution mode	`skill-auditor/scripts/evaluate_skill.py`	`classify_skill()`
Complexity → number of test inputs	`skill-auditor/scripts/evaluate_skill.py`	`assess_complexity()`
End-to-end audit procedure Steps 1–8	`skill-auditor/SKILL.md`	`Audit Pipeline`, Step 1–8 instructions
Final score and release thresholds	`skill-auditor/SKILL.md`, `skill-auditor/references/scoring_rubric.md`	`Final Score = Static × 0.4 + Execution Avg × 0.6`; grade table
Research Veto Gate 2	`skill-auditor/references/scientific_veto.md`	M1–M4 redline table
Layer 2 category rubrics	`skill-auditor/references/specialized_evaluation_*.md`	Literature / Research Design / Data Analysis / Academic Writing / Other rubrics
v1.1.0 scene overrides	`skill-auditor/references/specialized_evaluation_data_analysis.md`, `skill-auditor/references/specialized_evaluation_research_design.md`, `skill-auditor/references/specialized_evaluation_other.md`	Fault Tolerance, Forgiveness, Recoverability, Execution Mode Awareness
Report schema	`skill-auditor/references/report_json_schema.md`	`meta`, per-input scores, final report fields

4. Experimental Setup (实验设置)

数据集 / evaluation corpus

论文构造了 75 个 medical research-related skills，每类 15 个，来自两个独立研究团队的四个连续开发周期；作者在每类内部随机抽样，以覆盖早期和成熟版本，而不是只挑优化后的 showcase corpus。

Category	n	Execution Mode A / B / D
Evidence Insight	15	2 / 12 / 1
Protocol Design	15	12 / 2 / 1
Data Analysis	15	0 / 14 / 1
Academic Writing	15	8 / 7 / 0
Other	15	0 / 7 / 8
Total	75	22 / 42 / 11

Mode A 表示 prompt-only / Claude Direct，Mode B 表示 CLI / script-based，Mode D 表示 hybrid script + API。每个 skill 还记录了 task complexity，复杂度由 reference file count、SKILL.md 长度和任务分支深度程序化确定。

Baselines / compared methods

严格来说，论文不是和另一个自动审计系统做 leaderboard 对比，而是做 reliability study。核心比较对象是两类：

Expert 1 vs. Expert 2：人类专家间一致性，作为自动系统可靠性的现实基线。
MedSkillAudit vs. Expert Consensus：系统输出与专家共识的分数 / disposition 一致性。

论文还在讨论中把 MedSkillAudit 与三类既有路线做概念区分：benchmark-based capability assessment（如 USMLE / expert QA）、agentic evaluation environments（如 MedAgentBench 类临床任务环境）、general-purpose code quality tools。它们评估“模型 / agent 能做什么”或“代码质量如何”，而不是评估 skill artifact 是否适合作为医疗研究 workflow 的可部署组件。

Evaluation metrics

Quality score：0–100 连续质量分；专家和系统都给分。
Release disposition：Production Ready / Limited Release / Beta Only / Reject 四级有序发布等级。
High-risk flag：Y / N / Unclear，标识 patient safety 或 scientific integrity 风险。
ICC(2,1)：two-way random effects、single measures、absolute agreement，用于连续分数一致性。
Linearly weighted Cohen’s $κ$ ：用于四级 ordinal disposition，一阶差异和多阶差异有不同惩罚。
Mean bias / score difference： $Δ = s_{sys} - s_{con}$ ，并用 Wilcoxon signed-rank test 检查方向性 bias。
Bland-Altman limits： $\overset{ˉ}{Δ} \pm 1.96 \cdot S D_{Δ}$ ，用于观察系统-专家共识差异的范围。

运行 / 训练配置

这篇论文没有训练模型，因此没有 GPU、learning rate、batch size 或 training steps。作者报告的分析环境是 Python 3.9，使用 pandas、pingouin、scipy、scikit-learn 完成统计分析。MedSkillAudit 本身作为 skill-auditor skill 运行：当前 released repo 的 Python 部分是 skill-auditor/scripts/evaluate_skill.py，负责结构预筛、元数据提取、类别路由和复杂度判断；实际多输入动态评测、Claude 输出审查、JSON / Markdown audit report 生成由 skill-auditor/SKILL.md 和 references/*.md 指令完成。论文未详细说明用于执行 Claude-driven evaluation 的底层模型版本、温度、硬件或并发配置。

5. Experimental Results (实验结果)

5.1 Baseline skill quality：大多数 skill 尚未达到 Limited Release

75 个 skill 的 consensus quality score 均值为 72.4，SD = 13.0，median = 73.2，IQR = 64.4–84.1，range = 40.0–90.8。按发布等级划分：Production Ready 17 个（22.7%），Limited Release 15 个（20.0%），Beta Only 31 个（41.3%），Reject 12 个（16.0%）。也就是说，57.3% 的 skill 低于 Limited Release 阈值，基线状态下多数 skill 不适合直接部署。

Figure 2 解读：左侧直方图显示质量分布集中在 Beta Only / Limited Release 附近，而非明显两极分化；右侧饼图说明 Beta Only 是 modal outcome。这支持论文的治理视角：很多 skill 不是完全不可用，而是需要 structured optimization 才能进入有限发布或生产发布。

5.2 Category-level quality：Protocol Design 最强，Academic Writing 最弱

按类别看，Protocol Design 均值最高且分布最窄：86.2 (3.8)，range 80.0–90.7。Academic Writing 均值最低：62.7 (7.2)，15 个中有 5 个 Reject。Data Analysis 方差最大：70.7 (15.3)，主要由依赖和运行时失败的子群造成。按执行模式看，Mode A prompt-only skills 平均 77.9 (12.9)，高于 Mode B 70.1 (13.0) 和 Mode D 70.2 (10.4)，说明脚本 / 依赖 / API 引入了额外失败面。

Figure 3 解读：Figure 3 左侧用均值和 95% CI 对比五个功能类别，右侧展示各类别的 disposition count。Protocol Design 不仅均值高，而且发布等级更集中在高等级；Academic Writing 则 Reject / Beta Only 比例更大，提示写作类 rubric 与专家判断之间存在结构性错配。

Figure 4 解读：Figure 4 把质量分按执行模式拆开。Mode A 平均分更高并不一定说明 prompt-only skill 天然更好，而是它少了依赖安装、脚本执行、API 兼容等运行时故障面。Mode B / D 分数较低，说明动态执行对于发现“文档看起来完整但实际不可运行”的 skill 尤其重要。

Category	n	Mean (SD)	Median	IQR	Adj. Rate
Evidence Insight	15	71.0 (14.7)	73.2	63.2–83.3	60.0%
Protocol Design	15	86.2 (3.8)	86.6	83.8–89.4	6.7%
Data Analysis	15	70.7 (15.3)	71.0	63.6–86.9	66.7%
Academic Writing	15	62.7 (7.2)	64.3	56.6–67.7	100.0%
Other	15	71.5 (7.8)	74.2	67.0–76.9	86.7%
Overall	75	72.4 (13.0)	73.2	64.4–84.1	64.0%

5.3 Optimization flags 和 reject cases

按照预设优化条件，56/75 个 skill（74.7%）至少触发一个优化需求。12 个 skill 的 consensus disposition 为 Reject，mean score = 52.0 (6.2)，range = 40.0–59.6；其中 8 个还带 high-risk flag（Y 或 Unclear），所有 12 个都需要 adjudication。另有 9 个 skill 是 Beta Only 且 score $< 65$ ，mean = 63.4 (2.5)。24 个 skill 带 high-risk flag（Y 或 Unclear），分布于五类但集中在 Data Analysis（n=9）和 Evidence Insight（n=7）。

代表性 Reject cases 显示 veto 的必要性：S009 把 mock data 当成真实 API 结果（M1/M4 FAIL，score 40.0）；S031 使用错误 API 且物种注释不匹配（M3/M4 FAIL，45.3）；S043 声称有功能但 scripts 目录为空、函数未实现（T2/M4 FAIL，47.5）；S039 因关键依赖冲突无法安装（T1 FAIL，50.4）；S057 因输出不可复现触发 Result Determinism FAIL（T3 FAIL，57.6）。这些失败如果只看 high-level description，很容易被漏掉。

5.4 Agreement：系统与专家共识的分歧不大于专家之间分歧

人类专家间基线：Expert 1 vs. Expert 2 的 ICC(2,1) = 0.300，95% CI = 0.080–0.490，n = 74 complete pairs；weighted $κ = 0.270$ 。平均绝对分差 13.8，SD = 12.4，median = 9.0，maximum = 50.6。Exact rank agreement 为 28/75（37.3%），within-one-rank agreement 为 56/75（74.7%）。这说明复杂 multi-capability skill 的人工审查本身就有较高主观性。

系统对专家共识：system mean score = 71.0 (15.2)，consensus mean = 72.4 (13.0)；平均 $Δ = - 1.4$ ，SD = 14.8，range = -42.7 到 +28.6；Wilcoxon W = 1258，p = 0.613，未见显著方向性 bias。ICC(2,1) = 0.449，95% CI = 0.250–0.610，高于人类专家间 ICC = 0.300；weighted $κ = 0.215$ 。系统与 consensus 的 exact rank agreement 是 22/75（29.3%），within-one-rank agreement 是 62/75（82.7%），后者高于人类的 74.7%。

Figure 5 解读：Figure 5 展示系统分数减去专家共识分数的分布，均值偏差为 -1.4，接近 0。负值表示系统比专家更严格，正值表示系统给分更高。分布不是完全无尾：大负值多来自 veto 触发后的分数坍缩，大正值则多来自系统奖励结构完整但专家认为逻辑浅或覆盖不足的 skill。

Figure 6 解读：Bland-Altman 图给出 limits of agreement：-29.0 到 +26.2。它说明系统总体没有固定方向偏差，但存在两类可解释离群：一类是 veto-driven collapse，即系统因为硬门槛直接打到 Reject，而专家在受控条件下给较高分；另一类是 system overscoring，即系统看重结构完整，专家更惩罚浅层逻辑或用例覆盖不足。

Figure 7 解读：两个 confusion matrix 对比了人类专家之间和系统-共识之间的等级一致性。系统 exact agreement 低于人类（29.3% vs. 37.3%），但 within-one-rank agreement 更高（82.7% vs. 74.7%）。这说明系统不一定精确复现专家最终等级，但大多数情况下不会偏离超过一个发布等级，适合 first-pass screening 而不是替代最终人工决策。

Comparison	n	Mean Bias	SD (diff)	ICC(2,1) [95% CI]	Weighted $κ$	Wilcoxon p
Expert 1 vs. Expert 2	74	—	12.4	0.300 [0.080, 0.490]	0.270	—
System vs. Consensus	75	-1.4	9.5	0.449 [0.250, 0.610]	0.215	0.613

5.5 Stratified agreement：Category mismatch 是可诊断的 calibration 信号

分类别看，Evidence Insight 和 Data Analysis 的 ICC 最高，分别是 0.551 和 0.506，说明这些任务中系统和专家有中等一致性。Protocol Design 的 ICC 较低（0.232），且存在显著负 bias：mean $Δ = - 6.1$ ，Wilcoxon p = 0.033，作者认为这是系统把 prompt-only protocol generation tools 的 Operational Stability 风险判得过严。Academic Writing 最特殊：ICC = -0.567，95% CI = -0.890 到 -0.040，weighted $κ = - 0.308$ ，代表系统和专家在该类内部近似反向移动。

Figure 8 解读：Figure 8 把每类的 ICC 和 weighted $κ$ 可视化。Evidence Insight / Data Analysis 的正 ICC 说明 MedSkillAudit 在更技术 / 证据导向的类别里更接近专家；Academic Writing 的负 ICC 则不是随机噪声，而是 rubric 衡量对象与专家衡量对象错位：系统惩罚模板化段落结构、标准 scientific hedging 和长输出，专家却可能把这些视为专业写作的必要特征。

Figure 9 解读：Figure 9 展示各类别平均 system-consensus bias。Protocol Design 的负 bias 有统计显著性，提示 v1.0 的 Operational Stability / prompt-only 解释方式需要校准。作者据此在 v1.1.0 中加入 Category 2 / 3 的 scene override，并在 Category 5 中加入 execution-mode awareness；但 Category 4 Academic Writing 的 override 还没有实现，需要后续 v1.2.0 验证。

Category	n	Mean Bias ( $Δ$ )	SD	ICC(2,1) [95% CI]	Weighted $κ$	Wilcoxon p
Evidence Insight	15	-1.5	15.5	0.551 [0.060, 0.820]	0.174	1.000
Protocol Design	15	-6.1	12.6	0.232 [-0.210, 0.630]	0.194	0.033
Data Analysis	15	+1.1	13.9	0.506 [-0.010, 0.800]	0.198	0.851
Academic Writing	15	+3.1	16.4	-0.567 [-0.890, -0.040]	-0.308	0.489
Other	15	-3.5	15.7	0.353 [-0.170, 0.720]	0.126	0.561

5.6 Ablation-like findings、限制与结论

论文没有做传统 ablation（例如移除某模块重新跑完整实验），但讨论部分给出了机制层面的证据：12 个 Reject 中有 7 个由 Structural 或 Research hard gate 触发，另外 5 个由动态评分低于 60 触发；Research Veto 的 Code Usability gate 识别出 6 个“文档完整但代码不可用”的 skill；对 53 个 script-based / hybrid skills，动态执行能发现静态 SKILL.md 审查看不到的库版本、依赖安装和函数存在性问题。作者还指出 dynamic score 与 consensus 在 Evidence Insight、Data Analysis、Protocol Design 三个技术类别中的相关性强于 static score，这支持 40/60 权重设计，但论文未给出该相关性的完整数值表。

主要限制有四个：第一，75 个 skill 只够做初步 reliability study，分层分析每类 n=15，ICC 置信区间较宽；第二，人类专家没有预先做 calibration session，导致 human ICC 只有 0.300、adjudication rate 64.0%，Academic Writing 更是 100.0%；第三，40% static / 60% dynamic 的固定权重不适合所有 execution mode，Mode A prompt-only skill 的动态评估本质上是在评估运行中的 Claude agent，而非固定代码 artifact；第四，Academic Writing 的 rubric 还缺少类似 Category 2 / 3 的 scene override，导致 v1.0 中出现负 ICC。

总体结论是：MedSkillAudit 证明了领域专用、上线前 skill audit 可以达到不低于人类专家间基线的分歧幅度，并能把 catastrophic failures、borderline deployability 和可优化问题分开治理。它不应被理解为替代专家的最终医学判断，而更适合作为 skill library 的 first-pass governance layer：先自动筛出硬性不可部署 skill，给出结构化证据和修改建议，再由人类对高风险或边界案例做复核。

Paper Notes

探索

MedSkillAudit: A Domain-Specific Audit Framework for Medical Research Agent Skills

MedSkillAudit: A Domain-Specific Audit Framework for Medical Research Agent Skills

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 Overall framework：两级 veto + 静态 / 动态混合评分

3.2 Structural Audit (Veto Gate 1)

3.3 Domain-Specific Research Audit (Veto Gate 2)

3.4 Scoring：静态 40%、动态 60%、veto 覆盖数值分

3.5 Expert consensus 与 agreement metrics

3.6 Released code 对应的实现流程伪代码

4. Experimental Setup (实验设置)

数据集 / evaluation corpus

Baselines / compared methods

Evaluation metrics

运行 / 训练配置

5. Experimental Results (实验结果)

5.1 Baseline skill quality：大多数 skill 尚未达到 Limited Release

5.2 Category-level quality：Protocol Design 最强，Academic Writing 最弱

5.3 Optimization flags 和 reject cases

5.4 Agreement：系统与专家共识的分歧不大于专家之间分歧

5.5 Stratified agreement：Category mismatch 是可诊断的 calibration 信号

5.6 Ablation-like findings、限制与结论

目录