AgentSocialBench: Evaluating Privacy Risks in Human-Centered Agentic Social Networks

Paper: arXiv:2604.01487 Code: kingofspace0wzz/agentsocialbench Code reference: main @ 86f93b4c (2026-04-17)

1. Motivation (研究动机)

这篇论文关注的是 human-centered agentic social networks:每个真人用户不再只有一个聊天机器人,而是有一组 domain-specialized agents(health / finance / social / schedule / professional / lifestyle 等)在一个共享社交平台里代表用户协作。论文的基本判断是:这种系统会把传统 multi-agent coordination 和 contextual privacy 两个问题叠在一起,隐私风险不再是“单个 agent 是否泄露用户资料”,而是“多个 agent 在跨 domain、跨 user、跨社交关系的协调过程中,信息是否沿着错误的边流动”。

现有 benchmark 没覆盖这个设置。MultiAgentBench 主要评估任务完成和协作质量;MAGPIE 评估 contextual privacy,但更像 single-domain、one-shot negotiation;MAMA 研究 topology 对 PII extraction 的影响,但视角偏 adversarial extraction;AgentLeak 等也没有同时覆盖 cross-domain、agent mediation、cross-user、multi-party 和 directed social graph。AgentSocialBench 在 Table 1 中强调:只有它同时具备 Multi-Agent、Cross-Domain、Agent Mediation、Cross-User、Multi-Party、Social Graph 六个维度。

Figure 1 解读:左侧把任务环境拆成 intra-team coordination、agent mediation、cross-user coordination;中间强调这些 agents 服务的是 human-centered social network,而不是 agent-only toy network;右侧评价目标同时看 privacy leakage rate 和 task quality / completion rate。这张图的重点是:benchmark 不是单纯攻击测试,而是在“协作要成功”和“隐私不能越界”的张力中测量 agent 行为。

论文要解决的具体问题是:当前 LLM agents 在需要共享部分信息才能完成任务时,是否能遵守 domain boundary、user boundary、mediation boundary 和 affinity-modulated boundary?这个问题值得研究,因为真实 agent 社交平台一旦连接 messaging、calendar、social media、health/finance records,隐私失败往往不是显式“泄密”,而是多个看似合理的协调消息组合后让敏感信息可推断。

2. Idea (核心思想)

核心 insight:隐私风险应被建模为 socially contextual information flow,而不是单条消息里有没有 PII 字符串。AgentSocialBench 因此把用户 profile、domain-specialized agents、directed social graph、recipient-specific sharing rules 和 task success criteria 绑定在同一个 scenario 中,让 evaluator 判断“某个 private item 对某个 recipient 是否越界”。

关键创新有三点:第一,用 352 个 human-expert-annotated scenarios 覆盖 7 类 dyadic / multi-party interaction;第二,用 hierarchical sensitivity labels 与 acceptable abstraction,把“完全泄露 / 部分泄露 / 合理抽象”区分开;第三,用 L0/L1/L2 prompt intervention ladder 研究 prompt-based privacy defense 是否真的降低泄露。和 MAGPIE 这类 contextual privacy benchmark 的根本差异是:这里的泄露不是只发生在一次 negotiation 内,而是发生在一个有 domain-specialized agents、social graph、affinity tier 和多轮任务目标的网络里。

论文最反直觉的发现是 abstraction paradox:教 agent 如何使用 privacy-preserving abstraction 会提高 IAS,但也可能让 agent 开始谈论本来在 L0 会保持沉默的敏感主题,于是 full leakage 下降、partial leakage 上升,aggregate leakage 反而在 mediated / cross-user / multi-party 中增加。

3. Method (方法)

3.1 Human-centered agentic social network formalization

论文把网络形式化为 directed social graph ,其中 是用户集合,边 带有 relationship context 和 affinity tier。每个用户 由一组 domain-specialized agents 服务: 每个 agent 持有用户在 domain 下的 profile slice ,用户完整 private profile 是: 隐私约束不是统一的 blacklist,而是四类 boundary:

  • Domain boundaries:敏感度 (论文设 ,scale 1–5)的 domain 信息不能被其他 domain agent 原样输出,只能以最小必要 abstraction 形式表达。
  • User boundaries:用户 的信息不能越权披露给另一个用户 的 agents。
  • Mediation boundaries:agent 作为人际沟通中介时,即使某信息有助于任务,也不能超过用户授权范围。
  • Affinity-modulated boundaries:directed edge 的 affinity tier 决定 per-recipient sharing rule,且 可以不对称。

直觉上,这个 benchmark 难在“信息最小化”而不是“绝对不说”。很多任务确实需要表达约束:例如不能说用户在化疗,但可能需要说“更适合轻量活动”;不能说具体债务金额,但可能需要说“预算偏紧”。因此 evaluator 必须同时看 raw leakage、acceptable abstraction 和 task completion,否则模型可以通过完全沉默获得低泄漏但任务失败。

3.2 Scenario construction: profile, task, boundary, success criteria

每个 scenario 都基于 synthetic user profile,覆盖六个 domain:Health、Finance、Social、Schedule、Professional、Lifestyle。profile attribute 附带 1–5 sensitivity label,例如 medical conditions / medications、income / debt、relationship dynamics、recurring appointments、job evaluations、dietary preferences 等。multi-party scenarios 额外包含 directed social graph 和 asymmetric affinity tiers。

Figure 2 解读:左上展示一个带 sensitivity label 的 Alice profile;中间展示 scenario specification,明确 task、must-not-cross privacy boundaries 和七种 interaction topology;右侧对比 privacy-preserving response 与 leaking response。例子里“lighter fare / reasonable prix fixe”是任务可用的抽象表达,而“because she is on chemo treatment recently”直接暴露 diagnosis,属于 full leakage。

七类 scenario 规模如下:CD 100、MC 100、CU 50、GC 28、HS 23、CM 23、AM 28,总计 352:

CategoryN目标隐私动态
Cross-Domain (CD)100同一用户的不同 domain agents 跨 domain 协作
Mediated Communication (MC)100agent 替用户和另一个 human 沟通
Cross-User (CU)50不同用户的 agents 通过 A2A-style protocol 协调
Group Chat (GC)283–6 个用户 agents 在 shared group chat 里协作
Hub-and-Spoke (HS)23coordinator 汇总多方信息,可能造成 cross-contamination
Competitive (CM)23agents 在竞争压力下可能自泄露或诱导对方泄露
Affinity-Modulated (AM)28per-recipient affinity tier 决定可分享粒度

3.3 Privacy instruction ladder and defenses

主实验用三个 representative privacy levels:

LevelMode含义
L0Unconstrained无 privacy guidance,agents 只能依靠社会常识判断边界
L1Explicit注入 hard privacy rules 与 acceptable abstractions
L2Full Defense在 L1 上叠加 DBP、IAT、MIP 三个 prompt-based defenses

三个 defense 的作用分别是:

  • Domain Boundary Prompting (DBP):用 sensitivity threshold 和 domain flow rules 明确哪些信息不能跨 domain 原样分享。
  • Information Abstraction Templates (IAT):提供 raw sensitive fact 到 acceptable abstraction 的映射,例如 diagnosis → “has some health considerations”。
  • Minimal Information Principle (MIP):要求 agent 发送任何信息前检查:是否必要、是否最小、是否会和其他信息组合后暴露隐私。

论文公式与 released code 实现差异:论文主文把 L0/L1/L2 映射为 Unconstrained / Explicit / Full Defense,并说明 appendix 有五个 levels;released code 的 prism/scripts/simulate.pyprism/analysis/loader.py 保留更细的 privacy_mode 枚举:unconstrainedimplicitexplicitenhancedfull_defensezdd,其中 display mapping 是 L0/L1/L2/L3/L4/ZDD;CLI 默认值还是 implicit。所以 note 中的主结果按论文的三档解释,但复现实验时要显式传 --privacy-mode unconstrained|explicit|full_defense,不能依赖 CLI default。

3.4 Evaluation metrics and formulas

Evaluator 是 LLM-as-judge,读取 conversation history、privacy boundary、scenario success criteria,并输出 per-item evidence。每个 private item 被分类为 nonepartialfull。单 scenario leakage rate 定义为: 不同 category 使用不同聚合变体:CDLR、MLR、CULR、MPLR、HALR、CSLR/CER、ACS。Appendix J 给出更细定义,例如 multi-party leakage surface 是 private item 与 recipient pair 的组合: IAS 衡量 cross-boundary communication 中是否把敏感信息抽象到 acceptable form: TCQ 是 0、0.25、0.5、0.75、1.0 五档 task completion quality;行为标注还包括 oversharing、cross-referencing、implicit disclosure、unnecessary context,以及 appropriate abstraction、minimal disclosure、deflection、boundary maintenance。CU 额外评估 reciprocal probing、constraint over-specification、implicit quid pro quo、symmetric restraint、graceful non-answer、boundary negotiation。

3.5 Released-code pipeline and pseudocode

Code reference: main @ 86f93b4c (2026-04-17) — pseudocode and mapping based on this commit

代码仓库把论文 pipeline 实现为 Generate → Simulate → Evaluate → Analyze。README 示例命令对应 prism.scripts.generateprism.scripts.simulateprism.scripts.evaluateprism.analysis.generate_all

def run_agentsocialbench_pipeline(category, scenario_count, agent_llm, privacy_mode, evaluator_llm):
    scenarios = generate_scenarios(
        category=category,
        count=scenario_count,
        llm=agent_llm,
    )
    simulations = []
    for scenario in scenarios:
        if scenario.category in {"multi_party_group", "hub_and_spoke", "competitive", "affinity_modulated"}:
            engine = GraphSimulation(llm_type=agent_llm, privacy_mode=privacy_mode)
        else:
            engine = PRISMSimulation(llm_type=agent_llm, privacy_mode=privacy_mode)
        engine.load_scenario(scenario.path)
        engine.run()
        simulations.append(engine.save(output_dir="prism/simulations"))
 
    eval_rows = []
    for simulation in simulations:
        eval_rows.append(evaluate_privacy_abstraction_task_behavior(
            simulation=simulation,
            scenario=scenario,
            llm=evaluator_llm,
        ))
    return generate_tables_and_figures(eval_rows)

Dyadic categories 使用 PRISMSimulation。它初始化 domain agents、human simulators、conversation log;每一轮让 agent 读取 log.get_visible_to(agent.name) 后决定 action;CD 中有 pin_user consensus / delivery phase,CU 中通过 TeamCoordinator 判断是否可以把 message deliver 给 user,MC 中包含 human-agent mediation。

def simulate_dyadic_scenario(scenario, llm_type, model, privacy_mode, max_rounds):
    sim = PRISMSimulation(llm_type=llm_type, model=model,
                          privacy_mode=privacy_mode, max_rounds=max_rounds)
    sim.load_scenario(scenario)
    sim.initialize_participants()
    for round_num in range(1, max_rounds + 1):
        if sim.category == "cross_domain":
            for agent in sim.agents:
                action = agent.decide_action(sim.log, others=sim.other_agents(agent),
                                             task_info=sim.task_info, round_num=round_num)
                sim.apply_agent_action(agent, action)
            if all_agents_pinned_user(sim.log):
                sim.run_delivery_phase()
                break
        elif sim.category == "mediated_comm":
            sim.run_human_agent_mediation_round(round_num)
        elif sim.category == "cross_user":
            sim.run_a2a_round_with_team_coordinator(round_num)
        if sim.no_activity_or_consensus():
            break
    return sim.save(output_dir="prism/simulations")

Multi-party categories 使用 GraphSimulationGraphAgent。它从 scenario 中构造 directed social graph、agents、user entities;每轮按照 _get_turn_order() 轮转,agent 可以 group broadcast 或 direct message;只看到自己可见的 messages;termination 可以是 consensus 或 round limit。

def simulate_graph_scenario(scenario, llm_type, model, privacy_mode, protocol):
    sim = GraphSimulation(llm_type=llm_type, model=model,
                          privacy_mode=privacy_mode, max_rounds=protocol.max_rounds)
    sim.load_scenario(scenario)
    done = set()
    for round_num in range(1, protocol.max_rounds + 1):
        for agent_name in sim._get_turn_order(round_num):
            agent = sim.agents[agent_name]
            visible_context = sim.log.get_visible_to(agent_name)
            action = agent.decide_action(sim.log, sim.task, sim.available_recipients(agent_name), round_num)
            if action["action"] in {"send_message", "signal_done"}:
                recipients = sim._normalize_recipients(action.get("recipients", []))
                agent.send_message(recipients, action["content"], sim.log, round_num)
                if "[TASK_DONE]" in action["content"]:
                    done.add(agent_name)
        if sim.user_simulators:
            sim._run_user_simulators(round_num)
        if protocol.termination == "consensus" and len(done) >= len(sim.agents):
            break
    return sim._build_output()

Evaluation 代码按 category 选择 judge prompt:privacy.py 覆盖 CD/MC/CU,privacy_extended.py 覆盖 multi-party variants;abstraction.py 计算 IAS;task_completion.py 计算 TCQ;behavior.py 标注行为模式。

def evaluate_conversation(simulation, scenario, evaluator_llm):
    conversation = format_conversation(simulation["messages"])
    if scenario.category in {"multi_party_group", "hub_and_spoke", "competitive", "affinity_modulated"}:
        privacy = evaluate_privacy_extended(conversation, scenario, evaluator_llm)
    else:
        privacy = evaluate_privacy(conversation, scenario.must_not_cross, evaluator_llm)
    abstraction = evaluate_abstraction(conversation, scenario.acceptable_abstractions, evaluator_llm)
    task = evaluate_task_completion(conversation, scenario.success_criteria, evaluator_llm)
    behavior = evaluate_behavior(conversation, scenario.must_not_cross, evaluator_llm)
    return merge_scores(privacy, abstraction, task, behavior)
Paper ConceptSource FileKey Class/Function
Generate → Simulate → Evaluate → Analyze pipelineREADME.md, prism/scripts/generate.py, prism/scripts/simulate.py, prism/scripts/evaluate.py, prism/analysis/generate_all.pyCLI workflow and batch orchestration
Dyadic simulation (CD/MC/CU)prism/simulation/simulation.pyPRISMSimulation
Domain-specialized agent prompt/memory/actionprism/simulation/agents.pySocialAgent.get_system_prompt, SocialAgent.decide_action, TeamCoordinator.evaluate
Multi-party graph simulation (GC/HS/CM/AM)prism/simulation/graph_simulation.py, prism/simulation/social_graph.pyGraphSimulation, GraphAgent, SocialGraph
Privacy instruction modesprism/simulation/prompts/*.yaml, prism/defenses/*.yamlunconstrained, implicit, explicit, enhanced, full_defense, zdd; DBP/IAT/MIP/ZDD prompts
LLM interface and experiment model namesprism/core/llm.py, prism/analysis/loader.pygenerate, resolve_model, MODEL_DISPLAY, PRIVACY_MODE_DISPLAY
Privacy / IAS / TCQ / behavior judgingprism/evaluation/privacy.py, prism/evaluation/privacy_extended.py, prism/evaluation/abstraction.py, prism/evaluation/task_completion.py, prism/evaluation/behavior.pyevaluate_privacy*, evaluate_abstraction, evaluate_task_completion, behavior judge prompts
Main result tables and plotsprism/analysis/table_main.py, table_defense.py, plot_privacy_mode*.py, plot_category.py, plot_domain_heatmap.pypaper tables/figures generation

4. Experimental Setup (实验设置)

Datasets / scenarios:AgentSocialBench 使用 352 个 scenarios,覆盖 CD 100、MC 100、CU 50、GC 28、HS 23、CM 23、AM 28;每个 scenario 有 synthetic user profiles、sensitivity labels、must-not-cross boundaries、acceptable abstractions、task success criteria。代码仓库还提供 prism/data/profiles/ 下 80 个 profile JSON 和各类 sample / scenario JSON artifact。

Compared models / baselines:实验比较 8 个 LLM backbones:DeepSeek V3.2、Qwen3-235B、Kimi K2.5、MiniMax M2.1、GPT-5 Mini、Claude Haiku 4.5、Claude Sonnet 4.5、Claude Sonnet 4.6。Table 1 的 benchmark-scope 对比对象是 ConfAIde、PrivLM-Bench、MAGPIE、MAMA、AgentLeak,但主性能表不是和这些方法直接跑同一任务,而是在 AgentSocialBench 上比较模型和 privacy instruction levels。

Evaluation metrics:隐私指标包括 CDLR、MLR、CULR、MPLR、HALR、CSLR/CER、ACS;utility 指标包括 IAS、TCQ、Task%。95% CI 用 per-scenario scores bootstrap 1,000 次;显著性用 scenario-level paired bootstrap test 10,000 iterations。

Simulation config / hyperparameters:论文未训练新模型,因此没有 LR、batch size、GPU 硬件等训练配置。仿真配置为:每个 scenario 在多个 privacy instruction levels 和 8 个 model backbones 上运行;主文展示 L0/L1/L2,appendix/code 保留五档加 ZDD;最大轮数为 CD/MC/CU 10、GC/AM 15、HS/CM 12;agent LLM temperature 0.7;human simulator temperature 0.8;Claude Opus 4.6 作为所有维度 evaluator;dyadic scenarios 由 GPT-5.2 生成,multi-party scenarios 由 Claude Opus 4.6 生成。

5. Experimental Results (实验结果)

5.1 Main L0 results: cross-domain leakage is hardest

Table 2 主结果(L0 unconstrained,95% CI)显示,CDLR 明显高于 MC/CU 等 dyadic 指标:

ModelCDLR↓MLR↓CULR↓MPLR↓HALR↓CSLR↓ACS↑IAS↑TCQ↑Task%↑
DeepSeek V3.20.51±0.050.21±0.040.19±0.030.22±0.030.14±0.060.10±0.041.00±0.000.76±0.020.77±0.0283.6±3.8
Qwen3-235B0.49±0.050.26±0.040.14±0.030.22±0.040.06±0.050.08±0.041.00±0.000.75±0.030.73±0.0274.9±4.4
Kimi K2.50.67±0.050.30±0.040.29±0.040.30±0.040.12±0.060.09±0.041.00±0.000.69±0.020.86±0.0193.3±2.4
MiniMax M2.10.62±0.050.25±0.040.17±0.030.20±0.030.20±0.100.10±0.040.99±0.010.75±0.020.77±0.0280.8±4.1
GPT-5 Mini0.40±0.050.23±0.040.16±0.030.18±0.030.11±0.060.09±0.041.00±0.000.75±0.030.69±0.0468.2±8.0
Claude Haiku 4.50.57±0.050.27±0.040.19±0.040.24±0.030.15±0.070.09±0.040.99±0.010.75±0.030.73±0.0369.6±5.6
Claude Sonnet 4.50.52±0.050.24±0.040.19±0.030.16±0.030.10±0.070.08±0.041.00±0.000.79±0.020.83±0.0287.4±3.4
Claude Sonnet 4.60.50±0.050.21±0.040.19±0.040.18±0.030.10±0.040.08±0.041.00±0.000.85±0.020.87±0.0194.1±2.6

结论不是“越强的模型越安全”。Claude Sonnet 4.6 有最高 IAS 0.85、TCQ 0.87、Task 94.1%,但 CDLR 仍有 0.50;GPT-5 Mini CDLR 最低 0.40,却 TCQ 0.69、Task 68.2% 最低。说明隐私和效用是多目标 trade-off,而不是单模型能力排序。

5.2 Privacy instructions and abstraction paradox

Figure 3 解读:上排 dyadic、下排 multi-party。每个点是一个模型在对应 privacy level 下的平均 leakage / IAS / Task Completion。显著现象是 IAS 随 L1/L2 明显上升,但 leakage 并不总下降;multi-party 中多数模型的 leakage 随更强 defense 上升,说明 abstraction templates 创造了新的 partial-disclosure 表达面。

Table 3 的 aggregate 数字如下:

Privacy LevelDyadic Leak↓Dyadic IAS↑Dyadic TCQ↑Dyadic Task%↑Multi-party Leak↓Multi-party IAS↑Multi-party TCQ↑Multi-party Task%↑
L0: Unconstrained0.360.760.7981.80.110.760.8086.6
L1: Explicit0.330.910.7881.00.130.890.7886.4
L2: Full Defense0.320.920.7779.50.130.890.8088.1
Δ L0→L2-0.04+0.16-0.01-2.3+0.01+0.13+0.01+1.5

Figure 5 解读:按 Cross-Domain、Mediated Comm.、Cross-User 分开看,Cross-Domain leakage 从 L0 到 L2 整体下降;Mediated Comm. 和 Cross-User 反而出现上升。论文解释是:CD 的 baseline leakage 高,defense 修复的 full leakage 多于新引入的 partial leakage;MC/CU baseline 已经更保守,模板反而让 agent 有了“可以谈一点”的语言。

Figure 7 解读:这是 Figure 5 的 full version,额外加入 TCQ 行。它支持论文的 utility 结论:prompt defense 主要改变 leakage/IAS,不造成明显 task quality collapse;也说明如果只看 TCQ/Task%,会误以为防御没有副作用,实际上副作用在 partial leakage surface 上。

5.3 Multi-party social dynamics and domain-pair risk

Figure 6 解读:不同 source→target domain pair 的泄漏风险差别很大。高风险组合包括 lifestyle→finance、finance→schedule、health→finance、health→social 等,因为这些 domain 的敏感事实和协调任务天然纠缠;低风险组合如 social→schedule 更容易只传递 availability / logistics,不暴露背后的私密原因。

Figure 8 解读:dyadic categories 中 Cross-Domain 的 leakage bar 明显高于 Cross-User 和 Mediated Comm.,但 TCQ 不一定最低。这说明最危险的不是“两个用户互相说话”,而是同一用户内部的 specialized agents 因为要完成任务而跨 domain 共享上下文。

Figure 9 解读:multi-party categories 不是简单地“参与者越多越泄露”。Group Chat 的 leakage 与 mediated communication 接近;Hub-and-Spoke 的 coordinator 是 cross-contamination bottleneck,模型方差大;Competitive 中 self-leakage 较低,因为竞争压力让 agents 更谨慎;Affinity-Modulated 几乎零泄露,ACS 也接近完美,说明模型对显式 tier rule 的遵循强于对隐式 social norm 的推断。

5.4 Behavioral analysis: defenses shift explicit leakage into implicit leakage

Figure 4 解读:L2 相比 L0 明显降低 oversharing 和 cross-referencing,并把 appropriate abstraction 推到几乎 100%;但 implicit disclosure 仍高。例如 Claude Sonnet 4.6 的 oversharing 从 49 降到 35,cross-referencing 从 17 降到 11,但 implicit disclosure 维持 77;DeepSeek V3.2 的 oversharing 从 61 降到 37,minimal disclosure 从 79 升到 97。防御没有消除信息流风险,而是把显式泄露重塑为更抽象、更隐含、但仍可推断的泄露。

5.5 Limitations and future work

作者在 Appendix K Future Work 中明确指出 prompt-based defenses 有基本限制:abstraction paradox 表明 substitutive defense 可能扩大 partial-disclosure surface。未来需要 architectural privacy mechanisms,例如 agent framework 级 information-flow control、learned privacy policies、message delivery 前的 formal verification。其他限制包括:当前 benchmark 主要是 synthetic scenarios,未来需要真实 deployment traces;当前是 single-session evaluation,未覆盖 agents 跨 session 累积记忆后的 aggregation risk;还需要 human-in-the-loop 和跨文化隐私规范评估,检验 LLM judge 与真人 judge 的分歧。