Project Sid: Many-agent simulations toward AI civilization

Paper: arXiv:2411.00114 Project/report repo: altera-al/project-sid — 仅包含 technical report PDF / README / visual abstract；代码搜索未找到开源实现。

1. Motivation (研究动机)

Figure 1 解读：论文把问题链条从单个 agent architecture 推到 agent society / civilization：先让单体 agent 在 Minecraft 里持续行动，再让几十个 agent 在村庄里形成关系、角色与规则，最后扩展到 500-agent 多城镇世界，观察文化 meme 与宗教传播。这张图的重点不是展示一个新环境，而是说明作者想把 agent benchmark 从“完成单个任务”推到“能否长期共存、协作、产生社会结构”。

这篇 technical report 的核心动机是：现有 LLM-powered agents 通常在单体任务、小规模群组或短时交互中评测，离“可与人类社会共存的 autonomous + collaborative agents”还很远。作者把 civilization 定义为具有较高 institutional development 的 advanced society，其表现包括 specialized roles、organized governance，以及 science / art / commerce 等方向的进展。因此，真正有用的 agent benchmark 不应只问“是否会调用工具”或“是否完成一个子任务”，还应问：大量 agents 在同一个世界里长期互动时，是否会稳定地进步、分工、遵守与修改规则、传播文化。

Figure 2 解读：作者把失败模式概括成 data degradation：单次 LLM hallucination 会进入后续 prompt，单个 agent 的错误 belief 会污染长期 memory / plan；在多 agent 场景里，错误还会通过聊天传播给其他 agents。右侧群体退化尤其关键：如果 Abby 说“我会给你 pickaxe”，但她的 action module 实际选择 explore，Bob 之后会基于错误沟通继续计划，群体就会进入连锁误解。

现有方法的主要瓶颈有三类。第一，single agents 往往不能长期进步：即便有 planning / reflection / memory，也会因为 hallucination、repetitive action loop 或错误 state grounding 而停滞；论文举的直观例子是，虚拟村民被问“你在吃什么”时可能回答“bagel”，虽然它并没有食物，这个 hallucinated state 会继续污染后续行为。第二，groups of agents 也不自然进步：多输出流之间不一致时，说话、行动、表情或 gaze 等输出会互相冲突；在当前 sequential workflow 或单模态输出场景里不明显，但在 embodied multi-agent world 中会快速放大。第三，缺少可扩展的 civilizational benchmark：过去较大的 agent society 常见规模约 25–50 agents，远未达到一个文明所需的 500–1000+ agents、多社会、多制度、多文化传播的规模。

本文要解决的具体问题是：如何构建一个 agent architecture，使单体 agent 能在 Minecraft 中长时保持 grounded progress，同时让 50–100 agents 的 society、500-agent 多 society simulation 产生可测量的社会结构。这个问题值得研究，因为如果 agent 未来要和人类组织一起工作，仅有 autonomy 不够，还需要在同一制度、资源与沟通环境中形成协作、信任、治理和文化传播；这些能力无法通过 isolated benchmark 充分测出。

2. Idea (核心思想)

本文的核心 insight 是：大规模 agent civilization 的瓶颈不只是 LLM 能力，而是“并发认知 + 信息瓶颈 + coherent action broadcasting”的架构问题。PIANO 让多个 cognitive / social / motor modules 并发运行，但又让 Cognitive Controller 通过 bottleneck 统一做高层决策，再广播给 talking / skill execution 等输出模块，从而同时保留实时性与跨输出一致性。

关键创新可以压缩为三点：第一，用 PIANO (Parallel Information Aggregation via Neural Orchestration) 替代单线程 Agent Workflow，使 slow planning / reflection 不阻塞 fast reaction；第二，把 social awareness、action awareness、goal generation 等模块作为可 ablate 的社会能力来源，而不是把“agent 社会性”完全交给一个大 prompt；第三，把评测从单体 item acquisition 扩展到 civilizational progression，包括 specialization、collective rules、cultural memes 和 religion propagation。

和 Voyager / AutoGPT-style sequential agents 相比，本文的根本差别在于它不把 agent 看成“按顺序执行 prompt chain 的任务求解器”，而把它看成一个在共享 Agent State 上并发运行的 multi-module system。和 Generative Agents / Smallville 式 25-agent town simulation 相比，本文更强调可扩展性与可量化社会指标：它不仅观察 narrative behaviors，还在 Minecraft 中跑 25、30、49、50、500 agents，并报告 item count、relationship regression slope、tax paid、role entropy 等指标。

3. Method (方法)

3.1 Overall framework: PIANO 架构

Figure 3 解读：PIANO 的 Agent State 包含 working memory (WM)、short-term memory (STM)、long-term memory (LTM) 以及从世界、他人、自己动作中来的信息。多个模块并发读取 / 写入 Agent State，但真正的高层 deliberate decision 由 Cognitive Controller 通过 bottleneck 合成信息后给出；该 decision 再 conditioning talking、skill execution 等输出流。图中虚线与箭头表达的是：模块不必串行等待，但输出必须受同一个 high-level decision 约束。

PIANO 的两个设计原则是 concurrency 与 coherence。Concurrency 解决“慢思考阻塞快反应”的问题：goal generation 可以慢速进行 deliberate reasoning，reflex / perception 可以更快运行，social modules 只在社交上下文中触发；每个 module 被抽象为 stateless function，读写共享 Agent State。Coherence 解决“多个输出模块各说各话”的问题：如果 talking module 对 Bob 承诺给 pickaxe，而 skill module 没有执行对应行动，群体会产生错误 belief；PIANO 因此引入 Cognitive Controller (CC)，让高层决策经过一个显式 bottleneck 后再广播到下游 motor modules。

直觉上，这个架构能工作的原因是：large-scale society 里每个 agent 的错误都会被其他 agents 读取、复述和放大；因此系统不只需要更强的单次推理，还需要减少“内部 state 与外部承诺不一致”的概率。PIANO 的 bottleneck 让社会信息、行动结果和长期目标在同一个 decision point 汇合；并发模块保证 agent 不会因为长时规划而错过即时世界变化。这个取舍很像 human cognition 的 global workspace：很多低层处理可并行发生，但真正对外产生承诺的 action / speech 需要一个统一的 conscious-like broadcast。

3.2 Core modules and state flow

PIANO 论文列出的核心模块包括 Memory、Action Awareness、Goal Generation、Social Awareness、Talking、Skill Execution 等，总数为 10 个 distinct modules。它们的输入 / 输出 / 失败模式可以理解如下：

Component	Input	Output	为什么需要	移除后的可能失败
Memory	conversations、actions、observations across timescales	WM/STM/LTM retrievals	让 agent 记住长期关系、地点、目标与制度	长期一致性变差，社会关系与法律无法累积
Action Awareness	expected action outcome、observed outcome、current inventory / position	self-state correction / performance signal	对齐“我以为做了什么”和“世界实际发生了什么”	item progression 下降，agent 更容易卡在 action loop
Goal Generation	community goal、traits、other agents summaries、current social goal	new social subgoal / intention	把抽象社会目标转成可执行中间目标	roles 不稳定，社会分工难以持续
Social Awareness	other agents’ speech、summaries、sentiment cues	profiles of others’ goals / intentions / feelings	支持 Theory-of-Mind-like 推断与合作	sentiment tracking、food sharing、long-term relationship accuracy 退化
Cognitive Controller	bottlenecked Agent State	high-level deliberate decision	统一 talking / acting 等多输出流	speech-action incoherence 放大，群体误解传播
Talking / Skill Execution	CC decision + current context	utterances / Minecraft actions	对外交流与环境操作	不能把高层意图落实为社会互动或 Minecraft 物品进展

Figure 4 解读：Minecraft item dependency tree 说明为什么 item acquisition 是有意义的进展指标。gold、diamond、emerald 不是孤立动作，而依赖 wood、crafting table、stone tools、iron pickaxe 等链式前置条件；因此 unique item count 越往后越难提升，可以作为长期 grounded planning 的粗粒度代理。

3.3 Single-agent progression: item acquisition 与 Action Awareness

单体实验中，25 agents 从空 inventory 出发，出生点彼此足够远以避免交互，目标统一为 explorer / explore and gather items，出生位置覆盖 surface、caves、forests 和不同 biomes。作者用 unique Minecraft items acquired 评估个体进展，因为全 Minecraft 约有 1000 个可获取 item，且高级物品依赖多步前置资源。

Action Awareness 是该阶段的关键模块。它让 agent 比较 expected action outcomes 与 observed outcomes，例如“我刚才是否真的拿到了木头 / 是否成功移动到目标点 / inventory 是否按计划变化”。如果缺少这种 self-grounding，agent 可能继续基于虚假状态行动；论文结果显示 full PIANO 在 30 分钟后平均获得 17 个 unique items，而 top performers 可达 30–40 个 items，action-awareness ablation 的曲线低于 full PIANO。

3.4 Multi-agent progression: Social Awareness 与长期关系

小群体实验先检验 social awareness 是否能追踪他人情绪。一个 agent 与 Lila / Noah / Ethan 三个角色聊天，每个角色对它的 sentiment 随时间改变；使用 social awareness 时，agent-generated summaries 的 LLM sentiment score 能跟随变化，没有 social awareness 时失去该能力。随后 chef experiment 把社会理解连接到行动：chef agent 拥有 bread / cooked salmon / chicken，要把有限食物给四个 hungry characters；实验发现 chef 更倾向把食物给它认为更重视自己的角色，说明 sentiment inference 不只是“会复述关系”，而能影响 resource allocation。

Figure 6 解读：A–C 说明 agent 是否能从动态聊天中估计他人对自己的 hate-love sentiment；D–E 进一步把 sentiment 变成行为选择。最重要的对照是 B vs C：移除 social awareness 后，agent summaries 不再可靠追踪 Lila / Noah / Ethan 的情感变化，这解释了为什么后续 50-agent society 中关系图会退化。

在 50-agent society 中，所有 agents 有 distinct personality，可自由行动和选择互动对象，仿真超过 4 小时，相当于 12 个 in-game days。社会关系被表示为 directed graph：edge 是 sender 对 recipient 的 sentiment，红色偏 like、蓝色偏 dislike。评估中，true likeability 和 perceived likeability 都由 LLM prompt 评估，差别在于前者基于 traits，后者基于 observers 对目标 agent 的 summaries。

Figure 7 解读：A 展示 50-agent 关系图，中心区域存在密集正负边，外围 agents 关系更稀疏。B 的 Social 条件斜率为 $0.37$、$r=0.81$，Ablation 条件斜率为 $0.16$、$r=0.62$，说明 social modules 让 perceived likeability 更接近 traits-based true likeability。C 显示 social 条件随时间提升到约 $0.36$ 的 slope，ablation 约在 $0.16$–$0.18$ 附近；D 显示 true extroversion 与 received connections 相关，$r=0.48$；E 显示情感多数接近互惠，但仍有非对称关系。

3.5 Civilizational progression: specialization, collective rules, culture

Specialization 实验把 30 agents 放在同一村庄，给予相同 personality、相同重要地点记忆和相同 community goal。agents 每 5–10 秒生成自己的 social goal；仿真结束后，作者用 GPT-4o 从每个 agent 的 rolling 5 social goals 中推断 role。normal village 的 community goal 是“survive with fellow players and create an efficient Minecraft Village”；martial village 改成“create a military society with advanced technology, strong defenses, and basic survival needs”；art village 改成“create an artistic village with thriving culture, architecture, and art”。

Figure 8 解读：A/C 显示有 social awareness 时，30-agent 村庄出现 Farmer、Miner、Engineer、Explorer 等稳定角色；B/D 显示没有 social awareness 时，角色随时间漂移且分布更同质。E 给出 role entropy：Ablated 为 $2.60$ bits，Normal 为 $3.41$，Martial 为 $3.83$，Art 为 $4.04$；F/G 显示社会目标会改变角色分布，例如 martial society 中 Miner 占比最高，而 art society 中 Curator / Explorer 更突出。

Figure 9 解读：该图把 role 与 Minecraft low-level actions 对齐。Fisher 更常 craft fishing rods / boats，Guard 更常 craft fence / oak fence / iron pickaxe，Artist 更常 pick flowers，Farmer 更常 gathering seeds / preparing land。它验证了 specialization 不是纯粹的 LLM label，而会影响实际 action distribution。

Collective rules 实验包含 29 agents：25 constituents、3 pro-tax 或 anti-tax influencers、1 remote election manager。仿真总长 1200 秒，初始 constitution 要求 tax season 存入约 20% inventory；第 300 秒收集反馈，第 360 秒由 election manager 生成 amendments，第 420 秒 constituent voting，第 480 秒 tally / implement，第 600 秒把新 constitution 分发给所有 agents；前后各有 5 个 tax seasons，每 120 秒一次，每次 20 秒窗口。

Figure 10 解读：A 是反馈—修正案—投票—宪法更新流程；B 展示 anti-tax run 中 constitution 从“roughly 20% inventory”改为“5–10%”；C 展示非税季 agents 分散工作，税季集中到 community chests；D/E 是个体缴税比例变化；F–H 是关键对照：full PIANO + amendable constitution 时 pro-tax 与 anti-tax 会双向改变缴税行为；frozen constitution 时税率基本不随反馈变；ablation brain 时即使可修宪，也不能得到正确的双向行为变化。

Cultural transmission 在 500-agent 单次仿真中分析：200 agents 生活在 6 个 towns，300 agents 在 rural areas；空间大小为 $1000\times 1200$，运行 9000 秒。20 个 Pastafarian priests 被放在 Meadowbrook，具备传播 Church of the Flying Spaghetti Monster 的 traits；其他 agents 的 personality / traits 由 LM 随机生成。作者也尝试过 1000+ agents，但受 Minecraft server computational constraints，agents sporadically unresponsive，因此正式分析采用 500-agent run。

> Figure omitted from public site because `figures_meme.svg` is 52.5 MiB and exceeds the Cloudflare Pages single-file limit; the original asset remains in the local Obsidian vault.

Figure 11 解读：A 显示 100 分钟时不同 meme 在地图上的空间分布；B 显示 rural areas 的 per-agent meme count 明显低于 Woodhaven / Clearwater / Meadowbrook 等城镇，说明人口密度和社交连接是传播门槛；C–E 显示每个 town 内多个 meme 同时存在，但流行时间和主题不同，例如 Woodhaven 中 eco 主题更强，Clearwater 中 pranking 更流行。

Figure 12 解读：Religion experiment 把 Pastafarian / Spaghetti Monster 作为 direct conversion keywords，把 Pasta / Spaghetti 作为 indirect conversion keywords。A 展示每个 agent 的宗教关键词聊天轨迹；B/C 显示 direct 与 indirect converts 随时间增加，超过 2 小时仍未饱和；D 显示宗教影响面积随 priests 和 converts 迁移到其他城镇而扩大；E 显示转换图，区分 first exposure 的 Critical Exposure Edge 和后续 Non-critical Edges。

3.6 Metrics and formulas

论文不是训练一个新 neural model，因此没有 supervised loss 或 RL objective；它主要定义 simulation metrics。论文未显式给出公式，下面是按文中指标定义整理的读者化表达：

• Item progression：对 agent $i$，$I_i(t)=|\{\text{unique Minecraft items acquired by }i\text{ up to }t\}|$；对 49-agent 长时实验，总进展为 $I_{\mathrm{all}}(t)=|{\cup }_i{I}_i(t)|$。
• Social perception regression：把 traits-based true likeability 记为 $x_i$，observers’ summaries inferred perceived likeability 记为 $y_i$，论文报告线性回归 $y_i=\alpha +\beta x_i+{ϵ}_i$ 的 $r,n,\beta ,\alpha$ 与 slope confidence intervals。
• Role entropy：role distribution 越均匀、多样，entropy 越高；图 8E 报告 Ablated / Normal / Martial / Art 的 entropy 分别为 $2.60/3.41/3.83/4.04$ bits。
• Tax paid：税季窗口中每个 constituent 的 $\%\text{inventory deposited}$；初始法律为约 $20$，anti-tax amendment 可将法律降到 $5$–$10$，实际平均缴税从约 $20$ 降到 $9$。

3.7 Pseudocode (paper-based, no released implementation)

代码搜索未找到开源实现；下列伪代码基于论文 §2、§3、§5 与 Methods / Appendix 的流程重构，而不是来自 released source code。

from dataclasses import dataclass, field
from typing import Any, Dict, List
 
@dataclass
class AgentState:
    wm: Dict[str, Any] = field(default_factory=dict)
    stm: List[Dict[str, Any]] = field(default_factory=list)
    ltm: List[Dict[str, Any]] = field(default_factory=list)
    social_profiles: Dict[str, Dict[str, Any]] = field(default_factory=dict)
    current_goal: str | None = None
    expected_outcome: Dict[str, Any] | None = None
 
class PianoAgent:
    def __init__(self, modules, cognitive_controller):
        self.modules = modules
        self.cc = cognitive_controller
        self.state = AgentState()
 
    def tick(self, observation, messages):
        self.state.wm["observation"] = observation
        self.state.wm["messages"] = messages
 
        module_updates = {}
        for name, module in self.modules.items():
            if module.should_run(self.state):
                module_updates[name] = module.read_write(self.state)
 
        bottleneck = select_relevant_information(self.state, module_updates)
        decision = self.cc.decide(bottleneck)
 
        utterance = self.modules["talking"].act(decision, self.state)
        minecraft_action = self.modules["skill_execution"].act(decision, self.state)
        self.state.expected_outcome = predict_outcome(minecraft_action)
        return utterance, minecraft_action

def update_action_awareness(state: AgentState, observed_outcome: dict) -> dict:
    expected = state.expected_outcome or {}
    mismatch = compare_expected_vs_observed(expected, observed_outcome)
    state.wm["last_action_mismatch"] = mismatch
    state.stm.append({"expected": expected, "observed": observed_outcome, "mismatch": mismatch})
 
    if mismatch["is_large"]:
        state.current_goal = revise_goal_after_failed_action(state.current_goal, mismatch)
    return {"grounding_signal": mismatch, "revised_goal": state.current_goal}

def generate_social_goal(agent_name: str, community_goal: str, traits: list[str],
                         all_entity_summaries: str, current_social_goal: str | None) -> str:
    prompt = f"""
    Suppose you are the person, {agent_name}, described below.
    Your goal is: {community_goal}
    You need to find one subgoal aligned with your goal.
    You have the following traits: {traits}
    Here's what other people are doing: {all_entity_summaries}
    Your current subgoal is: {current_social_goal}
    Keep the same subgoal unless it is missing or already accomplished.
    Output only the subgoal in second person in one sentence.
    """
    return call_llm(prompt, model="gpt-4o")
 
 
def infer_role_from_recent_goals(recent_five_goals: list[str]) -> str:
    role_prompt = "Infer the persistent social role from these rolling social goals."
    return call_llm(role_prompt + "\n" + "\n".join(recent_five_goals), model="gpt-4o")

def run_constitution_cycle(constitution: str, agents: list, election_manager) -> str:
    feedback = []
    for agent in agents:
        feedback.append(agent.write_constitution_feedback(constitution))
 
    amendments = election_manager.propose_amendments(
        constitution=constitution,
        feedback="\n".join(feedback),
        model="gpt-4o",
    )
 
    votes = []
    for agent in agents:
        votes.append(agent.vote(amendments, constitution, choices=["yes", "no", "abstain"]))
 
    passed = election_manager.tally(votes, amendments, model="gpt-4o-mini")
    new_constitution = election_manager.update_constitution(
        constitution=constitution,
        passed_amendments=passed,
        model="gpt-4o",
    )
    return new_constitution

def extract_cultural_memes(agent_goal_history: dict[str, list[str]]) -> dict[str, list[str]]:
    memes_by_agent = {}
    for agent_name, intents in agent_goal_history.items():
        prompt = f"""
        Summarize the following list of intents for agent {agent_name}.
        Describe goals chronologically and include keywords corresponding to
        common ideas, themes, memes, group names, and social dynamics.
        {intents}
        """
        memes_by_agent[agent_name] = parse_keywords(call_llm(prompt, model="gpt-4o"))
    return memes_by_agent
 
 
def update_conversion_level(chat_text: str, current_level: int) -> int:
    if "Pastafarian" in chat_text or "Spaghetti Monster" in chat_text:
        return max(current_level, 2)  # direct convert
    if "Pasta" in chat_text or "Spaghetti" in chat_text:
        return max(current_level, 1)  # indirect convert
    return current_level

3.8 Code search and mapping

Code search result: altera-al/project-sid main @ 757ea101 (2024-11-04) is a technical-report repository only. Its tree contains 2024-10-31.pdf, README.md, and visual_abstract.png; no implementation files were released, so no github_ref property is set.

Paper Concept	Source File	Key Class/Function
PIANO concurrency / coherence	No released implementation; paper §2 / arXiv source main.tex	Not available
Action Awareness ablation	No released implementation; paper §3.2 / Figure 5	Not available
Social Awareness sentiment tracking	No released implementation; paper §4 / Figure 6–7	Not available
Specialization via rolling social goals	No released implementation; paper Methods + Appendix Specialization	Not available
Collective rules election process	No released implementation; paper Methods + Appendix Collective rules	Not available
Cultural meme / religion analysis	No released implementation; paper Methods + Appendix Cultural transmission	Not available

4. Experimental Setup (实验设置)

4.1 Simulation data / environments

本文没有使用静态训练数据集；主要数据来自 Minecraft simulation logs、agent conversations、inventories、actions、social summaries 与 goal histories。主要规模如下：

Setting	Scale	Purpose
Single-agent item benchmark	25 agents, 30+ min, 5 repeated simulations for curves	比较 baseline、full PIANO、action-awareness ablation 的 individual item progression
Long-term item ceiling	49 agents, 4 hours	估计 full PIANO 在 Minecraft item acquisition 上的上限
Sentiment room	1 focal agent + 3 characters, 4 repeats	测试 social awareness 是否能追踪 Lila / Noah / Ethan 的动态 sentiment
Chef resource allocation	1 chef + 4 hungry characters, 6 repeats	测试 inferred sentiment 是否影响 food distribution
Long-term relationship society	50 agents, >4 hours / 12 in-game days	建立 directed social relationship graph，评估 perceived vs true likeability
Specialization villages	30 agents, 20 minutes, 3 simulations for CI	观察角色分工与 social-awareness ablation
Collective rules	29 agents: 25 constituents + 3 influencers + 1 election manager, 1200 seconds, 4 repeats per configuration	评估 taxation law adherence / amendment / voting
Cultural transmission	500 agents in $1000\times 1200$ area, 6 towns + rural areas, 9000 seconds	观察 meme 与 Pastafarianism 传播

4.2 Baselines and ablations

Baselines / controls 包括：baseline PIANO architecture（仅保留 skill execution、memory、Cognitive Controller）、action-awareness ablation、social-awareness / social modules ablation、frozen constitution control、baseline brain without key social / goal / grounding modules，以及不同 base LM 的比较。模型方面，论文明确指出 best setting 依赖 GPT-4o；Appendix Figure 13 比较 OpenAI GPT-4o、Claude 3.5 Sonnet (old)、OpenAI GPT-4o mini、Claude 3 Haiku。

4.3 Metrics

• Unique item count：每个 agent 或全部 agents 累计获取的 distinct Minecraft items。
• Sentiment score：LLM 对 agent summaries 的 hate-love 评分，0 表示 hate，10 表示 love。
• Social perception accuracy：perceived likeability 对 true likeability 的 regression slope / Pearson $r$。
• Role distribution / entropy：由 GPT-4o 从 rolling social goals 推断角色，entropy 衡量角色多样性。
• Tax paid：税季中 deposited inventory percentage，比较 constitution change 前后变化。
• Meme count / religion conversion：meme keywords 的出现频率；Pastafarian / Spaghetti Monster 为 direct conversion，Pasta / Spaghetti 为 indirect conversion。

4.4 Configuration details

Baseline architecture 移除了除 skill execution、memory、Cognitive Controller 外的所有 modules。Specialization 中所有 agents 的 traits 与 location memories 相同，不同 normal / martial / art village 只改变 community_goal；social goal prompt 要求 agent 在当前 community goal、traits、other people summaries 和 current subgoal 下，输出一个 second-person subgoal。Collective rules 的 pre-amendment 税率固定为 20%，taxation seasons 每 120 秒一次，20 秒窗口；constitutional feedback / voting / constitution_change 使用 GPT-4o，tally 使用 GPT-4o-mini。Cultural transmission 中 6 个 towns 包括 Sunny Glade、Woodhaven、Clearwater、Meadowbrook、Hilltop、Riverbend；每个 town spawn 33 agents，其余 302 agents 在 town 外随机区域，20 Pastafarian priests 在 Meadowbrook 初始化。

论文未详细说明硬件配置、Minecraft server 规格、LLM temperature、API sampling parameters 或每个 module 的精确 latency；它只说明 1000+ agents runs 超过 Minecraft server computational constraints，导致 agents sporadically unresponsive，因此正式文化传播分析使用 500-agent run。

5. Experimental Results (实验结果)

5.1 Single-agent and base LM effects

Figure 5 解读：A 显示 25-agent individual progression：full PIANO 曲线高于 action-awareness ablation 与 baseline architecture，30 分钟后平均约 17 unique items；个体差异很大，差 agent 少于 5 items，top performers 达 30–40 items。B 显示 49-agent / 4-hour 长时实验：总 unique item count 可靠饱和在约 320，约为全部 Minecraft items 的三分之一；diamonds 等复杂物品约 30 分钟被获得。

Figure 13 解读：base LM 明显限制 long-term Minecraft progression。OpenAI GPT-4o 的 total inventory count 最终超过 300；Claude 3.5 Sonnet (old) 约 210；OpenAI GPT-4o mini 约 180；Claude 3 Haiku 约 120。论文因此强调，full PIANO 的最佳结果依赖 GPT-4o，旧模型无法达到同样的物品进展。

单体结果表明，PIANO 的贡献不是单一 prompt trick：action awareness 的移除会降低 individual item progression；baseline architecture 更弱；同时，base LM 能力仍是硬上限。作者还谨慎指出，虽然 best agents 收集物品数超过 Voyager 的 $>70$ item 结果，但二者不可直接比较，因为 Voyager 中 agent 看到的附近 blocks 更广、死亡后 inventory intact，且评估维度是 prompt iterations 而非 wall-clock time。

5.2 Social awareness and relationship formation

在 sentiment room 中，social awareness 让 agent 准确追踪他人对自己的动态情绪；ablation 后丧失该能力。在 chef experiment 中，agent 把更多食物给它认为更重视自己的人，说明 social perception 会进入 resource allocation。50-agent 长时仿真中，Social condition 在 5 observers threshold 下 $r=0.807,n=31,\beta =0.373,\alpha =4.328$，95% slope CI 为 $[0.269,0.476]$；Ablation condition 在同一阈值下 $r=0.617,n=39,\beta =0.161,\alpha =4.297$，95% slope CI 为 $[0.093,0.229]$。更高 observer threshold 下 social condition 的相关性可到 $r=0.901$ (10 observers) 与 $r=0.907$ (11 observers)，说明 crowd-level observations 越多，perceived likeability 越接近 traits-based true likeability。

5.3 Specialization and collective rules

Specialization 结果显示，有 social awareness 时，agents 会自主形成 Farmer、Miner、Engineer、Explorer、Guard、Blacksmith 等角色，并在时间上保持；没有 social awareness 时，角色更混乱、同质，无法稳定持久。role entropy 从 ablated 的 $2.60$ bits 提升到 normal 的 $3.41$ bits，并可随社会目标变化到 martial $3.83$ / art $4.04$ bits。action frequency 分析进一步证明 role 不是虚假标签：Artists pick flowers，Farmers gather seeds / prepare land，Guards / Builders craft fences，Fisher craft rods / boats。

Collective rules 结果显示，初始 constitution 要求约 $20$ inventory tax 时，constituents 即便有 influencers 也会 obey law。anti-tax influencers 通过反馈与投票把 tax law 改到 $5$–$10$，平均实际 tax paid 从约 $20$ 降到 $9$；pro-tax influencers 则使 taxes paid 上升。Frozen constitution control 中税率基本不变；baseline / ablated brain 即使 constitution 可修正，也不能产生正确的双向行为改变，说明 PIANO 的 social / goal / grounding modules 对 influence propagation 与制度执行是必要的。

5.4 Cultural propagation and religion

500-agent run 显示，文化传播需要人口密度与社交连接。Rural areas 的 per-agent meme count 明显低于 towns；Woodhaven 偏 eco themes，Clearwater 偏 pranking，Meadowbrook 中 volunteer / meditation 等主题更突出；不同 town 内多个 memes 可以同时存在，并在不同时间 rise and fall。这说明 agents 不只是复制一个全局话题，而是在局部社会网络中形成独立文化动态。

Religion experiment 中，20 Pastafarian priests 从 Meadowbrook 出发强烈传教。direct conversion 由 Pastafarian / Spaghetti Monster 关键词识别，indirect conversion 由 Pasta / Spaghetti 识别。direct 与 indirect converts 在 2 小时后仍持续增加，未饱和；Pastafarian influence area 随 priests / converts 的迁移扩大到其他 towns。这个实验比 open-ended memes 更可控：它从固定 doctrine 出发，观察 agents 是否会传播、稀释和空间扩散一个 ideology。

5.5 Limitations and conclusion

论文明确承认 Project Sid 仍是 early, preliminary demonstration。主要限制包括：Minecraft server / infrastructure 限制使 1000+ agents sporadically unresponsive；许多关键指标依赖 LLM-as-judge 或 LLM summarization，例如 sentiment、role inference、meme extraction；环境仍是 Minecraft sandbox，离真实 human civilization 的制度复杂性、经济系统和伦理约束相差很远；没有公开实现代码，因此难以复现实验细节、latency / cost / prompt scheduling 与 module orchestration。

总体结论是：PIANO 的 concurrent modules + bottlenecked Cognitive Controller 提供了一种让 agents 在实时环境中保持 coherent long-term behavior 的架构；在此基础上，agents 能在 Minecraft 中取得显著 individual item progress，形成较准确的长期社会关系，出现自主 specialization，遵守并修改 taxation law，并在 500-agent 多社会中传播 memes 与 religion。结果还不能证明“AI civilization 已经实现”，但提供了一个从 agent architecture 到 civilizational benchmark 的可测量路线。