Behavior is Not Enough: A Mechanism-Based Evaluation of Social Norm Emergence in LLM Societies
Rasika Muralidharan, Haewoon Kwak, Jisun An
cs.MA · cs.CL · cs.CY · cs.GT · cs.SI
Quick verdict
认为LLM规范涌现需要衡量预期，而不仅仅是行为；在4个模型家族中进行了细致的消融实验，但引出预期本身也是对行为的干预。
Summary
本文指出，在多智能体LLM系统中，仅有行为收敛本身无法确立社会规范的涌现，因为模仿和策略性博弈可以产生相同的合作均衡。本文引入了一个评估框架，每轮额外引出每个智能体的经验性预期（EE，即他人通常的行为）和规范性预期（NE，即应当的行为），并遵循了Bicchieri的规范定义。在涉及GPT-4o-mini、Llama 3.1-8B、Mistral-7B和Qwen2.5-7B（每种模型-条件组合运行10次）的20轮公共物品博弈（12个智能体，4个一组）中，作者在五种条件下对预期引出（E）、通过讨论进行的社会学习（SL）以及基于网络的社会选择（SS）进行了消融实验。预期引出在所有四个家族中都提高了贡献度（+0.58至+1.39，p<0.001）；EE和NE的离散度从早期到后期有所缩小；预期-行为差距预测了下一轮的调整（NE β=0.210，EE β=0.169）。社会选择可靠地将声誉传递到连接权重和群体访问中，但产生的行为修正较小（β=0.068），而讨论的效果为（β=0.390）。在第10或20轮注入的对抗性智能体在5轮内被重新同化，成熟规范的处理速度更快。稳健性检查（wild cluster bootstrap、提示词变体、温度、群体/社区规模、MPCR、更大的模型）非常广泛，但Llama的效果在提示词改变下会发生反转。主要局限性：引出的报告会被反馈到决策提示词中，因此测量本身也是一种干预。
Review complete
Assessment at a glance
5
risk flags identified
● high 0
● medium 5
● low 0
5 strengths · 5 weaknesses · 5 author questions
AI text signal = Binoculars zero-shot detector score over 20 sampled passages (Fast-DetectGPT co-reported) — absence does not prove human authorship, and a flag does not imply misconduct.
Levels reflect verification complexity — not a quality score. Evolve never rates your paper.
Key claims under review
- 仅靠行为收敛无法区分LLM社会中的规范涌现与模仿或策略博弈；联合观察EE、NE和行为可以。
- 预期引出是唯一能提高所有四个模型家族贡献度的机制（表2：+0.58到+1.39，Bonferroni校正后均 p<0.001）。
- 引出的预期差距预测下一轮的贡献调整（表4中合并NE β=0.210，EE β=0.169），其中社会学习比社会选择对行为适应的贡献更大（表5中β=0.390 vs β=0.068）。
- 在第10轮或第20轮进行对抗性注入后，规范性预期和行为在5轮内以不同的速度恢复，且更成熟的规范恢复得更完全。
- 结论在wild cluster bootstrap、提示词/温度/规模/MPCR变化以及扩大到更大模型后依然成立，尽管Llama对提示词敏感。
Strengths
真正的概念贡献
将Bicchieri的经验性（EE）和规范性（NE）预期区分作为每轮私密报告进行操作化，使模仿与规范的混淆变得可测试；并明确拒绝了二元规范涌现阈值。
异常全面的稳健性检查
针对10聚类设计的wild cluster bootstrap（B=9,999，表10），提示词公式和词汇替换扫描（表11-12），温度扫描（表13），社区/群体规模（表19-23），MPCR（表24）以及四个更大的模型（GPT-5-mini, Llama-70B, Mistral-13B, Qwen-72B）——在这一文献中很少见。
机制验证，而不仅仅是结果
透明且记录详尽
对机械联动和构造的诚实说明
Weaknesses
测量与干预的混淆
SL/SS的增量效应在主要设计中大多不显著
一个模型家族的提示词脆弱性
报告不一致
扰动和执行主张测试不足
Full Review Report
$1.99 · one-timeUnlock the complete preliminary analysis Evolve produced for this paper.
- All 5 strengths & 5 weaknesses, analyzed in detail
- 5 risk flags with severity, section & reviewer questions
- Methods & statistical evidence assessment
- 5 questions a peer reviewer would ask
- Full six-dimension evaluation report & recommendations
One-time purchase · this paper only
One-time purchase, this paper only. AI-generated preliminary analysis — not peer review.
Frequently asked questions
论文中‘行为不足’以检测LLM智能体规范的意思是什么？
每个人都收敛到合作行为可能来自模仿、策略性推理或真正共同的预期。遵循Bicchieri，只有在行为规律性与共同的经验性预期（他人的行为）和规范性预期（应当的行为）同时存在时，规范才存在。论文每轮测量所有这三个。
测试了哪些LLM模型？
主要实验使用GPT-4o-mini、Llama 3.1-8B、Mistral-7B和Qwen2.5-7B，每种条件下运行10次。附录鲁棒性实验增加了更大的模型：GPT-5-mini、Llama-3.1-70B、Mistral-13B和Qwen-2.5-72B。
询问LLM智能体关于它们的预期是否改变了它们的行为？
是的。包含预期引出的条件比纯基线贡献明显更多（在0-10的公共物品规模上增加0.58到1.39个代币）。但论文指出报告被反馈到决策提示词中，因此引出既是测量也是干预。
这篇论文的代码可用吗？
是的，论文链接了一个公共仓库（GitHub上的Rasikamurali/SoNoLiSi），附录中发布了对LLM智能体、讨论、评估、预期引出和对抗性变体的所有提示词，以及解码参数。
About this review
This is an AI-generated preliminary review by Evolve.Pub, produced from the openly available text of the paper. It is not peer review and does not represent the authors' views. The canonical record of the paper is at the publisher link above.
- 图1-7无法从提取的文本中读取；扰动恢复（图4-6）和轨迹主张基于标题和文字描述。
- 几个附录表格提取时布局混乱（例如表15-16，19-24）；系数读取按打印内容呈现，但行/列顺序可能会有偏差。
- 交叉引用漂移：正文引用了机制恢复结果的‘S.M. A.3.4节’，但附录的A.3.4是wild cluster bootstrap（恢复结果出现在A.3.3中）。
Go deeper on this paper
Wrote a paper? Stress-test it before reviewers do.
Upload your manuscript for the same structured scrutiny — reasoning, statistics, evidence, figures, and reproducibility.