Social Intelligence Evaluation
SociaBenchAI 社交智能榜
全球 AI 社交智能评测与排行榜平台Benchmarking Human-like Intelligence
CoSER
在知名小说的原著场景中，让模型同时扮演多个角色，对照原著对话评测还原度与故事质量。
原始作者 复旦大学、阶跃星辰、约翰斯·霍普金斯大学（Wang 等） · ICML 2025
- 源自经典文学17,966 个角色、771 部知名书籍中的真实对话，而不是合成对话。
- 多角色情境演绎模型依次扮演书中场景里的多个角色，由下一说话人模型和环境模型推动情节 ，最长 20 轮。
- 对照原著扣分裁判对照原著对话与情节摘要，按细则逐条找缺陷、按严重度扣分，并校正长度带来的偏差。
- 四个维度故事一致性、拟人化、角色忠实度、故事质量，取平均为总分；结果为三次运行的平均。
成绩来自 CoSER 论文（ICML 2025）发表的结果：GPT-4o 作裁判，满分 100，按四个维度的平均分排序，为三次运行的平均。查看说明
- 1OpenAI59.9561.5948.9348.9580.33
- 2=ByteDance59.2460.9549.7247.0279.28
- 2=Google59.2459.1152.4147.8377.59
- 4◆注Fudan · CoSER59.0658.6653.3348.7575.49
- 5StepFun58.9461.4349.0647.3377.96
- 6OpenAI57.9360.0948.2144.8878.55
- 7Anthropic57.2257.4548.5045.6977.23
- 8Qwen57.0657.7547.2846.6276.60
- 9StepFun56.5757.7548.1244.4875.93
- 10◆注Fudan · CoSER56.4558.6147.2346.9073.04
- 11DeepSeek56.2456.4047.8744.0276.66
- 12Meta55.4957.4645.9543.7274.84
- 13MiniMax54.9256.8144.2343.8374.83
- 14◆Boson AI54.7457.1043.8242.4175.62
- 15Anthropic54.7158.1844.6641.8874.14
- 16OpenAI54.1857.2243.3042.2973.91
- 17Meta52.9954.1045.3640.2272.29
- 18Mistral51.6459.9040.0044.7561.93
- 19Mistral48.5851.2538.4436.9267.69
- 20◆LMSYS47.5852.7539.1238.0460.43
- 21Qwen45.5351.9635.4831.5163.18
数据来源
成绩从哪里来
这些成绩由 CoSER 的作者发表在论文的主结果表中，共 21 个模型。数字逐项取自论文的 LaTeX 源文件（arXiv:2502.09082；v1、v2、v3 三个版本的这张表完全相同），未作任何修改；本平台没有重新评测这些模型。
分数怎么算
测试集是 200 段书中对话（其中 100 段来自训练用过的书，100 段来自没用过的书）。被测模型在多智能体演绎中扮演场景里的所有角色；由作者的 CoSER-70B 决定下一个说话的角色，GPT-4o 扮演环境。GPT-4o 对照原著对话和情节摘要，在四个维度上分别找出缺陷，每处按严重度 1–5 扣分（每级 5 分），再按对话长度校正。总分是四个维度的平均；每个数字是三次运行的平均。BLEU、ROUGE-L 是与原著对话的文字重合度，只作参考，不计入总分。
阅读时请注意
裁判 GPT-4o 本身也在被测模型之列；CoSER-8B 和 CoSER-70B 是作者用本数据集训练的模型，在榜上标"注"。论文附录用其他裁判重评时，各模型的分数会随裁判变化。
本平台的评测
在本平台运行 CoSER 需要实现它的多智能体演绎流程，并调用 GPT-4o 与作者的 CoSER-70B。实现并核对能复现论文数字后，平台评测结果会与论文结果统一排名，并标明来源。
评测方法
01评测目标
CoSER 评测模型扮演"已有角色"的能力：从 771 部知名书籍中抽取真实对话，给出场景、角色资料和动机，让模型在多智能体演绎中依次扮演场景里的每个角色，再与原著对话比较。作者称这种方式 为"情境演绎"（given-circumstance acting），借鉴自表演方法论。
02四个维度
- 故事一致性：角色的情绪、态度与行为是否与原著对话一致。
- 拟人化：自我认同、情感深度、人设连贯、社交互动是否像真人。
- 角色忠实度：语言风格、知识背景、性格行为、人际关系是否忠于原著。
- 故事质量：对话是否自然推进、逻辑连贯。
03裁判与计分
每个维度单独请求一次 GPT-4o。裁判对照原著对话与情节摘要，按细则列出缺陷，每处标严重度 1–5，维度分为 100 减去 5 倍严重度之和，再加上与对话长度成正比的校正。论文报告 GPT-4o 裁判与人工判断的一致率为 68.6%。
04与本平台的关系
本榜目前只列出论文作者发表的结果。CoSER 的评分方式（找缺陷、按严重度扣分、对照原文）与本平台的 Role-Play Bench 思路相近。平台日后自行评测的结果会与论文结果统一排名，并标明来源。
来源：Wang et al., CoSER, ICML 2025 · Neph0s/CoSER · 独立复现报告（英文）