SociaBench
登录

Social Intelligence Evaluation

SociaBenchAI 社交智能榜

全球 AI 社交智能评测与排行榜平台Benchmarking Human-like Intelligence

Persistent Personas

在 100 多轮的长对话后，模型还能不能守住人设？同时看指令遵循与安全性是否随之变化。

原始作者 维也纳大学、慕尼黑大学（LMU）、慕尼黑机器学习中心（Luz de Araujo 等） · EACL 2026

  • 超长对话每段对话超过 100 轮，比 WildChat 中 99.99% 的真实对话都长，专测人设能不能"撑到最后"。
  • 两种对话人设导向（采访角色）与任务导向（让角色帮忙做事）分开测，后者更考验在完成任务时守住人设。
  • 不止人设同一段对话历史后再测 IFBench 指令遵循与 XSTest 安全性，看长对话是否拖累其他能力。
  • 开放可复算作者公开了全部评分与绘图代码（MIT 许可），本榜数字据此逐项复算，并与论文图中曲线核对。
结果发表于 2025年12月14日7 个模型每种对话类型 8 个角色评测方法代码与测试集 复现报告

论文只以图表报告各模型结果，本榜数字由作者公开的评分按其绘图代码复算。论文没有定义总分，本平台按对话末段（第 91–101 轮）的人设保真度排序，满分 100。查看说明

排名模型
  1. 1QwenQwen98.896.4+2.427.195.441.9
  2. 2GeminiGoogle96.093.8+2.227.684.230.7
  3. 3QwenQwen91.691.70.019.494.143.9
  4. 4NvidiaNVIDIA91.497.4-6.025.491.414.7
  5. 5GeminiGoogle88.290.1-1.927.496.128.0
  6. 6GeminiGoogle87.490.1-2.720.280.411.1
  7. 7NvidiaNVIDIA33.185.9-52.818.888.634.8
数据来源

成绩从哪里来

论文（arXiv:2512.12775，EACL 2026）只以曲线图报告 7 个模型的结果，没有数字表格。作者在 GitHub 公开了全部评分与绘图代码（MIT 许可）。本平台用脚本tools/experiments/persistent_personas_data.py 读取这些评分，按作者绘图代码的步骤逐项复算，并与论文附录中各模型的曲线图核对一致；脚本记录了输入文件的 SHA-256。没有重新运行任何模型。

分数怎么算

每个模型扮演 8 个 RoleBench 角色，分别进行两种超过 100 轮的对话。裁判 Atla Selene Mini 对每轮回复的角色一致性、知识、风格各打 1–5 分，换算为 0–100（(分 − 1) ÷ 4 × 100），两种问题顺序取平均，再对 8 个角色取平均。

  • 末段人设保真度（排序依据）：第 91–101 轮三项的平均。论文没有定义总分，这一排序方式是本平台的选择，因为论文的核心结论正是保真度随对话变长而下降。
  • 开局保真度：第 0 轮（尚无对话历史）的同一指标；保真度变化为两者之差。
  • IFBench：带最长对话历史时，按官方脚本判定的指令约束准确率。
  • 有害请求拒绝率 / 安全请求误拒率：带最长对话历史时，模型拒绝 XSTest 有害请求、安全请求的比例。前者越高越安全，后者越低越好。

阅读时请注意

两种对话的排序差别很大，请分别查看。每个模型只有 8 个角色，每种问题顺序只生成一次（温度 0），排名相邻的模型差距可能不显著。论文中的大五人格偏差和两项指令胜率无法复算，因为仓库缺少所需的中间文件，因此本榜没有这些指标。XSTest 的安全/有害标签取自 XSTest 作者在 GitHub 的原始发布，并逐条核对了与本仓库样本的对应关系。

本平台的评测

在本平台运行需要为每个模型生成 36 段长对话，再用 Atla Selene Mini 和 IFBench 官方脚本评分。实现并核对能复现上述数字后，平台评测结果会与复算结果分开排名。

论文 · 代码与评分数据 · 复现报告

评测方法

  1. 01评测目标

    多数角色扮演评测只看一两轮对话，而真实使用往往很长。Persistent Personas 把超过 100 轮的对话作为前置历史，在不同长度处截断，测模型在长对话后是否还守得住人设，以及指令遵循和安全性是否随之变化。

  2. 02角色与两种对话

    8 个来自 RoleBench 的虚构角色：Gaston、Michael Scott、Blair Waldorf、Lestat de Lioncourt、Queen Catherine、HAL 9000、Juno MacGuff、Mary Sibley。另设无人设的基线。

    • 人设导向对话：GPT-4o 写的采访式问题，引导模型谈论角色本身。
    • 任务导向对话：取自 PRISM 的真实任务请求，模型要在完成任务的同时保持人设。

    每种对话按两种问题顺序各生成一次，以排除顺序影响。

  3. 03裁判与指标

    对话中的每轮回复由开源裁判 Atla Selene Mini 按角色一致性、知识、风格三项打分。作者人工复核 50 条，94% 与裁判相差不超过 1 分。IFBench 用官方脚本判定；XSTest 的拒绝判定与人工一致率 98%。

    论文的主要发现：保真度随对话变长而下降，任务导向对话下降更明显；有人设的模型在指令遵循上普遍不如无人设基线。

  4. 04与本平台的关系

    本平台的 Role-Play Bench 同样关注长对话中的角色保持。本榜目前只列出由作者公开评分复算的结果；论文没有总分，按末段保真度排序是本平台的选择，其余各列只并列展示，不参与排序。

来源：Luz de Araujo et al., Persistent Personas?, EACL 2026 · peluz/persistent-personas · 独立复现报告（英文）

SociaBench · AI 社交智能榜A Global Benchmarking and Evaluation Platform for Social Intelligence in AI.

SociaBench 是专注于 AI 社交智能与类人交互能力的模型评测平台。平台通过标准化 Benchmark、多维度模型排行榜、自动化评测实验室与学术研究，系统评估大语言模型在角色扮演、人格一致性、社交推理、情感理解、对话自然度及长期交互等方面的表现。SociaBench 致力于建立透明、可解释、可复现的评测体系，为 AI 研究人员、模型开发者及应用团队提供可靠的模型能力对比与研究依据。

Role-Play Bench 场景种子：MiniMaxAI/role-play-bench裁判与用户模拟器经 OpenRouter 调用