搜索

+

52

-

回答

在Agent（智能体）评估中，常用的三类评分器分别是：人类评分器（Human）、模型评分器（Model-based）和代码/规则评分器（Code/Rule-based）。它们的核心区别如下：

人类评分器

由真人根据回答质量（如相关性、安全性、流畅性）打分。

优点：最贴近真实用户感受，能捕捉复杂语义和常识。

缺点：成本高、速度慢、主观性强、难以规模化。

模型评分器

用另一个大模型（如GPT-4、Claude）作为“裁判”自动打分。

优点：较快、可扩展、能理解语义。

缺点：可能有偏见、幻觉，且依赖底座模型的能力。

代码/规则评分器

基于预设规则或脚本判断（如关键词匹配、格式校验、单元测试是否通过）。

优点：客观、可复现、执行快、适合自动化。

缺点：僵化，无法处理开放性或语义复杂任务。

简单总结：

人类看“好不好”，

模型猜“像不像好答案”，

代码查“对不对”。

三者常结合使用，取长补短。

网友回复

我知道答案，我要回答

我有问题

私活外包

最新提问