人类评分器
由真人根据回答质量(如相关性、安全性、流畅性)打分。
优点:最贴近真实用户感受,能捕捉复杂语义和常识。缺点:成本高、速度慢、主观性强、难以规模化。
模型评分器
用另一个大模型(如GPT-4、Claude)作为“裁判”自动打分。
优点:较快、可扩展、能理解语义。
缺点:可能有偏见、幻觉,且依赖底座模型的能力。
代码/规则评分器
基于预设规则或脚本判断(如关键词匹配、格式校验、单元测试是否通过)。
优点:客观、可复现、执行快、适合自动化。
缺点:僵化,无法处理开放性或语义复杂任务。
简单总结:
人类看“好不好”,
模型猜“像不像好答案”,
代码查“对不对”。
三者常结合使用,取长补短。网友回复


