回答-BFW问答

最新的 ProgramBench 基准测试非常严格，它考察的不只是能否写出代码，而是要求代码完全正确、逻辑严密、处理所有边界情况，还要符合特定规范和执行环境。即便一点小错误，比如变量名拼错、数组越界或时间复杂度不符合要求，都会判作失败。

而 GPT-5.4、Claude Opus 4.7、Gemini 3.1 Pro 这些大语言模型，本质上是概率生成模型，它们擅长理解语言、写示例代码，但无法保证每次生成的程序都完美无误。尤其是复杂算法、多层函数调用或者需要严格执行的逻辑，模型很容易出错。

此外，ProgramBench 设计得比以往的 HumanEval 或 MBPP 更难，它几乎零容错，只要有一点不符合要求就算失败。所以出现 0% 通过率，不是模型完全不行，而是说明当前模型还达不到“百分百完美生成复杂程序”的水平。简单来说，这个测试是为了暴露模型在复杂编程任务上的极限，而日常用来写简单代码、辅助开发，它们依然非常有用。