Skip to main content
GSM8K(小学数学应用题,openai/gsm8k,MIT)是 llm 域上的第二个套件,与 MMLU并列。形态一致:原样跑公认基准于托管 LLM 端点,报 客观准确率(精确数字匹配,确定性)+ 服务维度(延迟、token 成本)。它测推理而非知识。
对端点的重试沿用与 MMLU 相同的可选 params.retry 策略: 默认关闭,max_attempts / backoff_base_s(默认 0.2)/ backoff_max_s (默认 5.0)限定其行为,只有 429/5xx/超时/连接错误会重试(其他 4xx 不会),且 开启后会改变本次运行的数据集 digest 与数据集版本标签,因此重试过的运行永远 不能与干净运行比较。params.retry 不是 target.retries——后者 key 名相同,但 只约束控制面。 测量:gsm8k.accuracy(确定性)+ gsm8k.{avg_latency_ms,total_tokens,cost_usd} (环境性),全部 gsm8k. 命名、official=True(溯源)。gsm8k.avg_latency_ms 始终只是成功那次尝试的耗时;开启 params.retry 后还会出现 gsm8k.retry_count / gsm8k.retry_overhead_ms(official=False),单独报告 重试的代价。一小份真实样本作 fixture;全量拉取为后续增强。