llm 域上的第二个套件,与
MMLU并列。形态一致:原样跑公认基准于托管 LLM 端点,报
客观准确率(精确数字匹配,确定性)+ 服务维度(延迟、token 成本)。它测推理而非知识。
params.retry 策略:
默认关闭,max_attempts / backoff_base_s(默认 0.2)/ backoff_max_s
(默认 5.0)限定其行为,只有 429/5xx/超时/连接错误会重试(其他 4xx 不会),且
开启后会改变本次运行的数据集 digest 与数据集版本标签,因此重试过的运行永远
不能与干净运行比较。params.retry 不是 target.retries——后者 key 名相同,但
只约束控制面。
测量:gsm8k.accuracy(确定性)+ gsm8k.{avg_latency_ms,total_tokens,cost_usd}
(环境性),全部 gsm8k. 命名、official=True(溯源)。gsm8k.avg_latency_ms
始终只是成功那次尝试的耗时;开启 params.retry 后还会出现
gsm8k.retry_count / gsm8k.retry_overhead_ms(official=False),单独报告
重试的代价。一小份真实样本作 fixture;全量拉取为后续增强。