> ## Documentation Index
> Fetch the complete documentation index at: https://docs.clousight.com/llms.txt
> Use this file to discover all available pages before exploring further.

# GSM8K 套件（llm 域）

> 用 GSM8K 评测托管 LLM 端点——客观数学准确率 + 服务延迟/成本。

GSM8K(小学数学应用题,openai/gsm8k,MIT)是 `llm` 域上的第二个套件,与
[MMLU](/docs/zh/mmlu-suite)并列。形态一致:原样跑公认基准于托管 LLM 端点,报
**客观准确率**(精确数字匹配,确定性)+ 服务维度(延迟、token 成本)。它测推理而非知识。

```bash theme={null}
# 离线 mock(无网络、无 key):
printf 'target:\n  mode: mock\n' > mock.yaml
csbench run --domain llm --benchmark gsm8k --platform llm-mock --config mock.yaml

# 对托管 LLM 真实运行(配置接入):
printf 'target:\n  mode: runtime\n  endpoint: "https://.../v1"\n  model: qwen-max\n  credentials_ref: env:DASHSCOPE_API_KEY\nparams:\n  limit: 100\n' > qwen.yaml
csbench run --domain llm --benchmark gsm8k --platform llm-endpoint --config qwen.yaml
```

对端点的重试沿用与 [MMLU](/docs/zh/mmlu-suite) 相同的可选 `params.retry` 策略:
默认关闭,`max_attempts` / `backoff_base_s`(默认 `0.2`)/ `backoff_max_s`
(默认 `5.0`)限定其行为,只有 429/5xx/超时/连接错误会重试(其他 4xx 不会),且
**开启后会改变本次运行的数据集 digest** 与数据集版本标签,因此重试过的运行永远
不能与干净运行比较。`params.retry` 不是 `target.retries`——后者 key 名相同,但
只约束控制面。

测量:`gsm8k.accuracy`(确定性)+ `gsm8k.{avg_latency_ms,total_tokens,cost_usd}`
(环境性),全部 `gsm8k.` 命名、`official=True`(溯源)。`gsm8k.avg_latency_ms`
始终只是成功那次尝试的耗时;开启 `params.retry` 后还会出现
`gsm8k.retry_count` / `gsm8k.retry_overhead_ms`(`official=False`),单独报告
重试的代价。一小份真实样本作 fixture;全量拉取为后续增强。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.