clousight_bench(或 clousight_bench.api)导入——切勿从
clousight_bench.core.*(内部实现)导入。插件 API 版本
(clousight_bench.PLUGIN_API_VERSION)所约束的正是这一公共表面。
结果契约
一次运行会输出一条ResultRecord(schema 0.4):包含 status(completed / failed /
invalid / unsupported)、measurements(每项测量值含 value、unit、
reproducibility_class、official,以及可选的 ci)、可选的逐条目 items
(ItemResult,携带四态 ItemScore,测量值即由其聚合而来)、findings(每项发现项含稳定的 code 与 severity),以及
fingerprints(benchmark / environment / implementation / record_digest)。
完整字段表请参见架构说明。
插件契约
首要的公共单元是一个基准(benchmark)——即一个BenchmarkSuite + Evaluator
(参见新增基准)。自插件 API 2.0 起,套件/评估器组合是唯一的基准轨道
(旧的内部 Task 契约已删除);当前 PLUGIN_API_VERSION 为 "3.0"(OTel 原生追踪的破坏性变更)。
入口点(Entry Points)
第三方(及商业)包通过在pyproject.toml 中声明以下入口点(entry point)来扩展测试框架:
clousight_bench.benchmark_suites— 基准套件clousight_bench.evaluators— 评估器(带命名空间的测量值 +items())clousight_bench.metrics— 可组合的附加指标clousight_bench.judges— LLM-as-judge 提供方clousight_bench.domains— 领域包(任务 + 平台适配器)clousight_bench.runtime_providers— 云运行时提供商适配器clousight_bench.resource_reapers— 孤立资源回收器clousight_bench.enrichers— 运行后数据增强器(如定价信息)clousight_bench.span_exporters— 追踪 span 导出器clousight_bench.asset_resolvers— 私有/受限数据集解析器
