RLE-BENCH · EVALUATION
正在读取评测
原生成功、证据有效性与执行状态分别记录。缺失证据不计为已观测失败;中断结果保留在计划矩阵中。
版本比较
原生分母含中断项;正常完成分母另要求执行完成和 episode transition 有效。Token 是观测用量,不是账单。cached 属于 input,reasoning 属于 output;括号为有数值的 episode 数 / 计划数。≥ 表示已观测下界,仍有子项缺失,不是完整合计。
Cache 命中率按缓存输入 token 总量 ÷ 输入 token 总量加权计算。全程记录不完整时,另列缓存细项已报告部分的比例;覆盖率以已知输入为分母。部分统计可能偏向有缓存命中的请求,不能直接与全程命中率比较。
冻结协议与数据范围
正在读取
Episode 编号对应配置中的顺序,与 seed 数值分别记录。学习资源仅在同一 task / variant 序列内比较。原生 session 保留完整工具输入输出;网页是可读投影。视频是否可用、播放速度、帧映射和验收信息以各 episode 的媒体记录为准。
轻量版本排除 model.mjb、states.f64、原始相机流及重复 evidence archive;完整录像保留在本地。