规则先于
数据发布。

每个比较对象隔离一项声明。

单一排行榜数字将算法、传输层、持久化与存储格式混为一谈。比较对象集的选取确保每次比较恰好隔离一个变量——每项头条数据下均设有同节点对照组。

测量什么。

矩阵定义的是测量项，而非预设的胜负。每个延迟单元格报告完整分布——而非仅均值——在开环负载下采集。每个速度单元格均绑定由测试框架依据已发布基准真值计算的召回门控；未达门控的单元格标记为无效，不得进入评分卡。

python -m bench.orchestrator.run \
    --suite vector --rig m-laptop
# one command: pinned comparators, content-addressed
# datasets, warmup, steady-state measurement
# reviewer mode: the same run with Telys excluded

# every run emits a machine-checked ResultEnvelope;
# a run that cannot fill every field is invalid
index_string    = "IVF4096,PQ16"  # same for Telys and the FAISS control
omp_num_threads = 8               # FAISS threading pinned, disclosed
transport       = "in_process"    # headlined only vs in-process
durability_tier = "wal_fsync"     # cross-tier comparison hard-fails
recall_at_k     = 1.000           # harness-measured, never self-reported
samples_path    = "bench/results/filtered_impact.txt"

每次运行在全新进程启动下至少重复五次，在固定硬件配置上逐系统执行。数据集按内容寻址；查询集为冻结文件，不在运行时生成。测试框架规范今日提交；框架与结果同步发布。

实测、有条件、可复现。

每一行都是在上述测试机上、在旁注召回门限下的真实运行。优势来源是物理布局：在相同连续子集上，我们的 Mojo 扫描与原始 FAISS 持平——以下差值来自键分区布局的收益，而非更快的距离内核。这些是原型数据，将随测试框架的成熟在完整公平性约定下重新运行。

以上每个单元格均可追溯至具名脚本及 bench/results/ 中保存的原始输出（filtered_impact.txt、partitioned.txt、partition_acceptance.txt、opt.txt、telys.txt、concurrency.txt、freshness.txt）。持久化重开数据因待重测原始样本暂未列出。所有倍数均为假设，仅在各行所印条件范围内成立。

专为代码构建——并在代码基准上接受评分。

Telys 检索代码，因此质量标准是 CoIR，而非通用文本套件。LexicalCodeIndex 封装为 mteb SearchProtocol，由 mteb.evaluate 与 bm25s 基线走相同路径评分——无方法论差异，无自评分。基线为 2026-07-21 的可复现运行结果，而非 CoIR 论文中的发布数据（其中多项无法复现）。指标：nDCG@10。

八项任务中胜出七项；平均 0.488，各任务最优基线平均 0.445（† 每项任务取 bm25-ref / bm25-code 之最优），同时达到 multigram 平均值的 2.6 倍。唯一落败的 AppsRetrieval，所有词法方法均接近零分：长题目描述对代码的检索属于向量嵌入领域。

所有数据均可由单一脚本复现——bench/mteb_code_lexical.py——双方均通过相同的 mteb.evaluate 调用运行（运行日期 2026-07-21）。code-lexical 即 Telys 出厂搭载的索引，使用其出厂默认配置。