المنهجية + أول نتائج مقيسة · جهاز النموذج الأولي مُفصَح عنه

تُنشر القواعد قبل
الأرقام.

Telys في الإصدار 0.1.0b4 — هذه أرقام مُتحقَّق منها على نموذج أولي بجهاز مُفصَح عنه، لا أرقام إنتاجية. لا تُحتسب نتيجة إلا إذا قيست في ظل استرجاع متطابق على عتاد متطابق، مع العينات الخام والسكريبت الذي أنتجها. القواعد أدناه تُلزم كل رقم: ما نقيسه، ومن نقيس أمامه، والحالات التي يلزمنا فيها الخسارة.

01 مبدأ التشغيل

قواعد يفرضها الإطار، لا تحفظات نُلحقها.

كل قاعدة أدناه مُرمَّزة كفحص آلي في إطار المعيار. أي تشغيل يخالفها لا يُشار إليه في هامش — بل يُصنَّف غير صالح ويُستبعد من كل بطاقة نتائج.

“كل مضاعف هو فرضية حتى يُقاس في ظل استرجاع متطابق وعتاد متطابق، مع نشر العينات الخام وسكريبت إعادة الإنتاج.”

مبدأ Telys للمعايير

خسائر إلزامية

معيار لا يمكننا خسارته لا قيمة له

تتضمن بطاقة النتائج المولَّدة قسماً إلزامياً بعنوان "أين نخسر"، يُملأ تلقائياً من كل خانة يفوز فيها منافس. إن كان هذا القسم فارغاً، يفشل بناء التقرير — فالكنسة الكاملة تُعدّ إطاراً معطوباً، لا انتصاراً.

أمانة النقل

المدمج مقابل المدمج هو المقارنة العادلة

لا نضع أبداً استدعاءً داخل العملية في مواجهة منافس يُجيب عبر TCP. مع المكتبات المدمجة، النقل العادل هو داخل العملية مقابل داخل العملية. مع الخوادم، يُطابَق النقل بالمثل، وإلا يُشار إلى الرقم ويُبعد عن العناوين.

أمانة المتانة

مستويات متطابقة، أو لا مقارنة

لا يُقارَن تشغيل في الذاكرة أبداً بمنافس يُنفّذ fsync عند كل إيداع. كل نتيجة تُعلن مستوى متانتها — `in_mem` أو `wal_async` أو `wal_fsync` — ويُفشل الإطار أي مقارنة عبر المستويات.

قاعدة FAISS

لا نوحي أبداً بأننا تفوقنا على FAISS حين نستدعيه

FAISS هو النواة الشبكية العصبية التقريبية التي يدمجها Telys — أساس لا خصم. كل بطاقة متجهات تعرض خانة اجتياز FAISS الخام أولاً؛ وحيثما تكون النتيجة تعادلاً يُطبع كذلك. الانتصارات الحقيقية تُطالَب بها في مكان آخر: نوى إعادة الترتيب، والتخطيط المُصفَّى، والمحرك المحيط بالفهرس.

02 مجموعة المقارنة

كل منافس يعزل ادعاءً واحداً.

رقم لوحة قيادة واحد يخلط الخوارزمية والنقل والمتانة وصيغة التخزين. اختيرت المجموعة بحيث تعزل كل مقارنة متغيراً واحداً بالضبط — مع ضابط على العقدة ذاتها تحت كل عنوان.

النظام	الشكل	ما تعزله المقارنة
FAISS (نفس العقدة)	خط الأساس الضابط	الحد الأدنى، لا الخصم. يدمج Telys نظام FAISS، لذا فإن رقم FAISS الخام هو خط الأساس الذي نقف عنده؛ والفارق المنشور هو ما يضيفه المحرك حوله — عند سلسلة الفهرس ذاتها والاسترجاع المقاس ذاته.
Postgres + pgvector	علائقي + متجه	الاستعلام الهجين المُصفَّى: هل يتفوق دفع المسند القياسي إلى مسار المرشحين على فهرس يضطر إلى الجلب الزائد أو التصفية اللاحقة، عند استرجاع متساوٍ عبر انتقائيات التصفية المختلفة.
LanceDB / Chroma	مكتبة مدمجة	أقرب المنافسين، داخل العملية مقابل داخل العملية — المكان الوحيد الذي يكون فيه الرقم الداخلي عنواناً عادلاً. نفس الحد الأدنى الشبكي؛ تعزل المقارنة المحرك المحيط به: فضاء معرّف الصف الموحّد، والفتح البارد، والبصمة.
Qdrant / Milvus	خادم	جودة الخوارزمية — الاسترجاع عند k ثابت — مفصولةً عن رحلات الشبكة. يُبلَّغ عن زمن الاستجابة مع الإشارة إلى قفزة الخادم، ولا يُوضع أبداً في عنوان مقابل استدعاء داخل العملية.
Pinecone	خدمة مُدارة	الاستدعاء عند k ثابت والإنتاجية لكل وحدة حوسبة. يُرفض استخدام زمن الاستجابة الخام مقابل محرك مدمج كعنوان رئيسي؛ يحمل عنصر التحكم على العقدة ذاتها ادعاء الجودة عوضاً عن ذلك.
DuckDB / ClickHouse	محرك تحليلي	المسح والتجميع على ملف Parquet المادي ذاته، بحيث تُفصل ميزة تنسيق التخزين عن ميزة المحرك. تتفوق المحركات التحليلية المتجهة هنا؛ وانتصاراتها تُنشر.

03 مصفوفة أعباء العمل

ما الذي يُقاس.

تُحدد المصفوفة القياسات لا الانتصارات المفترضة. تُبلّغ كل خلية زمن استجابة عن التوزيع الكامل — لا المتوسط وحده — تحت حمل مُقدَّم بحلقة مفتوحة. كل خلية سرعة مقيّدة ببوابة استدعاء يحسبها الإطار مقابل الحقيقة الأرضية المُشحونة؛ أي خلية لا تستوفي بوابتها تُصدَر بوصفها غير صالحة ولا يمكنها الدخول في بطاقة النتائج.

عبء العمل	الإعداد	ما الذي يقيسه
cold-open	إسقاط ذاكرة التخزين المؤقت للصفحات، بدء عملية جديدة	الوقت من بدء العملية حتى أول استعلام ناجح — تعيين mmap للمقطع وربط index-sidecar مقابل تشغيل الخادم والاسترداد. يُقاس بمعزل عن الحالة المستقرة ولا يُدمج فيها.
exact FLAT	بحث دقيق بالقوة الغاشمة، f32 و int8	حد نواة المسافة عند استدعاء 1.0 بالبناء، مقابل خط الأساس الدقيق على العقدة ذاتها وعلى المخازن المؤقتة نفسها. تُبلّغ كل خلية int8 عن دلتا الاستدعاء مقارنةً بـ f32، فلا يُخفى أبداً فقد التكميم.
هجين مُصفَّى	محمول قياسي + top-k، مُجتاح عبر ثلاث انتقائيات	زمن الاستجابة عند استدعاء متساوٍ مع تضييق الفلتر، إضافةً إلى الاستراتيجية التي اختارها المخطط لكل خلية — فلترة مسبقة ثم بحث دقيق، أو فلترة مسبقة ثم IVF، أو بحث ثم فلترة لاحقة — بحيث يكون القرار التكيفي قابلاً للتدقيق.
full scan	مسح عمود كامل وتجميع	الإنتاجية العمودية الخام عبر Parquet مشترك، محرك في مواجهة محرك على بايتات متطابقة.
مسح انتقائي	مسح بمحمول عند معدلات تطابق منخفضة	ما إذا كانت تقليم min-max للتذييل وخرائط المناطق تتخطى العمل فعلاً — مُبلَّغ عنه بالبايتات المقروءة والصفوف التي جرى الوصول إليها، لا بالوقت الفعلي وحده.

reproduce

python -m bench.orchestrator.run \
    --suite vector --rig m-laptop
# one command: pinned comparators, content-addressed
# datasets, warmup, steady-state measurement
# reviewer mode: the same run with Telys excluded

result envelope

# every run emits a machine-checked ResultEnvelope;
# a run that cannot fill every field is invalid
index_string    = "IVF4096,PQ16"  # same for Telys and the FAISS control
omp_num_threads = 8               # FAISS threading pinned, disclosed
transport       = "in_process"    # headlined only vs in-process
durability_tier = "wal_fsync"     # cross-tier comparison hard-fails
recall_at_k     = 1.000           # harness-measured, never self-reported
samples_path    = "bench/results/filtered_impact.txt"

تتكرر التشغيلات خمس مرات على الأقل عبر بدايات عمليات جديدة، على ملفات تعريف أجهزة مثبّتة، نظام واحد في كل مرة. مجموعات البيانات مُعنوَنة بالمحتوى؛ مجموعات الاستعلامات ملفات مجمّدة لا تُولَّد في وقت التشغيل. مواصفة الإطار مُلتزَم بها اليوم؛ والإطار يُنشر مع النتائج.

04 أول نتائج مقيسة

مقيسة، مُقيَّدة بشروطها، قابلة للاستنساخ.

كل صف تشغيلة حقيقية على الجهاز المُسمَّى أعلاه، عند بوابة الاسترجاع المطبوعة بجانبه. سطح الفوز هو التخطيط الفيزيائي: على مجموعة فرعية متصلة مطابقة يتعادل مسح Mojo لدينا مع FAISS الخام — الفارق أدناه هو ما يُتيحه التخطيط المُقسَّم بالمفتاح، لا نواة مسافة أسرع. هذه أرقام نموذج أولي، تُعاد قياسها تحت عقد العدالة الكامل مع نضج الإطار.

حمل العمل	الإعداد + بوابة الاسترجاع	النتيجة المقيسة (M4 Max، خيط واحد، داخل العملية)
شريحة مُصفَّاة · انتقائية 0.1%	N=1,000,000 D=128 K=10، دافئ، recall 1.000 (دقيق)	partition-slice p50 0.013 مللي ثانية — فوز تخطيط مقابل المسح الكامل ~373×، مقابل scatter-gather ~19×. FAISS Flat على المجموعة الفرعية المطابقة: 0.040 مللي ثانية (تعادل — يُثبت أن الفوز في التخطيط لا في النواة).
شريحة مُصفَّاة · انتقائية 0.4%	N=1,000,000 D=128 K=10، دافئ، recall 1.000 (دقيق)	p50 0.032 مللي ثانية — ~128× مقابل المسح الكامل، ~10.8× مقابل scatter-gather. ضابط FAISS Flat: 0.035 مللي ثانية (تعادل).
شريحة مُصفَّاة · انتقائية 1.6%	N=1,000,000 D=128 K=10، دافئ، recall 1.000 (دقيق)	p50 0.112 مللي ثانية — ~42× مقابل المسح الكامل، ~10.3× مقابل scatter-gather. ضابط FAISS Flat: 0.120 مللي ثانية (تعادل).
إنقاذ القسم العملاق	247 ألف صف في N=400,000 D=128، nprobe مُعايَر، recall 0.9915 (حد أدنى 0.98)	IVF داخل القسم يُعيد ميزة التخطيط حيث تتراجع الشريحة الدقيقة: شريحة دقيقة 1.71 مللي ثانية → IVF 0.033 مللي ثانية. بدون IVF، قسم عملاق واحد لا يُعطي سوى ~4–5×.
auto-nprobe مُحكَم	N=1,000,000 D=128 Q=500 nlist=1000، recall مُثبَّت 0.998 (حد أدنى 0.98)	FIND 0.28–0.31 مللي ثانية عند nprobe=32 الأساسي → 0.081–0.088 مللي ثانية عند auto-nprobe=8 المُحكَم. يبقى الاسترجاع فوق الحد الأدنى — لا مقايضة صامتة بين الاسترجاع والسرعة.
FIND مقابل ضابط FAISS	استرجاع متساوٍ، نقل مطابق، كلاهما داخل العملية، N=1,000,000 D=128	Telys 0.073–0.074 مللي ثانية @0.998 مقابل FAISS الخام 0.080 مللي ثانية @0.999 — تعادل إلى تقدم طفيف. يعتمد على الحجم: متأخر (0.74×) عند N=200k، وصولاً إلى ~1.6× فقط عند N الكبيرة المُقيَّدة بالذاكرة. جودة FAISS، مُسرَّعة بـ Mojo.
تزامن خالٍ من GIL	N=200,000 D=128، 12 نواة أداء، نواة Mojo IVF داخل العملية	إنتاجية FIND تتوسع ×6.9 عبر 8 خيوط (15,128 → 104,756 استعلام/ثانية). توسع الإنتاجية، لا زمن استجابة كل استعلام؛ غير مقارَن بمحركات الخادم.
حداثة الإدراج حتى الاسترجاع	N أساسي=100,000، M=300 إدراج، D=128، داخل العملية	المتجه المُدرَج للتو يحتل المرتبة الأولى في الاستعلام التالي مباشرة: recall@1-of-new = 1.000. إدراج p50 0.3 ميكروثانية. بوابة صحة، لا عنوان إنتاجية.

كل خلية أعلاه تعود إلى سكريبت مُسمَّى ومخرج خام محفوظ في bench/results/ (filtered_impact.txt، partitioned.txt، partition_acceptance.txt، opt.txt، telys.txt، concurrency.txt، freshness.txt). رقم إعادة فتح الاستمرارية مُعلَّق ريثما تُعاد قياسه بعينة خام. كل مضاعف فرضية خارج الشروط المطبوعة في كل صف.

05 جودة استرجاع الكود

مُصمَّم للكود — ومُقيَّم على معيار كود.

يسترجع Telys الكود، لذا يكون المعيار CoIR لا مجموعة نصوص عامة. يُغلَّف LexicalCodeIndex بوصفه mteb SearchProtocol ويُقيَّم عبر mteb.evaluate على المسار ذاته الذي تسلكه خطوط أساس bm25s — لا فجوة منهجية، لا تقييم ذاتي. خطوط الأساس تشغيلات قابلة للاستنساخ من 2026-07-21، لا أرقام ورقة CoIR المنشورة (عدد منها لا يُستنسَخ). المقياس: nDCG@10.

مهمة CoIR	multigram	bm25-ref	bm25-code	برمجي-معجمي · مُشحون	مقابل أفضل خط أساس
CodeTransOceanContest	0.160	0.478	0.600	0.718	✅
CodeTransOceanDL	0.340	0.344	0.351	0.366	✅
CosQA	0.048	0.188	0.213	0.218	✅
SyntheticText2SQL	0.265	0.249	0.372	0.441	✅
CodeFeedbackMT	0.288	0.592	0.591	0.674	✅
CodeFeedbackST	0.162	0.682	0.682	0.722	✅
StackOverflowQA	0.223	0.703	0.687	0.733	✅
AppsRetrieval	0.001	0.048	0.014	0.034	❌
المتوسط	0.186	0.445 †		0.488	7/8

سبع انتصارات من ثمانية؛ متوسط 0.488 مقابل 0.445 لأقوى خط أساس في كل مهمة († أفضل bm25-ref / bm25-code لكل مهمة) — و2.6× متوسط multigram. الخسارة الوحيدة، AppsRetrieval، تقترب من الصفر لكل أسلوب معجمي: عبارات مسائل طويلة في مواجهة كود هو ميدان التضمينات.

الرافعة 01

رموز واعية بالكود + BM25

تُقسَّم المعرِّفات بالطريقة التي يُكتب بها الكود — camelCase وsnake_case والمسارات المنقوطة — لتغذية IDF/BM25 الصريح. هذا وحده يكسب معظم المهام: ينتقل CodeTransOceanContest من 0.478 إلى 0.600 قبل أي ضبط.

الرافعة 02

حذف كلمات التوقف، تجذير خفيف

تُحذف كلمات التوقف الإنجليزية ويُطبَّق مُجذِّر لاحقات خفيف لمحاذاة الاستفسارات اللغوية مع رموز الكود — الرافعة التي تحوِّل SyntheticText2SQL من خسارة إلى 0.441.

الرافعة 03

k1 = 1.8 · b = 1.0

الإعدادات الافتراضية المُشحَنة، مُضبَّطة بـ Algenta على CoIR: تشبُّع أثقل لتكرار المصطلح وتطبيع كامل للطول — الرافعة التي تحوِّل StackOverflowQA.

كل خلية تُستنسَخ من سكريبت واحد — bench/mteb_code_lexical.py — يُمرِّر الجانبين عبر استدعاء mteb.evaluate ذاته (تشغيلات 2026-07-21). code-lexical هو الفهرس الذي يُشحَن به Telys بإعداداته الافتراضية.

06 النشر

انتصارات وتعادلات وخسائر — مكتوبة.

تنسيق النشر مُحدَّد قبل وجود أي رقم، فلا تستطيع الأرقام ثنيه.

الخسائر المنشورة

حيث نخسر، في المطبوع

تحمل كل بطاقة نتائج قسم "حيث نخسر" وقسم "حيث نتعادل فقط مع FAISS"، كلاهما يُملأ تلقائياً من الخلايا. يفشل التقرير في البناء إذا كان أيٌّ منهما فارغاً.

وضع المراجع

إعادة إنتاج الحقل بدوننا

يعمل الإطار مع استبعاد Telys، فيستطيع المشكك إعادة إنتاج أرقام المقارنة والتحكم وحدها والتحقق من أن كل منافس ضُبط وفق دليله الخاص — الإعدادات مُلتزَم بها ومُقارَنة بالإعدادات الافتراضية للمورّد.

العينات الخام

كل خلية تتتبع إلى عينات

كل خلية منشورة ترتبط بعيناتها الخام لكل عملية والنص البرمجي الدقيق الذي أنتجها. النتائج للإلحاق فقط، مفهرسة بمراجعة المحرك وإصدارات التبعيات المجمّعة التي يرتبط بها ارتباطاً ثابتاً.

تحدث إلى الفريق

هذه أرقام نموذج أولي، كل منها مُرفَق بشروطه. حاسِبنا على هذا العقد — وعلى الأرقام ونحن نُعيد قياسها تحت الإطار الكامل.

تُنشر القواعد قبلالأرقام.