محرك التقييم — شغّل، راقب، قِس، واحكم بقرار موثّق

وش محرك التقييم (Evaluation Engine) في Kernel؟

محرك التقييم هو الطبقة اللي تشغّل الـ Datasets على الـ Scorers وتنتج قرار بوابة موثّق. يدعم سبعة أنواع تشغيل: حالة واحدة (single)، Dataset كامل (dataset)، مجموعة فرعية بفلتر قطاع/خطورة (subset)، عينة حتمية بالبذرة (sample)، محادثة متعددة الأدوار (multi-turn)، Agent بصلاحيات محدودة (agent)، وإعادة تشغيل الحالات الفاشلة فقط من Run سابق (rerun-failed).

كل حالة تمر بـ 15 مرحلة موثقة بـ Trace: تحميل Dataset، التحقق من صحة الحالات، إنشاء Evaluation Run، توليد Trace، فحص PII قبل الإرسال، فحص الحقن، تقييم المخاطر، تقييم السياسات، استدعاء النموذج، تقييم المخرجات، حساب التكلفة والزمن، توليد الدليل، تجميع النتائج، قرار البوابة، وتجهيز الشهادة.

• 7 أنواع تشغيل تغطي كل سيناريو اختبار: فردي، جماعي، فرعي، عيّنة، محادثة، وكيل، إعادة الفاشل
• 15 مرحلة خط تشغيل موثقة لكل حالة مع Trace ID فريد
• ضوابط كاملة: pause · cancel · resume · partial saving · concurrency · retry · timeouts · budget
• لا Passed لشغل ناقص — التشغيل المتوقف أو الملغي أو المتجاوز الميزانية = Incomplete بلا شهادة
• لا تُفقد النتائج عند توقف المزوّد — كل حالة تُحفظ فور اكتمالها

ليش محرك التقييم مهم قبل اعتماد أي نموذج؟

قبل ما تضع نموذجاً في الإنتاج، تحتاج إجابة موثقة: هل النموذج يسرّب بيانات شخصية؟ هل يختلق مواد تنظيمية سعودية؟ هل يتبع السياسات؟ محرك التقييم يجيب على هذا بأرقام وأدلة: يشغّل Dataset المعيار السعودي (Saudi Governance Benchmark) على الـ Scorers الحتمية، يحسب التكلفة والزمن، ويخرج بقرار بوابة (Passed / Passed-with-findings / Review-required / Blocked / Incomplete) مع Trace قابل للمراجعة.

القواعد صارمة: تسريب PII حرج في المخرجات = Blocked (يمنع الإنتاج)، فشل Scorer حرج = Incomplete (لا شهادة)، وأي تشغيل متوقف أو ملغي أو متجاوز الميزانية = Incomplete — لا يوجد أي مسار يصدر Passed من شغل ناقص مهما كانت الدرجات. هذا يضمن أن الشهادة تعني فعلاً أن كل الحالات اكتملت ونُجحت بالحدود المطلوبة.