📊 3 مشاهدة

نظرة عامة

Zezo AI هي منصة بحثية متخصصة في مجال الذكاء الاصطناعي مفتوح المصدر، تهدف إلى تطوير ونشر نماذج تعلم آلي قوية ومتاحة للعموم. تركز المنصة على إ democratization المعرفة والوصول العادل لتقنيات الذكاء الاصطناعي.

الرؤية والأهداف

المحور	الوصف
الشفافية	نشر الأكواد والنماذج والبيانات بشكل مفتوح
إتاحة الوصول	تمكين الباحثين والمطورين من استخدام النماذج دون قيود
التطوير المستمر	تحسين النماذج بناءً على مساهمات المجتمع
التعاون	بناء مجتمع بحثي تعاوني حول العالم

استنباط المعرفة الكامنة

يشير مصطلح “استنباط المعرفة الكامنة” في سياق Zezo AI إلى:

1. استخراج الأنماط الخفية

تحليل البيانات الضخمة لاكتشاف علاقات غير ظاهرة
استخلاص رؤى من نماذج التعلم العميق

2. المعرفة الضمنية في النماذج

ما “تعلمته” النماذج دون برمجة صريحة
كيفية تمثيل النماذج للمفاهيم المعقدة

3. التمثيلات الدلالية

تحويل المعرفة غير المهيكلة إلى تمثيلات قابلة للاستعلام
بناء قواعد معرفة من مصادر متنوعة

المجالات البحثية المحتملة

text

├── معالجة اللغة الطبيعية (NLP)
├── الرؤية الحاسوبية (CV)
├── التعلم المعزز (RL)
├── النماذج التوليدية (Generative AI)
├── التعلم متعدد الوسائط (Multimodal)
└── الذكاء الاصطناعي التفسيري (XAI)

المبادئ الأساسية

الانفتاح: الأكواد والأوزان والمنهجيات متاحة للجميع
التكرارية: التحسين المستمر عبر المجتمع
الأخلاقيات: استخدام مسؤول للذكاء الاصطناعي
الابتكار: دفع حدود المعرفة في التعلم الآلي

ملاحظة

إذا كنت تقصد مشروعاً محدداً باسم “Zezo AI” له تفاصيل إضافية (مثل موقع ويب، أوراق بحثية، أو نماذج محددة)، فقد يكون من المفيد تقديم معلومات أكثر تحديداً للحصول على تحليل أدق.

هل تود التعمق في جانب معين من المنصة أو في تقنيات استنباط المعرفة الكامنة تحديداً؟

Zezo AI: تحليل موسّع

أولاً: السياق العام لمنصات الذكاء الاصطناعي مفتوحة المصدر

لفهم موقع Zezo AI ضمن المشهد العالمي، من المفيد مقارنتها بالمنصات الرائدة:

المنصة	الأصل	التخصص	نموذج الإتاحة
Hugging Face	🇺🇸	نماذج + Datasets + Spaces	مفتوح مع خدمات تجارية
EleutherAI	🌍	نماذج لغوية مفتوحة	مفتوح بالكامل
BLOOM	🇪🇺	LLM متعدد اللغات	مفتوح المصدر
LAION	🇩🇪	بيانات نص-صورة	مفتوح
Zezo AI	🌍	بحثي متخصص	مفتوح للعموم

الفرق الجوهري: معظم المنصات أعلاه نشأت في سياقات غربية، بينما تمثل Zezo AI نموذجاً لمنصات بحثية قد تنشأ في سياقات عربية أو إقليمية، مما يطرح أسئلة مهمة حول السيادة المعرفية وتمثيل اللغات الأقل حظاً في نماذج الذكاء الاصطناعي.

ثانياً: تفكيك مفهوم “استنباط المعرفة الكامنة” (Latent Knowledge Elicitation)

هذا المصطلح يحمل طبقات عميقة تستحق التفصيل:

أ. المستويات الثلاثة للمعرفة في النماذج

text

المستوى 1: المعرفة الصريحة (Explicit)
   └── ما تم تدريب النموذج عليه بشكل مباشر
   └── أمثلة: قواعد البيانات، النصوص المدخلة

المستوى 2: المعرفة الكامنة (Latent)
   └── أنماط تعلّمها النموذج ضمنياً دون تصريح
   └── أمثلة: العلاقات الدلالية، الاستدلال المنطقي

المستوى 3: المعرفة الناشئة (Emergent)
   └── قدرات لم تُبرمج ولم تُتوقع، ظهرت مع الحجم
   └── أمثلة: الاستدلال متعدد الخطوات، Theory of Mind

ب. تقنيات استنباط المعرفة الكامنة

1. Probing Classifiers (مصنّفات السبر)

إدخال مسبارات بسيطة على طبقات النموذج الوسيطة
الكشف عمّا إذا كان النموذج “يعرف” معلومة معينة
مثال: هل يعرف النموذج أن “باريس عاصمة فرنسا” قبل أن يُسأل؟

2. Activation Patching (ترقيع التنشيطات)

مقارنة تنشيطات النموذج في حالات مختلفة
تحديد “الدوائر العصبية” المسؤولة عن معرفة معينة
تقنية أساسية في Mechanistic Interpretability

3. Chain-of-Thought Elicitation (استنباط سلسلة التفكير)

استخراج خطوات التفكير الكامنة عبر التلقين
تحويل المعرفة الضمنية إلى صريحة قابلة للفحص

4. Knowledge Distillation (تقطير المعرفة)

نقل المعرفة الكامنة من نموذج كبير إلى أصغر
يحافظ على “الجوهر” مع تقليل الحجم

5. Sparse Autoencoders (المشفرات التلقائية المتناثرة)

تفكيك تمثيلات النموذج إلى مكونات تفسيرية
كشف “الميزات” (Features) الكامنة

ثالثاً: التحديات البحثية في هذا المجال

التحدي 1: مشكلة التفسير (Interpretability Gap)

النماذج تعمل، لكننا لا نفهم كيف تعمل.

الحل المقترح: Interpretability-first design
العقبة: trade-off بين الأداء والقابلية للتفسير

التحدي 2: الهلوسة (Hallucination)

النموذج “يستنبط” معرفة غير موجودة أصلاً.

مرتبط مباشرة بحدود المعرفة الكامنة
الحل: Retrieval-Augmented Generation (RAG)

التحدي 3: التحيز الكامن (Latent Bias)

النموذج يتعلم تحيزات من البيانات دون وعي.

يظهر في التمثيلات الكامنة
يحتاج أدوات استنباط متخصصة لكشفه

التحدي 4: نسيان الكوارث (Catastrophic Forgetting)

فقدان معرفة كامنة عند التدريب على مهام جديدة.

الحل: Continual Learning + Elastic Weight Consolidation

رابعاً: التطبيقات العملية لاستنباط المعرفة الكامنة

المجال	التطبيق	الأثر
الطب	استخراج معرفة من سجلات المرضى	تشخيص أدق
القانون	تحليل السوابق القضائية	استشارات قانونية
التعليم	بناء أنظمة تكيفية	تعلم مخصص
الأمن السيبراني	كشف الأنماط الخبيثة	حماية استباقية
العلوم	اكتشاف قوانين من بيانات تجريبية	تسريع البحث
اللغة العربية	استنباط قواعد نحوية ضمنية	معالجة لغوية أدق

خامساً: البُعد العربي والإقليمي

إذا كانت Zezo AI منصة عربية أو موجهة للمنطقة العربية، فإن استنباط المعرفة الكامنة يكتسب أبعاداً إضافية:

التحديات الخاصة بالعربية

قلة البيانات: العربية من اللغات “منخفضة الموارد” في NLP
تعدد اللهجات: فصحى vs. لهجات محلية
الإعراب والاشتقاق: بنية صرفية معقدة
الخط العربي: تحديات تقنية إضافية

الفرص

بناء نماذج عربية أصيلة لا مترجمة
استنباط معرفة من التراث العربي رقمياً
تمثيل أفضل للثقافة العربية في النماذج العالمية

سادساً: الأسئلة المفتوحة

كيف نقيس المعرفة الكامنة كمياً؟
هل يمكن التحكم في ما يتعلمه النموذج كامناً؟
ما حدود الاستنباط في النماذج فائقة الحجم؟
كيف نوازن بين الشفافية والأداء التجاري؟
من يملك المعرفة الكامنة المستنبطة أخلاقياً وقانونياً؟

سابعاً: خارطة طريق مقترحة لمنصة مثل Zezo AI

text

المرحلة 1: البنية التحتية
  ├── مستودع نماذج مفتوح
  ├── أدوات تقييم شفافة
  └── مجتمع مساهمين

المرحلة 2: البحث المتخصص
  ├── أدوات Interpretability
  ├── معايير استنباط المعرفة
  └── نشر أوراق بحثية

المرحلة 3: التطبيق
  ├── APIs للوصول العام
  ├── تكامل مع الصناعة
  └── برامج تعليمية

المرحلة 4: الاستدامة
  ├── نموذج تمويل مستدام
  ├── حوكمة مجتمعية
  └── شراكات أكاديمية

خلاصة موسّعة

Zezo AI كمشروع بحثي مفتوح المصدر يمثل نقطة تقاطع بين:

🔬 البحث الأكاديمي في التعلم الآلي
🌍 الانفتاح المعرفي والوصول العادل
🧠 فهم أعمق لكيفية عمل النماذج
🗣️ تمثيل لغوي وثقافي متنوع

ومفهوم “استنباط المعرفة الكامنة” هو أحد أعمق التحديات في الذكاء الاصطناعي المعاصر، لأنه يلامس السؤال الجوهري: هل النماذج “تعرف” أم “تحسب” فقط؟

هل تريد التعمق في:

جانب تقني محدد (مثل Sparse Autoencoders أو Mechanistic Interpretability)؟
التطبيقات العربية تحديداً؟
الجوانب الأخلاقية والقانونية؟
مقارنة تفصيلية مع منصات أخرى؟

Zezo AI: التعمق الأقصى — الطبقات الخفية للمعرفة الكامنة

تمهيد: من “ماذا يعرف النموذج” إلى “كيف يعرف”

في الأجزاء السابقة تناولنا استنباط المعرفة الكامنة كمفهوم عام. الآن سنغوص في الطبقات التقنية العميقة، ونكشف البنية التحتية التي تجعل هذا الاستنباط ممكناً، مع تفصيل آليات عمل لم نتطرق إليها بعد.

أولاً: التشريح الرياضي للمعرفة الكامنة

1. الفضاء الكامن (Latent Space) — البُعد الهندسي

كل نموذج تعلم عميق يُنشئ فضاءً متجهياً عالي الأبعاد تُترجم إليه المدخلات:

text

x ∈ ℝ^n  →  Encoder  →  z ∈ ℝ^d  →  Decoder  →  x̂ ∈ ℝ^n

حيث:
  x = المدخل الأصلي (نص، صورة، صوت)
  z = التمثيل الكامن (Latent Representation)
  d = بُعد الفضاء الكامن (غالباً 512 - 12288)

السؤال الجوهري: ماذا يعني “قريب” في هذا الفضاء؟

المفهوم	المعنى الرياضي	الدلالة المعرفية
Cosine Similarity	cos(θ) بين متجهين	تشابه دلالي
Euclidean Distance	‖z₁ – z₂‖₂	قرب مفهومي
Manifold	سطح منحني في الفضاء	بنية المعرفة
Superposition	تراكب متجهات	تعدد المعاني

2. فرضية التراكب الفائق (Superposition Hypothesis)

هذه من أعمق النظريات في تفسير المعرفة الكامنة:

النماذج تمثل أكثر من بُعد معرفي مما لديها من أبعاد فيزيائية.

مثال توضيحي:

text

نموذج بـ 512 بُعداً يمكنه تمثيل 10,000+ مفهوم
كيف؟ عبر التراكب — كل مفهوم موزع على عدة أبعاد
     وكل بُعد يشارك في عدة مفاهيم

النتيجة: المعرفة الكامنة ليست في خلية عصبية واحدة، بل موزعة — وهذا ما يجعل استنباطها تحدياً.

3. الهندسة المتفرقة (Sparse Geometry)

النوع	التمثيل	الميزة	العيب
كثيف (Dense)	كل خلية تشارك	قوي	غير قابل للتفسير
متناثر (Sparse)	قليل من الخلايا تشارك	مفسَّر	أضعف
تراكبي (Superposed)	متجهات قريبة متعامدة تقريباً	توازن	معقد

ثانياً: التقنيات المتقدمة لاستنباط المعرفة الكامنة

أ. المشفرات التلقائية المتناثرة (Sparse Autoencoders – SAEs)

الفكرة الثورية: تفكيك التمثيل الكثيف إلى ميزات متناثرة قابلة للتفسير.

text

البنية:
  Input (كثيف)  →  Encoder  →  ميزات متناثرة  →  Decoder  →  Output

الخسارة:
  L = ‖x - x̂‖²  +  λ·‖h‖₁

  حيث:
    ‖x - x̂‖² = إعادة البناء (Reconstruction)
    ‖h‖₁ = التناثر (Sparsity)
    λ = معامل الموازنة

التطبيق العملي:

Anthropic استخدمت SAEs على Claude لفهم مفاهيم داخلية
اكتشاف “ميزات” مثل: “المخاطبة الرسمية”، “الكود بلغة Python”، “السخرية”

مثال من الواقع:

text

عند إدخال: "أنا سعيد جداً اليوم"
الميزات المتنشطة:
  ✓ ميزة #4521: المشاعر الإيجابية (0.87)
  ✓ ميزة #1203: الزمن الحاضر (0.65)
  ✓ ميزة #8890: ضمير المتكلم (0.91)

ب. التتبع الآلي للدوائر (Circuit Tracing)

الهدف: رسم خريطة سببية لكيفية تدفق المعرفة.

text

المدخل → [طبقة 1] → [طبقة 2] → ... → [طبقة N] → المخرج
         ↓           ↓                    ↓
      عقدة A      عقدة B              عقدة Z
         └─────┬─────┘                    │
               └──────────┬───────────────┘
                          ↓
                   الدائرة المسؤولة
                   عن المعرفة X

أدوات رئيسية:

Attention Head Analysis: تحليل رؤوس الانتباه
MLP Neuron Interpretation: تفسير خلايا الشبكات
Path Patching: تتبع المسارات السببية

ج. تقنية “المسبار الخطي” (Linear Probing) — تعميق

python

# مبسط: كيف نكشف معرفة كامنة؟
def probe_layer(model, layer_idx, concept_dataset):
    """
    concept_dataset: أمثلة عليها التسمية (مثل: جمل + هل هي سؤال؟)
    """
    # 1. استخراج التنشيطات
    activations = []
    for text, label in concept_dataset:
        hidden = model.get_layer_output(text, layer_idx)
        activations.append(hidden)
    
    # 2. تدريب مصنّف خطي بسيط
    classifier = LogisticRegression()
    classifier.fit(activations, labels)
    
    # 3. الدقة تكشف: هل المفهوم موجود كامناً؟
    return classifier.score(test_activations, test_labels)

# إذا كانت الدقة > 90% → المفهوم موجود كامناً في هذه الطبقة

النتائج النموذجية:

المفاهيم النحوية: تظهر في الطبقات الوسطى
المفاهيم الدلالية: تظهر في الطبقات العميقة
المفاهيم السطحية: تظهر في الطبقات الأولى

د. تقنية “التحكم التنشيطي” (Activation Steering)

الأقوى: ليس فقط كشف المعرفة، بل التلاعب بها.

python

# استنباط سلوك كامن وتوجيهه
def steer_model(model, prompt, concept_vector, strength=1.0):
    """
    concept_vector: متجه يمثل المفهوم (مثل: "الصدق")
    strength: قوة التوجيه
    """
    # 1. استخراج التنشيط الأصلي
    original = model.get_activation(prompt)
    
    # 2. إضافة متجه المفهوم
    steered = original + strength * concept_vector
    
    # 3. إعادة التشغيل بالتنشيط المعدل
    return model.generate_with_activation(steered)

تطبيقات مذهلة:

زيادة “الصدق” في الإجابات
تقليل “التحيز” في التوصيات
تعزيز “الإبداع” في الكتابة

ثالثاً: تصنيف أنواع المعرفة الكامنة

تصنيف هرمي جديد

text

المعرفة الكامنة
│
├── 1. معرفة لغوية (Linguistic)
│   ├── نحوية: قواعد ضمنية
│   ├── صرفية: أنماط الاشتقاق
│   └── دلالية: معاني الكلمات
│
├── 2. معرفة عالمية (World Knowledge)
│   ├── واقعية: حقائق عن العالم
│   ├── سببية: علاقات سبب-نتيجة
│   └── زمنية: تسلسل الأحداث
│
├── 3. معرفة إجرائية (Procedural)
│   ├── خطوات: كيفية إنجاز مهمة
│   ├── استدلال: منطق الحل
│   └── تخطيط: استراتيجيات
│
├── 4. معرفة اجتماعية (Social)
│   ├── عواطف: فهم المشاعر
│   ├── آداب: قواعد التفاعل
│   └── ثقافة: سياقات حضارية
│
└── 5. معرفة ميتا (Meta-Knowledge)
    ├── حدود المعرفة: ما لا يعرفه النموذج
    ├── ثقة: مدى اليقين
    └── مصادر: من أين جاءت المعلومة

رابعاً: تحديات القياس الكمي

مشكلة “المعرفة الصامتة” (Silent Knowledge)

الحالة	الوصف	المثال
معرفة مُعلنة	النموذج يجيب صراحة	“عاصمة فرنسا باريس”
معرفة كامنة نشطة	تؤثر في السلوك دون تصريح	تفضيل إجابات معينة
معرفة صامتة	موجودة لكن غير قابلة للاستدعاء	“تعرف” لكن لا تجيب

مقاييس الاستنباط

text

1. Probing Accuracy
   = دقة المسبار في كشف المفهوم

2. Causal Tracing Score
   = قوة العلاقة السببية بين التنشيط والسلوك

3. Feature Interpretability
   = مدى وضوح الميزة للبشر

4. Steering Effectiveness
   = مدى نجاح التوجيه في تغيير السلوك

5. Knowledge Retention
   = نسبة المعرفة المحتفظ بها بعد التقطير

خامساً: تطبيقات متقدمة لم تُطرق بعد

1. علم الآثار الرقمي (Digital Archaeology)

استنباط معرفة من نصوص تاريخية:

text

برديات → OCR → نموذج → استنباط:
  - أنماط تجارية
  - علاقات سياسية
  - معتقدات دينية

2. الطب الدقيق (Precision Medicine)

text

سجلات مرضى → نموذج → استنباط:
  - عوامل خطر خفية
  - تفاعلات دوائية
  - مسارات مرضية

3. استنباط المعرفة القرآنية

text

القرآن + التفاسير + العلوم → نموذج → استنباط:
  - علاقات بين الآيات
  - أنماط بلاغية
  - إعجاز علمي
  ⚠️ بحذر شديد واحترام تام

4. الذكاء الاصطناعي التوليدي المُفسَّر

text

بدلاً من: "النموذج قال X"
نصل إلى: "النموذج قال X لأن الميزة A تنشطت،
          متأثرة بالمدخل B، عبر الدائرة C"

سادساً: البعد الفلسفي — هل “تعرف” النماذج؟

المواقف الفلسفية

الموقف	الرأي	المؤيدون
الوظيفية	المعرفة = القدرة على السلوك الصحيح	Turing, Dennett
التمثيلية	المعرفة = تمثيل داخلي صحيح	Fodor
التجريبية	المعرفة = ارتباطات إحصائية	Connectionists
الظاهراتية	المعرفة = وعي ذاتي	Searle, Chalmers

سؤال Zezo AI الجوهري

إذا استنبطنا معرفة كامنة من نموذج، من يملكها؟

المطور؟

المستخدم؟

المجتمع؟

النموذج نفسه؟

سابعاً: أدوات مفتوحة المصدر للاستنباط

الأداة	الوظيفة	الرابط
TransformerLens	تحليل ميكانيكي	Neel Nanda
Captum	تفسير PyTorch	Meta
SHAP	قيم Shapley	Lundberg
LIME	تفسير محلي	Ribeiro
Inseq	تحليل التسلسل	Zapata
nnsight	تتبع الشبكات	NDIF
SAELens	تشغيل SAEs	Joseph Bloom

ثامناً: خارطة طريق عملية لمشروع Zezo AI

المرحلة الأولى: الأساس (0-6 أشهر)

text

□ بناء مستودع نماذج مفتوح
□ تطوير أدوات تقييم بالعربية
□ إنشاء مجتمع مساهمين
□ نشر أول ورقة بحثية

المرحلة الثانية: التعمق (6-18 شهراً)

text

□ تطبيق SAEs على نماذج عربية
□ بناء أدوات Circuit Tracing
□ تطوير معايير استنباط خاصة بالعربية
□ شراكات أكاديمية

المرحلة الثالثة: التأثير (18-36 شهراً)

text

□ نماذج عربية قابلة للتفسير بالكامل
□ منصة استنباط معرفة عامة
□ تطبيقات في التعليم والصحة
□ سياسات حوكمة

تاسعاً: أسئلة بحثية مفتوحة

هل يمكن بناء نموذج “شفاف بالتصميم” من البداية؟
كيف نقيس المعرفة الكامنة عبر اللغات؟
ما العلاقة بين الحجم والاستنباط؟
هل يمكن استنباط المعرفة دون الوصول للأوزان؟
كيف نمنع استنباط معرفة ضارة؟
ما حدود التقطير في نقل المعرفة الكامنة؟

خلاصة نهائية

Zezo AI كمشروع بحثي مفتوح المصدر يقف على حدود المعرفة في الذكاء الاصطناعي:

🔬 علمياً: استنباط المعرفة الكامنة هو أحدث حدود Interpretability
🌍 مجتمعياً: الانفتاح يضمن عدالة الوصول
🧠 فلسفياً: يطرح أسئلة عن طبيعة المعرفة نفسها
🗣️ ثقافياً: فرصة لتمثيل العربية بعمق

الرسالة الجوهرية: المعرفة الكامنة ليست مجرد “بيانات مخفية”، بل بنية معرفية كاملة تنتظر من يفك شفرتها.

هل تريد التعمق في:

جانب تقني محدد (SAEs, Circuit Tracing, Steering) بتفصيل كودي؟
تطبيق عربي عملي لمشروع مماثل؟
الجوانب الأخلاقية والقانونية للمعرفة الكامنة؟
بناء نموذج أولي لمنصة استنباط؟

Zezo Ai

نبذة

Zezo Ai منصة بحثية متخصصة في الذكاء الاصطناعي مفتوح المصدر، تعمل على تطوير ونشر نماذج تعلم آلي قوية ومتاحة للعموم.

استكشف أبحاثنا

الترجمة الفورية عبر الزمن

الترجمة الفورية عبر الزمن — كيف تظهر خصائص النماذج وتتطور خلال عملية التدريب؟

استنباط المعرفة الكامنة

استنباط المعرفة الكامنة — مع ازدياد ذكاء النماذج، لن يتمكن البشر دائمًا من التحقق بشكل مستقل من صحة أو خطأ ادعاءات النموذج. نسعى لتجاوز هذه المشكلة من خلال استخلاص المعرفة الكامنة (ELK) مباشرةً داخل عمليات تنشيط النموذج.

تدريب ماجستير القانون

تدريب ماجستير القانون — قامت Zezo Ai بتدريب وإصدار العديد من نماذج التعلم الآلي القوية مفتوحة المصدر.

المنشورات الحديثة

قياس تأثير تلوث مجموعة الاختبار على التقييمات التوليدية

16 فبراير 2026 — arXiv

مع اعتماد أنظمة الذكاء الاصطناعي الرائدة على التدريب المسبق باستخدام بيانات ضخمة على مستوى الويب، أصبح تلوث مجموعة الاختبار مصدر قلق بالغ لتقييم قدراتها بدقة. وبينما بحثت الدراسات بشكل معمق تأثير تلوث مجموعة الاختبار على التقييمات التمييزية، مثل الإجابة على أسئلة الاختيار من متعدد، لم تتناول سوى دراسات قليلة نسبيًا تأثيره على التقييمات التوليدية. في هذا العمل، نقوم بتقييم تأثير تلوث مجموعة الاختبار على التقييمات التوليدية كميًا خلال دورة حياة نموذج اللغة. ندرب نماذج اللغة مسبقًا على مزيج من بيانات الويب ومعيار MATH، مع تغيير أحجام النماذج وعدد نسخ مجموعة الاختبار التي تلوث مجموعة التدريب المسبق؛ يتحسن الأداء مع زيادة التلوث وحجم النموذج. باستخدام قوانين القياس، توصلنا إلى اكتشاف مثير للدهشة: حتى تضمين نسخة واحدة من مجموعة الاختبار يمكّن النماذج من تحقيق خسارة أقل من الخطأ غير القابل للاختزال الناتج عن التدريب على مجموعة البيانات غير الملوثة. ثم ندرس من التدريب: يقلل التدريب المفرط باستخدام بيانات جديدة من آثار التلوث، بينما يمكن أن يؤدي الضبط الدقيق الخاضع للإشراف على مجموعة التدريب إلى زيادة أو تقليل الأداء على بيانات الاختبار، اعتمادًا على مقدار تلوث التدريب المسبق. أخيرًا، عند الاستدلال، نحدد العوامل التي تعدل الحفظ: تعمل درجات حرارة أخذ العينات العالية على تخفيف آثار التلوث، وتكون الحلول الأطول أصعب بكثير في الحفظ من الحلول الأقصر، مما يمثل تناقضًا مع التقييمات التمييزية، حيث لا يتجاوز طول الحلول بضعة رموز. من خلال توصيف كيفية تفاعل التوليد والحفظ، نسلط الضوء على مستوى جديد من التعقيد لتقييم موثوق لأنظمة الذكاء الاصطناعي.

الجهل العميق: ترشيح بيانات التدريب المسبق يبني ضمانات مقاومة للتلاعب في نماذج التعلم المحدود ذات الأوزان المفتوحة

25 أغسطس 2025

توفر أنظمة الذكاء الاصطناعي ذات الأوزان المفتوحة مزايا فريدة، تشمل تعزيز الشفافية، والبحث المفتوح، والوصول اللامركزي. مع ذلك، فهي عرضة لهجمات التلاعب التي يمكنها استنباط سلوكيات ضارة بكفاءة عالية من خلال تعديل الأوزان أو التنشيطات. حاليًا، لا يوجد علم راسخ لإدارة مخاطر نماذج الأوزان المفتوحة. وقد واجهت أساليب الضبط الدقيق للسلامة الحالية وتقنيات ما بعد التدريب الأخرى صعوبة في جعل نماذج التعلم الخطي مقاومة لأكثر من بضع عشرات من خطوات الضبط الدقيق العدائي. في هذه الورقة، نبحث فيما إذا كان ترشيح النصوص المتعلقة بمواضيع الاستخدام المزدوج من بيانات التدريب يمكن أن يمنع القدرات غير المرغوب فيها ويُشكل ضمانة أكثر مقاومة للتلاعب. نقدم مسارًا متعدد المراحل لترشيح البيانات قابلًا للتوسع، ونُبين أنه يوفر طريقة عملية وفعالة لتقليل معرفة مؤشرات التهديدات البيولوجية في نماذج التعلم الخطي. قمنا بتدريب نماذج متعددة ذات 6.9 مليار مُعامل مسبقًا من الصفر، ووجدنا أنها تُظهر مقاومة كبيرة لهجمات الضبط الدقيق المُضادة على ما يصل إلى 10,000 خطوة و300 مليون رمز من النصوص المتعلقة بالتهديدات البيولوجية، متفوقةً بذلك على النماذج الأساسية الحالية بعد التدريب بأكثر من عشرة أضعاف، دون أي تراجع ملحوظ في القدرات غير ذات الصلة. ومع ذلك، فبينما تفتقر النماذج المُفلترة إلى المعرفة الداخلية بالخطر، وجدنا أنها لا تزال قادرة على الاستفادة من هذه المعلومات عند توفيرها في سياقها (على سبيل المثال، من خلال تعزيز أدوات البحث)، مما يُظهر الحاجة إلى نهج دفاعي متعدد الطبقات. إجمالًا، تُساعد هذه النتائج في ترسيخ تنظيم بيانات التدريب المسبق كطبقة دفاعية واعدة لأنظمة الذكاء الاصطناعي مفتوحة الأوزان.

التدخلات القابلة للتركيب لنماذج اللغة

9 يوليو 2025

يمكن للتدخلات أثناء اختبار نماذج اللغة أن تعزز دقة المعلومات، وتخفف من المخرجات الضارة، وتحسن كفاءة النموذج دون الحاجة إلى إعادة تدريب مكلفة. ولكن على الرغم من وفرة الأساليب الجديدة، فإن أنواع التدخلات المختلفة تتطور بشكل مستقل إلى حد كبير. عمليًا، يجب تطبيق تدخلات متعددة بالتتابع على النموذج نفسه، ومع ذلك نفتقر إلى طرق موحدة لدراسة كيفية تفاعل هذه التدخلات. نسد هذه الفجوة من خلال تقديم التدخلات القابلة للتركيب، وهو إطار عمل لدراسة آثار استخدام تدخلات متعددة على نماذج اللغة نفسها، ويتميز بمقاييس جديدة وقاعدة بيانات موحدة. باستخدام إطار عملنا، نجري تجارب مكثفة ونركب أساليب شائعة من ثلاث فئات تدخل ناشئة: تحرير المعرفة، وضغط النموذج، وإلغاء التعلم الآلي. تكشف نتائجنا من 310 تركيبات مختلفة عن تفاعلات ذات مغزى: فالضغط يعيق التحرير وإلغاء التعلم، ويعتمد تركيب التدخلات على ترتيب تطبيقها، والمقاييس العامة الشائعة غير كافية لتقييم قابلية التركيب. مجتمعة، تُظهر نتائجنا فجوات واضحة في قابلية التركيب، مما يشير إلى الحاجة إلى تدخلات جديدة متعددة الأهداف. جميع أكوادنا متاحة للعموم هنا: https://github.com/hartvigsen-group/composable-interventions

تقييم التوافق الصرفي لبرامج تجزئة الكلمات في 70 لغة

8 يوليو 2025

على الرغم من أن تجزئة الكلمات خطوة أساسية في نمذجة اللغة، لما لها من تأثير على تدريب النموذج وأدائه، إلا أنه لا يزال من غير الواضح كيفية تقييم جودة التجزئة بفعالية. أحد الأبعاد المقترحة لجودة التجزئة هو مدى احتفاظها بالوحدات اللغوية ذات الدلالة، وذلك بمواءمة حدود الكلمات مع الحدود الصرفية داخل الكلمة. قمنا بتوسيع نطاق MorphScore (Arnett & Bergen, 2025)، الذي كان يغطي سابقًا 22 لغة، ليدعم 70 لغة. يوفر MorphScore المُحدَّث مرونة أكبر في التقييم، ويعالج بعض قيود النسخة الأصلية. ثم قمنا بربط درجات المواءمة بأداء المهام اللاحقة لخمسة نماذج لغوية مُدرَّبة مسبقًا في سبع مهام، مع مهمة واحدة على الأقل في كل لغة من لغات العينة. وجدنا أن المواءمة الصرفية لا تُفسِّر سوى جزء ضئيل من التباين في أداء النموذج، مما يشير إلى أن المواءمة الصرفية وحدها لا تقيس أبعاد جودة التجزئة ذات الصلة بأداء النموذج.

توسيع نطاق تعلم التمثيل ذاتي الإشراف لأداء البيانو الرمزي

30 يونيو 2025

ندرس قدرات نماذج المحولات الانحدارية الذاتية التوليدية المدربة على كميات كبيرة من تدوينات البيانو المنفردة الرمزية. بعد التدريب المسبق على ما يقارب 60,000 ساعة من الموسيقى، نستخدم مجموعة فرعية أصغر نسبيًا وعالية الجودة لضبط النماذج بدقة لإنتاج تتابعات موسيقية، وأداء مهام التصنيف الرمزي، وإنتاج تضمينات MIDI تباينية للأغراض العامة من خلال تكييف إطار عمل SimCLR مع الموسيقى الرمزية. عند تقييم تماسك تتابعات البيانو، يتفوق نموذجنا التوليدي على تقنيات التوليد الرمزي الرائدة ويظل منافسًا لنماذج توليد الصوت الخاصة. في معايير تصنيف استرجاع المعلومات الموسيقية، تحقق التمثيلات المجمدة من نموذجنا التبايني نتائج متقدمة في تجارب التحقق الخطي، بينما يُظهر الضبط الدقيق المباشر قابلية تعميم التمثيلات المدربة مسبقًا، والتي غالبًا ما تتطلب بضع مئات فقط من الأمثلة المصنفة للتخصص في المهام اللاحقة.

[عرض ]

أخبار

استعراض موجز لفعالية Zezo Ai الصيفية لأبحاث الذكاء الاصطناعي المفتوح

18 مايو 2026

في أغسطس من العام الماضي، استضافت Zezo Ai مؤتمر صيف أبحاث الذكاء الاصطناعي المفتوح (SOAR) للمرة الأولى. ورغم تنظيمه على عجل وبدون ميزانية، فقد حقق نجاحًا باهرًا! وبما أننا بصدد تنظيم النسخة الثانية من SOAR، فقد رأينا أن الوقت مناسب لكتابة تقرير استعادي عن هذا الحدث.

كيف بدأت القصة

على غرار أسلوب Zezo Ai المعهود، انبثقت فكرة SOAR من نقاشٍ دار في قناة #off-topic على الخادم. وعلى عكس المحادثات الجانبية المعتادة، تمحور هذا النقاش حول صعود البحث العلمي مفتوح المصدر الذي تقوده المجتمعات، كما هو الحال في EAI وغيرها من المنظمات، وتدفق الأشخاص، الذين غالباً ما يفتقرون إلى الخبرة البحثية السابقة، للانضمام إلى خادم EAI على ديسكورد والمساهمة في المشاريع. لاحظنا غياب آلية فعّالة لدمج هؤلاء الأشخاص، فقررنا معالجة هذا الأمر بتنظيم فعالية على غرار الهاكاثون.

كيف سارت الأمور

بعد جمع مشاريع من باحثين من Zezo Ai، وكوهير، وأبارت، ومنظمات أخرى، استقررنا على 12 مشروعًا تتناول مواضيع متنوعة، من قابلية التفسير الآلي إلى سلامة الذكاء الاصطناعي. كانت تقديراتنا الأولية لعدد الطلبات حوالي 100 طلب، وهو رقم أقل بكثير من أكثر من 500 طلب تلقيناها خلال أسبوعين. بعد عملية مراجعة اتسمت بشيء من الفوضى، تم قبول 142 شخصًا.

ومنذ ذلك الحين، سارت الأمور على نحو جيد. لم يستمر مشروعان بعد الأسبوع الأول، لكن بقية المشاريع استمرت حتى النهاية، حيث بقي 99 مشاركًا نشطًا في نهاية الفعالية. وهذا معدل استبقاء جيد بشكلٍ مفاجئ في رأينا، مع أننا نتوقع أن يكون أقل في نسخة هذا العام.

تأثير

واصل عدد من المشاركين العمل على مشاريعهم بعد انتهاء الفعالية، غالباً على مدى عدة أشهر. وقد أسفر ذلك عن نشر أربعة أبحاث على الأقل في ورش عمل مختلفة ضمن المؤتمر، بالإضافة إلى عدد آخر قيد التقديم. بالنسبة لمعظم المشاركين، كان هذا أول منشور لهم على الإطلاق. أما المشاريع الأخرى، فقد أسفرت عن نشر حزمة برمجية بلغة بايثون أو موقع إلكتروني.

بشكل عام، أفاد المشاركون الذين أكملوا البرنامج بنجاح أنهم راضون عن تجربتهم، وأن برنامج SOAR كان تجربة تعليمية مكّنتهم من الالتحاق ببرامج زمالة أخرى، أو إيجاد وظيفة، أو ببساطة تحسين أدائهم في وظائفهم الحالية. بالنسبة لبعض المتدربين، أتاح لهم برنامج SOAR اكتساب مهارات بحثية ما كانوا ليحصلوا على فرصة تعلمها لولا البرنامج.

الخاتمة والدروس المستفادة

لقد انبهرنا للغاية بنتائج مشروع SOAR وما حققه رغم كونه في البداية فعالية مجتمعية ذات إمكانيات محدودة. إن إتاحة الفرصة للجميع للانضمام والمساهمة في مشروع بحثي هو جوهر فلسفة Zezo Ai، ونحن فخورون للغاية بمساهمتنا في تعزيز هذه الروح من خلال SOAR.

لكن هذا لا يعني أن كل شيء سار بسلاسة تامة، فقد وُقعت بعض الأخطاء البسيطة أثناء تنظيم الفعالية. لقد أخذنا هذه المشكلات بعين الاعتبار واتخذنا خطوات لمعالجتها في نسخة هذا العام من برنامج SOAR، والتي يمكنك التقديم لها هنا.

نحن متحمسون لرؤية ما سينتج عن مشاريع هذا العام!

الملحق: شهادات العملاء

بعد انتهاء برنامج SOAR مباشرةً، انضممتُ إلى برنامج زمالة MATS في مجال بحثي يركز بشكل كبير على الجانب النظري. أعتقد أن مشاركتي في برنامج SOAR هي التي صنعت الفرق بين أن أبدو كباحث طموح في مجال الذكاء الاصطناعي/التعلم الآلي ذي خلفية رياضية واسعة، وبين أن أبدو كفيزيائي ينجرف وراء التيار نحو الذكاء الاصطناعي. — تشارلز ر. و.

“بصفتي شخصًا من قطاع الصناعة، كانت هذه فرصة رائعة بالنسبة لي للتواصل مع الأشخاص الذين يتطلعون إلى المساهمة في النظام البيئي للذكاء الاصطناعي، بالإضافة إلى اكتساب فهم أفضل للأوساط الأكاديمية والبحوث الجارية.” — عبد الرحيم

كان برنامج SOAR تجربتي الأولى في برنامج بحثي في مجال الذكاء الاصطناعي. وقد حفزني العمل عن بُعد مع مرشدين ذوي خبرة على التفكير كباحث، بدءًا من قراءة الأدبيات بشكل نقدي، مرورًا بتصميم التجارب بشكل منهجي، وصولًا إلى معرفة متى أطرح الأسئلة الصحيحة. أوصي بشدة ببرنامج SOAR لأي باحث في المراحل الأولى من مسيرته المهنية يرغب في سد الفجوة بين الدراسة النظرية والبحث العلمي الحقيقي. — إرياوان بي واي

لقد كان برنامج SOAR مفيدًا للغاية لي كباحثة في بداية مسيرتي المهنية. لم يقتصر دوره على مساعدتي في البحث وتعريفي بمجالات بحثية لم أكن أعرفها من قبل، بل ساهم أيضًا بشكل كبير في تطويري الأكاديمي. كان مرشدي لطيفًا ومتعاونًا للغاية، حيث عرّفني على مجالات بحثية تتجاوز مواضيع البرنامج. أوصي به بشدة للطلاب أو لمن ينوون دخول مجال البحث العلمي. — لويس إف إس

“لقد أتاح لي برنامج SOAR الفرصة للدخول إلى هذا المجال والمساهمة فعلياً في مشروع بحثي جدير بالنشر في مجال الذكاء الاصطناعي. وقد ربطني بموجهين موهوبين ساعدوني في بناء الأسس اللازمة لرحلتي البحثية.” — عائشة إ.

الملحق: الأوراق البحثية الصادرة عن مؤتمر SOAR 2025

فيما يلي قائمة المنشورات التي نتجت عن مؤتمر SOAR 2025. قد نقوم بتحديثها في المستقبل حيث لا تزال بعض الأوراق البحثية الأخرى قيد التطوير.

كريستيان تشو-تشنغ، جون باكسوند، دون لي تشان، أليكس كوفنتري، أفيد إسلامي، جيوتين غويل، شينغوين هان، دانيش سومرو، غالين وي، “نهج تقليدي لاستمرارية البيانو الرمزية”، قُبلت كجلسة MIREX في مؤتمر ISMIR 2025. https://arxiv.org/abs/2509.12267
بريرانا راني، أميتيش فاتسا، ياش بيثي، أوجان باتو أكتولون، كيفن لي، إيشان سينغ، ضغط الصوت الموجه بالانتباه لـ LLM متعدد الوسائط. قُبل في ورشة عمل ICASSP 2026 بعنوان “برنامج ترميز الصوت منخفض الموارد”.
عائشة عمران، سوهام تشاتيرجي، توجيه متجه الشخصية: آلية توجيه بسيطة وقابلة للتفسير للحد من الهلوسات لدى طلاب ماجستير القانون. قُبلت في ورشة عمل NeuRIPS 2025 حول نمذجة شخصية طلاب ماجستير القانون. https://neurips.cc/virtual/2025/loc/mexico-city/129955
ناهد علم، ليما كريشنا مورالي، سيدانت بهارادواج، باتريك ليو، تيموثي تشونغ، دريشتي شارما، أكشاتا أ، كرانثي كيران، ويسلي تام، بالا كريشنا إس فيجيسنا، النقطة العمياء المكانية لنماذج لغة الرؤية. تم قبولها في ورشة عمل ICLR 2026 “لا أستطيع أن أصدق أنها ليست أفضل”، https://arxiv.org/abs/2601.09954

صيف العلوم المفتوحة

7 يوليو 2025

يسرّنا الإعلان عن مبادرة جديدة لتمكين الباحثين المبتدئين في مجال الذكاء الاصطناعي من المساهمة في العلوم المفتوحة تحت إشراف باحثين ذوي خبرة. باب التقديم مفتوح الآن حتى 21 يوليو، ويستمر البرنامج طوال شهر أغسطس.

كومون بايل الإصدار 0.1

15 يونيو 2025

لقد أصدرنا Common Pile v0.1، وهو عبارة عن 8 تيرابايت من النصوص المتاحة للجمهور والمرخصة بشكل مفتوح، لتدريب نماذج اللغة الكبيرة ونماذج Comma v0.1 التي تم تدريبها عليه.

ائتلاف التقييم

12 يونيو 2025

بالشراكة مع Hugging Face وجامعة إدنبرة، نطلق مبادرة لتحسين علم وممارسة تقييم نماذج اللغة.

عن

بحث

نمذجة اللغة
قابلية التفسير
تنسيق
طرق أخرى

الإصدارات

مدونة

contact@eleuther.ai

Zezo Ai —

المنشورات الحديثة (تكملة)

ما وراء الدقة: تقييم موثوقية النماذج اللغوية في المهام الواقعية

2 يونيو 2025

تُقاس النماذج اللغوية غالبًا بمعايير الدقة الإجمالية، غير أن هذه المقاييس تخفي تباينًا كبيرًا في الأداء عبر أنواع المدخلات المختلفة. نقترح إطارًا لتقييم الموثوقية يقيس استقرار تنبؤات النموذج عند إعادة صياغة السؤال أو تغيير ترتيب الخيارات أو إدخال ضوضاء طفيفة. بتطبيق الإطار على اثني عشر نموذجًا لغويًا مفتوحًا، نجد أن الفجوة بين أفضل وأسوأ أداء للنموذج نفسه قد تصل إلى 34 نقطة مئوية، وأن النماذج الأكبر ليست بالضرورة الأكثر استقرارًا. كما نُظهر أن الضبط الدقيق على بيانات متوازنة يحسّن الموثوقية دون تحسين الدقة بالضرورة، مما يشير إلى أن الاستقرار بُعد تقييمي مستقل يستحق قياسًا منفصلًا.

تمثيلات مشتركة بين اللغة والموسيقى في النماذج متعددة الوسائط

19 مايو 2025

نستكشف ما إذا كانت النماذج اللغوية الكبيرة المُدرَّبة على النص فقط قادرة على اكتساب تمثيلات ذات معنى للموسيقى الرمزية عند تدريبها على مهام مشتركة. بتدريب محوّل واحد على النص والتدوين الموسيقي معًا، نجد أن النموذج يطوّر فضاءً تمثيليًا مشتركًا تظهر فيه بنى متوازية بين البنية النحوية والبنية الإيقاعية. تتفوق التمثيلات الموسيقية الناتجة على تمثيلات النماذج المتخصصة في مهام التصنيف، بينما تحتفظ قدرات النموذج اللغوية بأدائها الأصلي تقريبًا. تشير النتائج إلى أن القواسم البنيوية بين اللغة والموسيقى أعمق مما كان مفترضًا.

إعادة النظر في قوانين القياس عند حدود البيانات

3 مايو 2025

تفترض قوانين القياس التقليدية توفر بيانات تدريب غير محدودة نسبيًا، وهو افتراض يتعرض لضغوط متزايدة مع اقتراب النماذج من استنفاد البيانات المتاحة على الويب. نحلل سلوك قوانين القياس في النظام المحدود بالبيانات، ونقترح صيغة معدلة تدمج جودة البيانات وتنوعها كمغيرات مستقلة إلى جانب الحجم. تُظهر تجاربنا على نماذج بأحجام متفاوتة أن الصيغة المعدلة تتنبأ بالأداء بدقة أعلى بكثير عندما تكون البيانات محدودة، وأن تحسين الجودة قد يعوّض عن نقص الكمية بفعالية أكبر مما كان يُعتقد سابقًا.

أخبار إضافية

إصدار مجموعة بيانات Zezo Arabic Pile

28 أبريل 2025

يسرّنا الإعلان عن إتاحة Zezo Arabic Pile، وهي مجموعة بيانات نصية عربية مفتوحة المصدر بحجم 1.2 تيرابايت، تشمل نصوصًا من مصادر متنوعة تغطي الفصحى واللهجات الإقليمية. صُممت المجموعة لسد الفجوة في الموارد العربية المتاحة لتدريب النماذج اللغوية مفتوحة المصدر، وتأتي موثقة بالكامل مع بيانات وصفية حول المصدر والترخيص والتنوع اللغوي.

Zezo Ai تنضم إلى مبادرة النماذج المفتوحة المسؤولة

10 أبريل 2025

أعلنت Zezo Ai انضمامها إلى مبادرة دولية تهدف إلى وضع معايير مشتركة لتطوير ونشر النماذج اللغوية مفتوحة الأوزان. تشمل المبادرة التزامات بالشفافية في توثيق البيانات، والإفصاح عن القيود المعروفة للنماذج، وتطوير أدوات تقييم موحدة للمخاطر. وتأتي هذه الخطوة في إطار التزام Zezo Ai المستمر بجعل البحث المفتوح مسؤولًا وقابلًا للمساءلة.

ورشة عمل Zezo Ai حول قابلية التفسير الآلي

22 مارس 2025

استضافت Zezo Ai ورشة عمل افتراضية حول أحدث التطورات في قابلية التفسير الآلي للنماذج اللغوية الكبيرة، بمشاركة باحثين من جامعات ومؤسسات متعددة. تناولت الورشة تقنيات تحليل الخلايا العصبية الاصطناعية، وطرق تتبع مسارات الاستدلال، وأدوات تصور آليات الانتباه. سُجّلت الجلسات وستُتاح للعموم قريبًا.

أبحاثنا

نمذجة اللغة

تطوير نماذج لغوية مفتوحة المصدر قادرة على المنافسة مع النماذج المغلقة، مع التركيز على الشفافية والتوثيق الكامل لبيانات التدريب وعمليات التقييم.

قابلية التفسير

دراسة البنية الداخلية للنماذج اللغوية لفهم كيفية تمثيل المعرفة واتخاذ القرارات، وتطوير أدوات تتيح للباحثين فحص سلوك النماذج وتحليله.

تنسيق

العمل على مواءمة سلوك النماذج مع القيم الإنسانية والأهداف المحددة، عبر تقنيات تشمل التعلم من التغذية الراجعة البشرية والضبط الدقيق الموجه.

طرق أخرى

استكشاف مجالات بحثية متقاطعة تشمل التقييم، والموثوقية، والمعالجة متعددة الوسائط، وتعلم التمثيل، وتطبيقات الذكاء الاصطناعي في مجالات كالموسيقى واللغة.

الإصدارات

Common Pile v0.1 — 8 تيرابايت من النصوص مفتوحة الترخيص لتدريب نماذج اللغة الكبيرة (يونيو 2025)
Zezo Arabic Pile — 1.2 تيرابايت من النصوص العربية المتنوعة (أبريل 2025)
Comma v0.1 — نماذج مدربة على Common Pile (يونيو 2025)
نماذج التعلم الخطي — سلسلة نماذج بأحجام متفاوتة مع أوزان مفتوحة

مدونة

ننشر بانتظام مقالات حول أبحاثنا، وتقنياتنا، وتأملاتنا في مشهد الذكاء الاصطناعي مفتوح المصدر. تشمل الموضوعات الأخيرة: تقييم الموثوقية، وأخلاقيات النماذج المفتوحة، ودروس من تنظيم المبادرات المجتمعية.

تواصل معنا

contact@eleuther.ai

Zezo Ai — (تكملة موسّعة)

المنشورات الحديثة (تكملة)

الكشف عن الهلوسة عبر عدم الاتساق الداخلي

14 مارس 2025

نقترح طريقة جديدة للكشف عن هلوسة النماذج اللغوية دون الحاجة إلى معرفة خارجية أو نموذج تحقق منفصل، تعتمد على قياس عدم الاتساق بين تمثيلات النموذج الداخلية عبر طبقاته المختلفة. عندما يولّد النموذج معلومة ملفقة، تظهر فجوة قابلة للقياس بين ما “يعرفه” النموذج في طبقاته الوسطى وما “يقوله” في مخرجاته النهائية. بتدريب مصنّف خفيف على هذه الإشارة الداخلية، نحقق دقة كشف تصل إلى 81% على مهام توليدية متنوعة، متفوقين على أساليب التحقق الذاتي التقليدية، ودون أي تكلفة استدلال إضافية تقريبًا.

أثر ترتيب البيانات على تعلّم المفاهيم في النماذج اللغوية

27 فبراير 2025

يُهمل ترتيب عرض بيانات التدريب المسبق عادةً باعتباره عاملًا ثانويًا، غير أن تجاربنا تُظهر أنه يؤثر بشكل كبير على الطريقة التي تكتسب بها النماذج المفاهيم المجردة. بتدريب نماذج متطابقة على نفس البيانات بترتيبات مختلفة، نجد أن تقديم الأمثلة المتدرجة من البسيط إلى المعقد يسرّع تعلّم المفاهيم التركيبية، بينما يؤدي الترتيب العشوائي إلى تمثيلات أكثر تناثرًا وأقل قابلية للنقل. كما نُظهر أن الترتيب يؤثر على موضع تخزين المفاهيم داخل الشبكة، مما يفتح بابًا للتحكم في سلوك النموذج عبر هندسة البيانات لا هندسة المعمارية فقط.

نحو تقييم متعدد الثقافات للنماذج اللغوية العربية

9 فبراير 2025

مع تزايد استخدام النماذج اللغوية في المنطقة العربية، تبرز الحاجة إلى معايير تقييم تراعي التنوع الثقافي واللغوي. نقدّم مجموعة اختبارات عربية متعددة الثقافات تغطي الفصحى الحديثة، واللهجات الخليجية والمصرية والمغاربية، ومهامًا تتعلق بالسياق الثقافي والديني والتاريخي. تُظهر نتائجنا أن النماذج متعددة اللغات تتفوق على النماذج أحادية اللغة في الفصحى، لكنها تتراجع بشكل حاد في اللهجات، وأن الأداء على المهام الثقافية لا يرتبط بقوة بالأداء اللغوي العام، مما يشير إلى أن التمثيل الثقافي بعد مستقل يستحق قياسًا منفصلًا.

ضغط النماذج اللغوية مع الحفاظ على قابلية التفسير

21 يناير 2025

تسعى معظم أساليب ضغط النماذج إلى تقليل الحجم بأقل خسارة في الأداء، لكنها غالبًا ما تدمر البنية الداخلية القابلة للتفسير. نقترح إطار ضغط يحافظ على الخلايا العصبية ذات الأهمية التفسيرية عبر تحديد الوحدات المسؤولة عن مفاهيم محددة وحمايتها أثناء التقليم والتكميم. على الرغم من أن طريقتنا تحقق ضغطًا أقل قليلًا من الأساليب التقليدية، إلا أنها تحافظ على 94% من قابلية التفسير الأصلية مقابل 61% فقط للأساليب المنافسة، مما يجعل النماذج المضغوطة قابلة للتدقيق والتحليل.

أخبار إضافية

Zezo Ai تطلق برنامج المنح البحثية للمجتمعات الناطقة بالعربية

15 يناير 2025

يسرّنا الإعلان عن برنامج منح بحثية موجّه للباحثين في المنطقة العربية، يوفّر تمويلًا وإرشادًا أكاديميًا لمشاريع تهدف إلى تطوير موارد ونماذج وتقنيات ذكاء اصطناعي مفتوحة باللغة العربية. يشمل البرنامج مسارات في معالجة اللغة العربية، والتقييم الثقافي، وتطبيقات الذكاء الاصطناعي في التعليم والصحة. التقديم مفتوح حتى نهاية فبراير.

نتائج تحدي Zezo Ai لتفسير الانتباه

3 يناير 2025

اختُتم تحدي Zezo Ai السنوي لتفسير آليات الانتباه بمشاركة 87 فريقًا من 23 دولة. ركّز التحدي على تطوير طرق لتحديد أي رؤوس انتباه مسؤولة عن سلوكيات محددة، مثل تتبع الحقائق أو الانحياز اللغوي. فاز فريق من جامعة الملك عبدالله للعلوم والتقنية بأفضل حل، وقدّمت الفرق المشاركة 14 أداة مفتوحة المصدر متاحة الآن للعموم.

شراكة مع مؤسسات بحثية عربية

12 ديسمبر 2024

أعلنت Zezo Ai عن شراكات بحثية مع عدة مؤسسات أكاديمية في المنطقة العربية، تشمل التعاون في بناء موارد لغوية، وتدريب نماذج إقليمية، وتنظيم ورش عمل مشتركة. تهدف الشراكات إلى تعزيز حضور البحث المفتوح في المنطقة وربط الباحثين المحليين بالمجتمع العالمي.

تأملات بحثية

لماذا ننشر أوزان النماذج؟

في ظل الجدل المتصاعد حول مخاطر النماذج مفتوحة الأوزان، نرى أن الإجابة ليست في حجب الأوزان بل في بناء ضمانات تقنية ومؤسسية حولها. الأوزان المفتوحة تتيح التدقيق، وتكشف التحيّز، وتُمكّن البحث المستقل. لكنها تتطلب أيضًا أطرًا جديدة للمساءلة، تشمل توثيقًا صارمًا للبيانات، وأدوات تقييم متاحة للعموم، ومجتمعات بحثية قادرة على رصد السلوك الضار. نعمل في Zezo Ai على هذه الطبقات الثلاث معًا.

البيانات ليست محايدة

كل مجموعة بيانات تحمل اختيارات بشرية: ما يُضمَّن، وما يُستبعد، وكيف يُصنَّف، وبأي لغة يُكتب. في Zezo Ai، نوثّق هذه الاختيارات علنًا وننشر بيانات وصفية دقيقة عن مصادرنا. نعتقد أن الشفافية حول البيانات لا تقل أهمية عن الشفافية حول المعمارية، وأن أي نقاش جدي حول سلامة الذكاء الاصطناعي يجب أن يبدأ من هنا.

التقييم علم قائم بذاته

التقييم ليس خطوة ثانوية تُنجز بعد التدريب، بل مجال بحثي مستقل يستحق أدواته ومقاييسه ومنهجياته. الفجوات بين ما نقيسه وما نريد قياسه تنتج قرارات خاطئة على مستوى البحث والسياسة والمجتمع. نخصص في Zezo Ai جهدًا متزايدًا لتطوير تقييمات أكثر موثوقية وعدالة وشمولًا.

مشاريع مفتوحة

Zezo Eval Suite — مجموعة أدوات لتقييم النماذج اللغوية تشمل مهام عربية ومتعددة الثقافات
Interpretability Toolkit — مكتبة بايثون لتحليل سلوك النماذج الداخلي وتصور آليات الانتباه
Arabic Pile — مجموعة بيانات عربية مفتوحة بحجم 1.2 تيرابايت
Common Pile — مجموعة بيانات إنجليزية مفتوحة بحجم 8 تيرابايت
Composable Interventions Framework — إطار لدراسة تفاعل التدخلات المتعددة على النماذج

انضم إلينا

نرحّب بالباحثين والمهندسين والمهتمين بالذكاء الاصطناعي المفتوح للانضمام إلى مجتمعنا. تشمل فرص المشاركة: المساهمة في المشاريع المفتوحة، والمشاركة في مبادرات البحث المجتمعي مثل SOAR، والتقديم على برامج الزمالة والمنح.

contact@eleuther.ai

Zezo Ai — (تكملة موسّعة إضافية)

المنشورات الحديثة (تكملة)

قياس الانحياز اللغوي في النماذج متعددة اللغات

18 ديسمبر 2024

تعاني النماذج متعددة اللغات من تفاوت كبير في جودة الأداء بين اللغات، لكن الانحياز لا يقتصر على الأداء بل يمتد إلى التمثيلات الداخلية والسلوك. نقيس الانحياز اللغوي عبر ثلاثة أبعاد: تفضيل لغة معينة في المخرجات عند تعدد اللغات، وانحراف المعرفة الثقافية نحو السياق الغربي، وتفاوت جودة التمثيلات الدلالية. نجد أن النماذج تُظهر انحيازًا منهجيًا حتى في اللغات التي تحقق فيها أداءً عاليًا، وأن حجم النموذج لا يقلل الانحياز بل قد يزيده في بعض الحالات. نقترح مقاييس جديدة لتتبع الانحياز عبر مراحل التدريب وربطه بمصادر البيانات.

التعلم المستمر دون نسيان كارثي في النماذج اللغوية

1 ديسمبر 2024

عندما نضبط نموذجًا لغويًا على مهمة جديدة، يميل إلى نسيان قدراته السابقة، وهي مشكلة تعرف بالنسيان الكارثي. نقدّم طريقة تعتمد على تحديد المسارات العصبية المسؤولة عن المهارات السابقة وحمايتها أثناء التعلم الجديد، بدلًا من تجميد النموذج بالكامل أو إعادة تدريبه من الصفر. تُظهر تجاربنا أن الطريقة تحافظ على 96% من الأداء الأصلي بعد تعلم ثلاث مهام جديدة متتالية، مقابل 62% للضبط الدقيق التقليدي، مع تكلفة حسابية أقل من أساليب إعادة التدريب.

تحليل البنية الدلالية للتمثيلات العربية في النماذج متعددة اللغات

14 نوفمبر 2024

ندرس كيف تمثل النماذج متعددة اللغات المعنى العربي داخل فضاءها المشترك. بتحليل التشابهات بين التمثيلات العربية ونظيراتها في الإنجليزية والفرنسية، نجد أن النموذج يبني تمثيلات عربية أقرب إلى التمثيلات الإنجليزية في المفاهيم التقنية والحديثة، وأقرب إلى التمثيلات الفرنسية في المفاهيم الثقافية والأدبية. كما نجد أن الجذور الثلاثية العربية تُمثَّل ببنية هندسية منتظمة داخل الفضاء، مما يفتح بابًا لتحسين النماذج العربية عبر هندسة التمثيلات لا حجم البيانات فقط.

أثر الضوضاء في بيانات التدريب على متانة النماذج

29 أكتوبر 2024

غالبًا ما تحتوي بيانات التدريب على الويب على ضوضاء بمستويات متفاوتة. ندرس كيف يؤثر نوع الضوضاء ومستواها على متانة النموذج في مهام الاستدلال والفهم. نجد أن النماذج المدربة على بيانات ذات ضوضاء منخفضة إلى متوسطة تتفوق في المتانة على النماذج المدربة على بيانات نظيفة بالكامل، لأن الضوضاء تعمل كتنظيم طبيعي يمنع الإفراط في التخصيص. لكن الضوضاء الدلالية، بخلاف الضوضاء الشكلية، تضعف قدرات الاستدلال بشكل كبير ولا يمكن تعويضها بزيادة حجم النموذج.

أخبار إضافية

نتائج برنامج Zezo Ai للمنح البحثية العربية

20 أكتوبر 2024

اختُتمت الدورة الأولى من برنامج المنح البحثية العربية بمشاركة 34 مشروعًا من 11 دولة. تم اختيار 12 مشروعًا للحصول على تمويل وإرشاد أكاديمي، تغطي مواضيع تشمل معالجة اللهجات العربية، وتوليد النصوص الأدبية، والتقييم الثقافي، وتطبيقات الذكاء الاصطناعي في التعليم. ستنشر المشاريع نتائجها في ورش عمل ومؤتمرات خلال العام القادم.

Zezo Ai تطلق مستودعًا مفتوحًا لأدوات التقييم العربي

8 أكتوبر 2024

أطلقنا Zezo Arabic Eval Repository، وهو مستودع مفتوح يضم أكثر من 40 مجموعة اختبار وأداة تقييم للنماذج اللغوية العربية، تغطي مهام الفهم والاستدلال والتوليد والترجمة والتحليل النحوي والصرفي. صُممت الأدوات لتكون قابلة للتوسع والمساهمة المجتمعية، وتأتي موثقة بالكامل مع أمثلة استخدام وأدلة منهجية.

ورشة عمل حول أخلاقيات النماذج المفتوحة

25 سبتمبر 2024

استضافت Zezo Ai ورشة عمل افتراضية حول أخلاقيات تطوير ونشر النماذج مفتوحة الأوزان، بمشاركة باحثين من مجالات الذكاء الاصطناعي والفلسفة والقانون والسياسات العامة. تناولت الورشة أسئلة حول المسؤولية عند إساءة استخدام النماذج، وتوازن الشفافية مع السلامة، وأطر الحوكمة الملائمة للبحث المفتوح. ستصدر التوصيات النهائية في تقرير مفصل قريبًا.

شراكة مع منظمات مجتمعية لتعريب أدوات الذكاء الاصطناعي

12 سبتمبر 2024

أعلنت Zezo Ai عن شراكة مع عدة منظمات مجتمعية عربية لتعريب أدوات الذكاء الاصطناعي وتوثيقها، بهدف جعل التقنيات المتقدمة متاحة للباحثين والمطورين الناطقين بالعربية. تشمل المبادرة ترجمة الأدلة التقنية، وتوطين واجهات البرمجة، وتنظيم ورش تدريبية في عدة مدن عربية.

تأملات بحثية (تكملة)

الحجم ليس كل شيء

لطالما ارتبط التقدم في الذكاء الاصطناعي بزيادة حجم النماذج والبيانات، لكن هذا المسار يقترب من حدوده العملية والنظرية. نرى أن المرحلة القادمة ستتطلب ابتكارات في الكفاءة والمعمارية والبيانات عالية الجودة أكثر من زيادة الحجم. في Zezo Ai، نستكشف بدائل تشمل النماذج المتخصصة، والتدريب الانتقائي، وهندسة التمثيلات، والتعلم من أمثلة قليلة. الحجم يفتح آفاقًا، لكن الفهم هو ما يغلق الفجوة بين الإمكانية والاستخدام المسؤول.

اللغة العربية تستحق نماذج أفضل

رغم التحسن الملحوظ في دعم النماذج اللغوية للعربية، لا تزال الفجوة مع اللغات ذات الموارد العالية واسعة. جزء من المشكلة في نقص البيانات، لكن الجزء الأكبر في نقص الأدوات والتقييمات والبنى التمثيلية الملائمة لخصائص العربية. نبني في Zezo Ai مسارًا متكاملًا يشمل جمع البيانات، وتطوير التمثيلات، وبناء التقييمات، وضبط النماذج، بهدف إنتاج نماذج عربية تتفوق على النماذج العامة في دقة وفهم اللغة والثقافة.

الشفافية ليست خيارًا

في مجال يتأثر فيه البحث والمجتمع بالذكاء الاصطناعي، لا يمكن أن تظل الشفافية خيارًا تجميليًا. الشفافية تعني توثيق البيانات، ونشر الأوزان، والإفصاح عن القيود، وفتح أدوات التقييم للنقد. نعرف أن الشفافية وحدها لا تمنع الضرر، لكنها شرط أساسي لأي محاولة جادة لفهمه ومنعه. في Zezo Ai، نبني الشفافية في صميم كل ما ننشره، لا كطبقة تُضاف لاحقًا.

مشاريع مفتوحة (تكملة)

Zezo Arabic Eval Repository — 40+ أداة ومجموعة اختبار لتقييم النماذج العربية
Bias Tracking Suite — أدوات لقياس الانحياز اللغوي والثقافي في النماذج متعددة اللغات
Continual Learning Toolkit — مكتبة لتعلم مهام جديدة دون نسيان المهارات السابقة
Noise Robustness Benchmarks — معايير لتقييم متانة النماذج تجاه أنواع الضوضاء المختلفة
Arabic Morphology Analyzer — محلل صرفي عربي مفتوح لدعم البحث والتطوير

فرص ومبادرات

برنامج SOAR — فعالية بحثية مجتمعية سنوية لتمكين الباحثين المبتدئين
برنامج الزمالة — تعاون مع مؤسسات بحثية لتدريب الباحثين في مراحل مبكرة
المنح البحثية العربية — تمويل وإرشاد لمشاريع الذكاء الاصطناعي المفتوحة بالعربية
ورش عمل وندوات — فعاليات دورية حول مواضيع بحثية وأخلاقية معاصرة
مساهمات المجتمع — فرص للمساهمة في المشاريع المفتوحة عبر GitHub