ما الذي يقدّمه
تهدف هذه المهارة إلى ضغط النماذج اللغوية الكبيرة باستخدام تقطير المعرفة (knowledge distillation) من نموذج معلِّم (teacher) إلى نموذج متعلِّم (student). وتغطي التقنيات التالية: معايرة درجة الحرارة (temperature scaling)، والأهداف الناعمة (soft targets)، وKL العكسي (reverse KLD)، وتقطير اللوغاريتمات (logit distillation)، واستراتيجيات تدريب MiniLLM.
تُستخدم هذه المهارة عند الحاجة إلى نشر نماذج أصغر مع الحفاظ على أكبر قدر ممكن من الأداء، أو عند نقل قدرات نموذج GPT-4 إلى نماذج مفتوحة المصدر، أو عند تقليل تكاليف الاستدلال.
لا يوضح المصدر متطلبات التشغيل أو خطوات التنفيذ. الترخيص: MIT.
الأمان
لم يراجع فريقنا هذا المورد. فحصته قواعد آلية فقط، واستُبعدت الموارد التي رصدت فيها إشارات خطر عالية. هذه إشارات وليست ضمانًا بأن التثبيت آمن. جرّبه أولًا في مشروع تجريبي.
- ينفّذ شيفرة أو يغيّر سلوك المساعد
المصادر
- AI Templates (aitmpl) رُصد أول مرة 13 نوفمبر 2026 · آخر رصد 18 نوفمبر 2026 · صفحته في المصدر · أرقام يذكرها المصدر: aitmpl downloads 110
emerging-techniques-knowledge-distillation
Compress large language models using knowledge distillation from teacher to student models. Use when deploying smaller models with retained performance, transferring GPT-4 capabilities to open-source models, or reducing inference costs. Covers temperature scaling, soft targets, reverse KLD, logit distillation, and MiniLLM training strategies.
v1.0.0كما ظهر في www.aitmpl.com عند آخر قراءة لنا