ما الذي يقدّمه
تُجري هذه المهارة تكميماً بعد التدريب إلى 4 بت للنماذج اللغوية الكبيرة، بهدف تقليل فقدان الدقة إلى أدنى حد ممكن.
يُستخدم التكميم لتشغيل نماذج كبيرة بحجم 70 مليار و405 مليار معامل على وحدات معالجة رسومية للمستهلكين، ولتقليل استهلاك الذاكرة إلى الربع مع تدهور في الحيرة (perplexity) أقل من 2%، ولتسريع الاستدلال بمقدار 3 إلى 4 أضعاف مقارنةً بـ FP16.
تتكامل المهارة مع مكتبتي transformers وPEFT، وتدعم ضبط QLoRA الدقيق. الترخيص MIT.
الأمان
لم يراجع فريقنا هذا المورد. فحصته قواعد آلية فقط، واستُبعدت الموارد التي رصدت فيها إشارات خطر عالية. هذه إشارات وليست ضمانًا بأن التثبيت آمن. جرّبه أولًا في مشروع تجريبي.
- ينفّذ شيفرة أو يغيّر سلوك المساعد
المصادر
- AI Templates (aitmpl) رُصد أول مرة 13 نوفمبر 2026 · آخر رصد 17 نوفمبر 2026 · صفحته في المصدر · أرقام يذكرها المصدر: aitmpl downloads 28
optimization-gptq
Post-training 4-bit quantization for LLMs with minimal accuracy loss. Use for deploying large models (70B, 405B) on consumer GPUs, when you need 4× memory reduction with <2% perplexity degradation, or for faster inference (3-4× speedup) vs FP16. Integrates with transformers and PEFT for QLoRA fine-tuning.
v1.0.0كما ظهر في www.aitmpl.com عند آخر قراءة لنا