ما الذي يقدّمه
تُقدّم هذه المهارة نماذج اللغة الكبيرة (LLMs) باستخدام vLLM، وتعتمد على تقنية PagedAttention والمعالجة المجمّعة المستمرة (continuous batching) لتحقيق إنتاجية عالية.
يُلجأ إليها عند نشر واجهات برمجية لنماذج لغوية في بيئة الإنتاج، وعند الرغبة في تحسين زمن الاستجابة أو الإنتاجية، وعند تشغيل النماذج على ذاكرة GPU محدودة. تدعم المهارة نقاط نهاية متوافقة مع OpenAI، والتكميم بصيغ GPTQ وAWQ وFP8، والتوازي على مستوى الـtensor.
الترخيص المذكور لهذه المهارة هو MIT. لا تتضمن المعلومات المتاحة تفاصيل إضافية عن متطلبات التشغيل.
الأمان
لم يراجع فريقنا هذا المورد. فحصته قواعد آلية فقط، واستُبعدت الموارد التي رصدت فيها إشارات خطر عالية. هذه إشارات وليست ضمانًا بأن التثبيت آمن. جرّبه أولًا في مشروع تجريبي.
- ينفّذ شيفرة أو يغيّر سلوك المساعد
المصادر
- AI Templates (aitmpl) رُصد أول مرة 13 نوفمبر 2026 · آخر رصد 18 نوفمبر 2026 · صفحته في المصدر · أرقام يذكرها المصدر: aitmpl downloads 73
inference-serving-vllm
Serves LLMs with high throughput using vLLM's PagedAttention and continuous batching. Use when deploying production LLM APIs, optimizing inference latency/throughput, or serving models with limited GPU memory. Supports OpenAI-compatible endpoints, quantization (GPTQ/AWQ/FP8), and tensor parallelism.
v1.0.0كما ظهر في www.aitmpl.com عند آخر قراءة لنا