المهارات · davila7

inference-serving-vllm: مهارة لتقديم نماذج اللغة الكبيرة باستخدام vLLM

مهارة لتقديم نماذج اللغة الكبيرة بإنتاجية عالية باستخدام vLLM، مع دعم نقاط نهاية متوافقة مع OpenAI والتكميم والتوازي على مستوى الـtensor.

تُرجم هذا النص آليًا من معلومات الناشر ولم يراجعه محرر بشري. النص الأصلي لدى الناشر هو المرجع.

استُورد هذا المورد تلقائيًا من المصادر المذكورة أدناه ولم يراجعه فريق AI Gate بعد. الوصف هو وصف الناشر كما نشره، وقد يكون بلغته الأصلية. تحقّق من المستودع قبل التثبيت.

ما الذي يقدّمه

تُقدّم هذه المهارة نماذج اللغة الكبيرة (LLMs) باستخدام vLLM، وتعتمد على تقنية PagedAttention والمعالجة المجمّعة المستمرة (continuous batching) لتحقيق إنتاجية عالية.

يُلجأ إليها عند نشر واجهات برمجية لنماذج لغوية في بيئة الإنتاج، وعند الرغبة في تحسين زمن الاستجابة أو الإنتاجية، وعند تشغيل النماذج على ذاكرة GPU محدودة. تدعم المهارة نقاط نهاية متوافقة مع OpenAI، والتكميم بصيغ GPTQ وAWQ وFP8، والتوازي على مستوى الـtensor.

الترخيص المذكور لهذه المهارة هو MIT. لا تتضمن المعلومات المتاحة تفاصيل إضافية عن متطلبات التشغيل.

الأمان

لم يراجع فريقنا هذا المورد. فحصته قواعد آلية فقط، واستُبعدت الموارد التي رصدت فيها إشارات خطر عالية. هذه إشارات وليست ضمانًا بأن التثبيت آمن. جرّبه أولًا في مشروع تجريبي.

  • ينفّذ شيفرة أو يغيّر سلوك المساعد

المصادر

  • AI Templates (aitmpl) رُصد أول مرة 13 نوفمبر 2026 · آخر رصد 18 نوفمبر 2026 · صفحته في المصدر · أرقام يذكرها المصدر: aitmpl downloads 73
    inference-serving-vllm

    Serves LLMs with high throughput using vLLM's PagedAttention and continuous batching. Use when deploying production LLM APIs, optimizing inference latency/throughput, or serving models with limited GPU memory. Supports OpenAI-compatible endpoints, quantization (GPTQ/AWQ/FP8), and tensor parallelism.

    v1.0.0
    كما ظهر في www.aitmpl.com عند آخر قراءة لنا
غير مُراجَعالمهارات
wshobson

Connectivity triage

مهارة من الناشر wshobson لفرز مشكلات الاتصال، ضمن مجموعة أدوات الاستجابة للحوادث.

الوكلاء والنماذج الذكية
حُدّث 14 نوفمبر 2026
غير مُراجَعالمهارات
wshobson

Saga orchestration - مهارة للتطوير

مهارة من الناشر wshobson ضمن فئة التطوير، ولا تتوفر عنها تفاصيل وصفية إضافية في هذا الإدخال.

تطوير البرمجيات
حُدّث 14 نوفمبر 2026
غير مُراجَعالمهارات
github

Flowstudio power automate debug

مهارة من الناشر github تحمل اسم Flowstudio power automate debug، ولا تتوفر عنها تفاصيل وصفية إضافية.

تطوير البرمجياتالإنتاجية والأتمتة
حُدّث 18 نوفمبر 2026
inference-serving-vllm: مهارة لتقديم نماذج اللغة الكبيرة باستخدام vLLM | AI Gate Discover