المهارات · davila7

inference-serving-tensorrt-llm: مهارة لخدمة استدلال نماذج اللغة الكبيرة بـ NVIDIA TensorRT

مهارة تُحسّن استدلال نماذج اللغة الكبيرة باستخدام NVIDIA TensorRT لأغراض النشر في بيئات الإنتاج على وحدات NVIDIA GPUs.

تُرجم هذا النص آليًا من معلومات الناشر ولم يراجعه محرر بشري. النص الأصلي لدى الناشر هو المرجع.

استُورد هذا المورد تلقائيًا من المصادر المذكورة أدناه ولم يراجعه فريق AI Gate بعد. الوصف هو وصف الناشر كما نشره، وقد يكون بلغته الأصلية. تحقّق من المستودع قبل التثبيت.

ما الذي يقدّمه

تُحسّن هذه المهارة استدلال نماذج اللغة الكبيرة باستخدام NVIDIA TensorRT، وتدعم التكميم بصيغتي FP8 وINT4، والمعالجة الدفعية أثناء التنفيذ (in-flight batching)، والتوسع عبر عدة وحدات معالجة رسومية.

تُستخدم عندما يلزم نشر النماذج في الإنتاج على وحدات NVIDIA GPUs مثل A100 وH100، أو عندما تُقدَّم النماذج بعد تكميمها، أو عندما يتطلب الأمر توزيع الخدمة على أكثر من وحدة معالجة رسومية.

يعتمد تشغيلها على بيئة تتوفر فيها وحدات NVIDIA GPUs ومكتبة NVIDIA TensorRT. لا يتضمن الوصف المنشور تفاصيل إضافية عن خطوات الإعداد.

الحدود والمتطلبات

تتطلب وحدات معالجة رسومية من NVIDIA، والوصف المنشور يذكر A100 وH100 بوصفها الأجهزة المستهدفة.

الأمان

لم يراجع فريقنا هذا المورد. فحصته قواعد آلية فقط، واستُبعدت الموارد التي رصدت فيها إشارات خطر عالية. هذه إشارات وليست ضمانًا بأن التثبيت آمن. جرّبه أولًا في مشروع تجريبي.

  • ينفّذ شيفرة أو يغيّر سلوك المساعد

المصادر

  • AI Templates (aitmpl) رُصد أول مرة 13 نوفمبر 2026 · آخر رصد 18 نوفمبر 2026 · صفحته في المصدر · أرقام يذكرها المصدر: aitmpl downloads 60
    inference-serving-tensorrt-llm

    Optimizes LLM inference with NVIDIA TensorRT for maximum throughput and lowest latency. Use for production deployment on NVIDIA GPUs (A100/H100), when you need 10-100x faster inference than PyTorch, or for serving models with quantization (FP8/INT4), in-flight batching, and multi-GPU scaling.

    v1.0.0
    كما ظهر في www.aitmpl.com عند آخر قراءة لنا
غير مُراجَعالمهارات
wshobson

Connectivity triage

مهارة من الناشر wshobson لفرز مشكلات الاتصال، ضمن مجموعة أدوات الاستجابة للحوادث.

الوكلاء والنماذج الذكية
حُدّث 14 نوفمبر 2026
غير مُراجَعالمهارات
wshobson

Saga orchestration - مهارة للتطوير

مهارة من الناشر wshobson ضمن فئة التطوير، ولا تتوفر عنها تفاصيل وصفية إضافية في هذا الإدخال.

تطوير البرمجيات
حُدّث 14 نوفمبر 2026
غير مُراجَعالمهارات
github

Flowstudio power automate debug

مهارة من الناشر github تحمل اسم Flowstudio power automate debug، ولا تتوفر عنها تفاصيل وصفية إضافية.

تطوير البرمجياتالإنتاجية والأتمتة
حُدّث 18 نوفمبر 2026
inference-serving-tensorrt-llm: مهارة لخدمة استدلال نماذج اللغة الكبيرة بـ NVIDIA TensorRT | AI Gate Discover