ما الذي يقدّمه
تشغّل هذه المهارة استدلال نماذج اللغة على المعالج (CPU) وعلى أجهزة Apple Silicon وبطاقات الرسوم الاستهلاكية، دون الحاجة إلى عتاد NVIDIA. وتدعم تكميم نماذج GGUF بدقة تتراوح بين 1.5 و8 بت لتقليل استهلاك الذاكرة. ويذكر الناشر أنها تحقق سرعة تتراوح بين 4 و10 أضعاف مقارنةً بـ PyTorch عند التشغيل على المعالج.
يلجأ إليها المستخدم عند النشر على الأجهزة الطرفية (edge)، وعلى أجهزة Mac بشريحة M1 أو M2 أو M3، وعلى بطاقات AMD وIntel، أو عندما يكون CUDA غير متوفر.
المهارة مرخصة بموجب ترخيص MIT.
الأمان
لم يراجع فريقنا هذا المورد. فحصته قواعد آلية فقط، واستُبعدت الموارد التي رصدت فيها إشارات خطر عالية. هذه إشارات وليست ضمانًا بأن التثبيت آمن. جرّبه أولًا في مشروع تجريبي.
- ينفّذ شيفرة أو يغيّر سلوك المساعد
المصادر
- AI Templates (aitmpl) رُصد أول مرة 13 نوفمبر 2026 · آخر رصد 17 نوفمبر 2026 · صفحته في المصدر · أرقام يذكرها المصدر: aitmpl downloads 64
inference-serving-llama-cpp
Runs LLM inference on CPU, Apple Silicon, and consumer GPUs without NVIDIA hardware. Use for edge deployment, M1/M2/M3 Macs, AMD/Intel GPUs, or when CUDA is unavailable. Supports GGUF quantization (1.5-8 bit) for reduced memory and 4-10× speedup vs PyTorch on CPU.
v1.0.0كما ظهر في www.aitmpl.com عند آخر قراءة لنا