ما الذي يقدّمه
تعالج هذه المهارة بيانات التدريب لنماذج اللغة بتسريع وحدات GPU، وتدعم النصوص والصور والفيديو والصوت. تشمل وظائفها إزالة التكرار الضبابي (fuzzy deduplication) وهي أسرع بـ16 مرة بحسب الوصف، وفلترة الجودة باستخدام أكثر من 30 قاعدة heuristic، وإزالة التكرار الدلالي، وإخفاء المعلومات الشخصية (PII)، واكتشاف المحتوى غير اللائق (NSFW).
يستعين بها المطوّر عند إعداد مجموعات بيانات تدريب عالية الجودة، أو تنظيف بيانات الويب، أو إزالة التكرار من مجموعات نصوص كبيرة.
تتوسع المعالجة عبر عدة وحدات GPU باستخدام RAPIDS، وهو ما يحدد طريقة تشغيلها على البيئة المتاحة.
الحدود والمتطلبات
تعتمد المعالجة المسرّعة على وحدات GPU، والتوسع بين الوحدات يتم عبر RAPIDS، كما ورد في وصف الناشر.
الأمان
لم يراجع فريقنا هذا المورد. فحصته قواعد آلية فقط، واستُبعدت الموارد التي رصدت فيها إشارات خطر عالية. هذه إشارات وليست ضمانًا بأن التثبيت آمن. جرّبه أولًا في مشروع تجريبي.
- ينفّذ شيفرة أو يغيّر سلوك المساعد
المصادر
- AI Templates (aitmpl) رُصد أول مرة 13 نوفمبر 2026 · آخر رصد 17 نوفمبر 2026 · صفحته في المصدر · أرقام يذكرها المصدر: aitmpl downloads 133
data-processing-nemo-curator
GPU-accelerated data curation for LLM training. Supports text/image/video/audio. Features fuzzy deduplication (16× faster), quality filtering (30+ heuristics), semantic deduplication, PII redaction, NSFW detection. Scales across GPUs with RAPIDS. Use for preparing high-quality training datasets, cleaning web data, or deduplicating large corpora.
v1.0.0كما ظهر في www.aitmpl.com عند آخر قراءة لنا