ما الذي يقدّمه
تقدّم هذه المهارة مُحلِّلات نصوص سريعة مبنية على لغة Rust، ويصف الناشر أنها تقطّع 1 جيجابايت من النصوص في أقل من 20 ثانية. تدعم خوارزميات BPE وWordPiece وUnigram، وتتيح تدريب مفردات مخصصة وتتبع المحاذاة ومعالجة الحشو (padding) والاقتطاع (truncation)، وتتكامل مع مكتبة transformers.
يُستخدم هذا المورد عندما تحتاج إلى تقطيع نصوص عالي الأداء أو إلى تدريب مُحلِّل نصوص مخصص. نشره davila7 ويخضع لرخصة MIT.
الأمان
لم يراجع فريقنا هذا المورد. فحصته قواعد آلية فقط، واستُبعدت الموارد التي رصدت فيها إشارات خطر عالية. هذه إشارات وليست ضمانًا بأن التثبيت آمن. جرّبه أولًا في مشروع تجريبي.
- ينفّذ شيفرة أو يغيّر سلوك المساعد
المصادر
- AI Templates (aitmpl) رُصد أول مرة 13 نوفمبر 2026 · آخر رصد 18 نوفمبر 2026 · صفحته في المصدر · أرقام يذكرها المصدر: aitmpl downloads 34
tokenization-huggingface-tokenizers
Fast tokenizers optimized for research and production. Rust-based implementation tokenizes 1GB in <20 seconds. Supports BPE, WordPiece, and Unigram algorithms. Train custom vocabularies, track alignments, handle padding/truncation. Integrates seamlessly with transformers. Use when you need high-performance tokenization or custom tokenizer training.
v1.0.0كما ظهر في www.aitmpl.com عند آخر قراءة لنا