المهارات · davila7

tokenization-huggingface-tokenizers: مهارة تقطيع النصوص بمُحلِّلات Hugging Face

مهارة من نوع Skill لتقطيع النصوص وتدريب مُحلِّلات مخصصة بأداء عالٍ، نشرها davila7 بموجب رخصة MIT.

تُرجم هذا النص آليًا من معلومات الناشر ولم يراجعه محرر بشري. النص الأصلي لدى الناشر هو المرجع.

استُورد هذا المورد تلقائيًا من المصادر المذكورة أدناه ولم يراجعه فريق AI Gate بعد. الوصف هو وصف الناشر كما نشره، وقد يكون بلغته الأصلية. تحقّق من المستودع قبل التثبيت.

ما الذي يقدّمه

تقدّم هذه المهارة مُحلِّلات نصوص سريعة مبنية على لغة Rust، ويصف الناشر أنها تقطّع 1 جيجابايت من النصوص في أقل من 20 ثانية. تدعم خوارزميات BPE وWordPiece وUnigram، وتتيح تدريب مفردات مخصصة وتتبع المحاذاة ومعالجة الحشو (padding) والاقتطاع (truncation)، وتتكامل مع مكتبة transformers.

يُستخدم هذا المورد عندما تحتاج إلى تقطيع نصوص عالي الأداء أو إلى تدريب مُحلِّل نصوص مخصص. نشره davila7 ويخضع لرخصة MIT.

الأمان

لم يراجع فريقنا هذا المورد. فحصته قواعد آلية فقط، واستُبعدت الموارد التي رصدت فيها إشارات خطر عالية. هذه إشارات وليست ضمانًا بأن التثبيت آمن. جرّبه أولًا في مشروع تجريبي.

  • ينفّذ شيفرة أو يغيّر سلوك المساعد

المصادر

  • AI Templates (aitmpl) رُصد أول مرة 13 نوفمبر 2026 · آخر رصد 18 نوفمبر 2026 · صفحته في المصدر · أرقام يذكرها المصدر: aitmpl downloads 34
    tokenization-huggingface-tokenizers

    Fast tokenizers optimized for research and production. Rust-based implementation tokenizes 1GB in <20 seconds. Supports BPE, WordPiece, and Unigram algorithms. Train custom vocabularies, track alignments, handle padding/truncation. Integrates seamlessly with transformers. Use when you need high-performance tokenization or custom tokenizer training.

    v1.0.0
    كما ظهر في www.aitmpl.com عند آخر قراءة لنا
غير مُراجَعالمهارات
wshobson

Connectivity triage

مهارة من الناشر wshobson لفرز مشكلات الاتصال، ضمن مجموعة أدوات الاستجابة للحوادث.

الوكلاء والنماذج الذكية
حُدّث 14 نوفمبر 2026
غير مُراجَعالمهارات
wshobson

Saga orchestration - مهارة للتطوير

مهارة من الناشر wshobson ضمن فئة التطوير، ولا تتوفر عنها تفاصيل وصفية إضافية في هذا الإدخال.

تطوير البرمجيات
حُدّث 14 نوفمبر 2026
غير مُراجَعالمهارات
github

Flowstudio power automate debug

مهارة من الناشر github تحمل اسم Flowstudio power automate debug، ولا تتوفر عنها تفاصيل وصفية إضافية.

تطوير البرمجياتالإنتاجية والأتمتة
حُدّث 18 نوفمبر 2026
tokenization-huggingface-tokenizers: مهارة تقطيع النصوص بمُحلِّلات Hugging Face | AI Gate Discover