المهارات · davila7

tokenization-sentencepiece: مهارة لتقسيم النصوص إلى رموز

مهارة من الناشر davila7 تصف أداة تقسيم نصوص مستقلة عن اللغة تعامل النص كرموز Unicode خام، وتدعم خوارزميتي BPE وUnigram.

تُرجم هذا النص آليًا من معلومات الناشر ولم يراجعه محرر بشري. النص الأصلي لدى الناشر هو المرجع.

استُورد هذا المورد تلقائيًا من المصادر المذكورة أدناه ولم يراجعه فريق AI Gate بعد. الوصف هو وصف الناشر كما نشره، وقد يكون بلغته الأصلية. تحقّق من المستودع قبل التثبيت.

ما الذي يقدّمه

تعالج هذه المهارة النص بوصفه رموز Unicode خامًا دون الاعتماد على لغة بعينها، وتدعم خوارزميتي BPE وUnigram. يمكن تدريبها على النص الخام مباشرة دون مرحلة تقسيم أولية مسبقة.

ووفق وصف الناشر، تعالج نحو 50 ألف جملة في الثانية، وتستهلك نحو 6 ميغابايت من الذاكرة، وتنتج مفردات حتمية. ويذكر الناشر أن نماذج مثل T5 وALBERT وXLNet وmBART تستخدمها. ويلجأ إليها من يحتاج دعمًا متعدد اللغات أو لغات CJK، أو تقسيمًا قابلًا للتكرار بنتائج متطابقة.

تُوزَّع المهارة بموجب ترخيص MIT، ولم يرد في الوصف متطلبات تشغيل محددة.

الأمان

لم يراجع فريقنا هذا المورد. فحصته قواعد آلية فقط، واستُبعدت الموارد التي رصدت فيها إشارات خطر عالية. هذه إشارات وليست ضمانًا بأن التثبيت آمن. جرّبه أولًا في مشروع تجريبي.

  • ينفّذ شيفرة أو يغيّر سلوك المساعد

المصادر

  • AI Templates (aitmpl) رُصد أول مرة 13 نوفمبر 2026 · آخر رصد 17 نوفمبر 2026 · صفحته في المصدر · أرقام يذكرها المصدر: aitmpl downloads 27
    tokenization-sentencepiece

    Language-independent tokenizer treating text as raw Unicode. Supports BPE and Unigram algorithms. Fast (50k sentences/sec), lightweight (6MB memory), deterministic vocabulary. Used by T5, ALBERT, XLNet, mBART. Train on raw text without pre-tokenization. Use when you need multilingual support, CJK languages, or reproducible tokenization.

    v1.0.0
    كما ظهر في www.aitmpl.com عند آخر قراءة لنا
غير مُراجَعالمهارات
github

Onboard context matic

مهارة (skill) من الناشر github، ولا يتوفر في المصدر وصف تفصيلي كافٍ لوظيفتها.

تطوير البرمجيات
حُدّث 17 نوفمبر 2026
غير مُراجَعالمهارات
google

أداة التحقق من ترحيل BigQuery

مهارة من google باسم أداة التحقق من ترحيل BigQuery، ولا يتوفر وصف تفصيلي لها من الناشر.

البيانات وقواعد البيانات
حُدّث 17 نوفمبر 2026
غير مُراجَعالمهارات
github

Openapi to application code

مهارة من الناشر github بعنوان Openapi to application code، ولا تتوفر عنها تفاصيل وصفية إضافية في المصدر.

تطوير البرمجيات
حُدّث 17 نوفمبر 2026
غير مُراجَعالمهارات
openai

مستشار تنبيهات الإشعارات في Twilio

مهارة من الناشر openai تتعلق بالإشعارات والتنبيهات في Twilio، ولم يتوفر وصف تفصيلي لها.

تطوير البرمجيات
حُدّث 14 نوفمبر 2026