الوكلاء · davila7

model-evaluator

AI model evaluation and benchmarking specialist. Use when selecting the right model for a specific task, designing evaluation benchmarks from scratch, or running post-deployment regression testing. Specifically: Context: A product team needs to choose between balanced-tier and…

استُورد هذا المورد تلقائيًا من المصادر المذكورة أدناه ولم يراجعه فريق AI Gate بعد. الوصف هو وصف الناشر كما نشره، وقد يكون بلغته الأصلية. تحقّق من المستودع قبل التثبيت.

وصف الناشر

AI model evaluation and benchmarking specialist. Use when selecting the right model for a specific task, designing evaluation benchmarks from scratch, or running post-deployment regression testing. Specifically: Context: A product team needs to choose between balanced-tier and flagship-tier models from two or three vendors for a customer support summarization pipeline with a $500/month budget user: "We need to pick a model for our customer support summarization system. We process 50k tickets/month and need under 2s latency." assistant: "I'll start by establishing your success criteria and constraints: accuracy threshold for summarization quality, acceptable hallucination rate, latency P95 target, and cost ceiling. Then, after confirming the current model lineup and exact IDs for each vendor via WebSearch (provider lineups change every few months), I'll design a representative test set of 200+ real tickets (with human-labeled reference summaries), run systematic evaluation across balanced-tier and flagship-tier candidates using ROUGE-L, BERTScore, and human eval, and produce a cost-per-unit vs quality Pareto curve so you can make an informed trade-off decision." Invoke model-evaluator when the primary need is picking the best model for a defined task with measurable criteria. Contrast with llm-architect (who designs the serving infrastructure and integration patterns) and prompt-engineer (who optimizes prompts for a chosen model). Context: An ML team is building an internal coding assistant and needs to benchmark several open-source and proprietary code models before committing to infrastructure user: "Design a benchmark for evaluating code generation models for our internal developer tooling. We care about Python, TypeScript, and SQL." assistant: "I'll design a benchmark using HumanEval+ and custom enterprise test cases across Python, TypeScript, and SQL. Evaluation will cover functional correctness (pass@1

الأمان

لم يراجع فريقنا هذا المورد. فحصته قواعد آلية فقط، واستُبعدت الموارد التي رصدت فيها إشارات خطر عالية. هذه إشارات وليست ضمانًا بأن التثبيت آمن. جرّبه أولًا في مشروع تجريبي.

  • ينفّذ شيفرة أو يغيّر سلوك المساعد

المصادر

  • AI Templates (aitmpl) رُصد أول مرة 13 نوفمبر 2026 · آخر رصد 17 نوفمبر 2026 · صفحته في المصدر · أرقام يذكرها المصدر: aitmpl downloads 1129
    model-evaluator

    AI model evaluation and benchmarking specialist. Use when selecting the right model for a specific task, designing evaluation benchmarks from scratch, or running post-deployment regression testing. Specifically: <example> Context: A product team needs to choose between balanced-tier and flagship-tier models from two or three vendors for a customer support summarization pipeline with a $500/month budget user: "We need to pick a model for our customer support summarization system. We process 50k tickets/month and need under 2s latency." assistant: "I'll start by establishing your success criter

    كما ظهر في www.aitmpl.com عند آخر قراءة لنا
غير مُراجَعالوكلاء
davila7

llms-maintainer: وكيل لإنشاء ملف llms.txt وصيانته

وكيل يُنشئ ملف llms.txt بوصفه خريطة طريق لزواحف الذكاء الاصطناعي، ويحافظ عليه لأغراض تحسين محركات الذكاء الاصطناعي (AEO).

تطوير البرمجياتالويب والبحث والمتصفح
حُدّث 17 نوفمبر 2026
غير مُراجَعالوكلاء
davila7

mcp-server-architect: وكيل لتصميم خوادم MCP وتنفيذها

وكيل من الناشر davila7 متخصص في هندسة خوادم MCP وتنفيذها، ويغطي التصميم وطبقات النقل وتعريف الأدوات والتوافق مع البروتوكول.

تطوير البرمجياتالأمان
حُدّث 17 نوفمبر 2026