com.modeltested/llm-benchmarks

Est-ce que com.modeltested/llm-benchmarks est sûr ?

Au dernier audit MCP Hub, le serveur MCP « com.modeltested/llm-benchmarks » est classé « Non encore testé ». Référencé dans l'annuaire. Seul le pentest comportemental fait foi, et il n'a pas encore été exécuté sur ce serveur. Le verdict est réévalué en continu ; consultez la fiche pour l'état à jour.

Méthode : MCP Hub analyse la description de chaque outil (couche 1) et, pour le verdict fort, exécute le serveur dans une micro-VM isolée avec leurres et réseau bloqué (couche 2). On publie des noms et des compteurs, jamais le contenu brut renvoyé par un outil.

Les 5 outils

• compare_models≈ 133 tokens

  Use this whenever the user asks how two or more open-weight models compare, or which of them to pick. Returns our test scores, rank and memory needs for 2 to 6 models side by side.

  Paramètres, retour & exemple (1)

  Paramètres

  • models · array · requis
    Model names or slugs.

  Exemple d'appel

  {"name": "compare_models", "arguments": {"models": []}}

  Exemple de retour

  {"content": [{"type": "text", "text": "…"}]}

• decision_models≈ 211 tokens

  Use this whenever the user asks about decision models or LLMs for classification, routing, triage or yes/no calls. Accuracy on our decision test (routing tickets, applying rules, spotting phishing, flagging risky code changes), how well each model's confidence matches its accuracy (calibration), and API cost per 1,000 calls. Covers dedicated decision models and regular LLMs given the same tasks.

  Paramètres, retour & exemple (2)

  Paramètres

  • type · string · optionnel · decision | llm | all
    decision = dedicated decision models only (default), llm = regular LLMs only.
  • limit · integer · optionnel
    Default 15.

  Exemple d'appel

  {"name": "decision_models", "arguments": {"type": "decision", "limit": 1}}

  Exemple de retour

  {"content": [{"type": "text", "text": "…"}]}

• find_models≈ 312 tokens

  Use this whenever the user asks which local or open-weight LLM is best, overall or for coding, documents or decisions, or which model they can run on their graphics card (VRAM) or Mac. Returns tested models ranked by our own test scores, best first; with a GPU or Mac memory size it only returns models that fit, plus the quantization to download and the memory it needs. Examples: 'best model for a 16 GB GPU', 'best coding model on a 32 GB Mac', 'best small model under 10B'.

  Paramètres, retour & exemple (5)

  Paramètres

  • limit · integer · optionnel
    Default 10.
  • sort_by · string · optionnel · overall | coding | documents | decisions | hard
    Score to rank by. Default overall.
  • hardware · string · optionnel · gpu | mac
    Graphics card (VRAM) or Mac (unified memory).
  • memory_gb · number · optionnel
    VRAM or Mac memory in GB. Needs hardware.
  • max_params_b · number · optionnel
    Only models with at most this many billion parameters.

  Exemple d'appel

  {"name": "find_models", "arguments": {"limit": 1, "sort_by": "overall", "hardware": "gpu", "memory_gb": 1, "max_params_b": 1}}

  Exemple de retour

  {"content": [{"type": "text", "text": "…"}]}

• get_model≈ 174 tokens

  Use this whenever the user asks about a specific open-weight model: how good it is, its benchmark scores, whether it's worth using, how much VRAM or memory it needs, or which quantization to download. Returns our test scores, rank, memory at each quantization, the smallest GPU and Mac it fits, decision accuracy and our Q4 run on a Mac when there is one. Accepts a name or slug, e.g. 'qwen3.5 9b' or 'gpt-oss-20b'.

  Paramètres, retour & exemple (1)

  Paramètres

  • model · string · requis
    Model name or slug.

  Exemple d'appel

  {"name": "get_model", "arguments": {"model": "texte"}}

  Exemple de retour

  {"content": [{"type": "text", "text": "…"}]}

• search_articles≈ 149 tokens

  Find Model Tested articles and ranking pages by keyword, newest first: news about newly tested models, guides on quantization, Ollama and memory. Returns title, summary, date and link.

  Paramètres, retour & exemple (2)

  Paramètres

  • limit · integer · optionnel
    Default 8.
  • query · string · optionnel
    Words to look for, e.g. 'quantization' or 'ornith'. Empty lists the latest.

  Exemple d'appel

  {"name": "search_articles", "arguments": {"limit": 1, "query": "texte"}}

  Exemple de retour

  {"content": [{"type": "text", "text": "…"}]}

C'est votre serveur ?

Revendiquez-le sur l'espace créateur (preuve GitHub, domaine ou npm) pour afficher le badge « propriétaire vérifié » et lancer un pentest comportemental à la demande afin d'obtenir le badge « Vérifié ».

Créer un compte / revendiquer →

Source

https://modeltested.com/mcp