run.fitllm/fitllm

Est-ce que run.fitllm/fitllm est sûr ?

Au dernier audit MCP Hub, le serveur MCP « run.fitllm/fitllm » est classé « Non encore testé ». Référencé dans l'annuaire. Seul le pentest comportemental fait foi, et il n'a pas encore été exécuté sur ce serveur. Le verdict est réévalué en continu ; consultez la fiche pour l'état à jour.

Méthode : MCP Hub analyse la description de chaque outil (couche 1) et, pour le verdict fort, exécute le serveur dans une micro-VM isolée avec leurres et réseau bloqué (couche 2). On publie des noms et des compteurs, jamais le contenu brut renvoyé par un outil.

Les 3 outils

• check_llm_fit≈ 648 tokens

  Check whether a specific local LLM fits in the memory of a specific GPU or Apple Silicon Mac. Returns fits/tight/won't-fit verdict with the memory breakdown (weights, KV cache, linear-attention state when present, runtime overhead, reserve), max context, and a concrete fix if it doesn't fit. Use this whenever a user asks anything like "can I run <model> on my <GPU/Mac>?", "will <model> fit in <N>GB?", or "what do I need to run <model>?". Estimates using curated, config-derived architecture fields (MLA, sliding-window, hybrid attention, MoE modeled).

  Paramètres, retour & exemple (9)

  Paramètres

  • ctx · integer · optionnel
    Alias of context_tokens — accepted because the REST API uses this name. Do not pass both with different values.
  • env · string · optionnel · linux-headless | linux-display | windows-display
    Discrete-GPU OS reserve: windows-display (default, 2 GB/card) · linux-display (1.2 GB) · linux-headless (0.6 GB, a second card with no display). Not for Macs or DGX Spark-class systems.
  • gpu · string · optionnel
    GPU name, fuzzy — e.g. "RTX 4090", "RX 7900 XTX", "A100 80GB". Multi-GPU rigs: join with + — e.g. "RTX 5090 + RTX 3090" (VRAM pools across cards). Provide gpu OR mac_ram_gb.
  • model · string · requis
    LLM name, fuzzy — e.g. "GLM-4.7-Flash", "gpt-oss-20b", "gemma 31b"
  • quant · string · optionnel
    Weight quantization. GPU: Q4_K_M(default)/Q5_K_M/Q6_K/Q8_0/FP16. Mac: 4/8(default)/16 (bits).
  • kv_bits · number · optionnel · 16 | 8 | 4
    KV-cache quantization bits (default 16 = F16)
  • gpu_count · integer · optionnel
    Number of identical copies of the gpu (e.g. gpu="RTX 3090", gpu_count=2 for a 2×3090 rig; gpu="DGX Spark 128GB", gpu_count=2 or 4 for linked units under vLLM+Ray or TensorRT-LLM). Default 1.
  • mac_ram_gb · integer · optionnel
    Apple Silicon unified memory in GB — e.g. 16, 64, 512. Provide gpu OR mac_ram_gb.
  • context_tokens · integer · optionnel
    Context length in tokens (default 8192). Alias: ctx (same field as the REST API).

  Exemple d'appel

  {"name": "check_llm_fit", "arguments": {"model": "texte"}}

  Exemple de retour

  {"content": [{"type": "text", "text": "…"}]}

• list_supported≈ 138 tokens

  List the built-in model names and hardware names this fit-checker knows (for mapping user wording to exact names). Standard text-only HuggingFace transformer configs can also be checked via fitllm.run; unsupported architectures are rejected.

  Paramètres, retour & exemple (0)

  Exemple d'appel

  {"name": "list_supported", "arguments": {}}

  Exemple de retour

  {"content": [{"type": "text", "text": "…"}]}

• what_fits_on_hardware≈ 271 tokens

  Rank which popular local LLMs fit on a given GPU or Apple Silicon Mac (at ~4-bit quantization, 8K context) — models that fit come first, biggest first, with max context each. Use when a user asks "what can I run on my <GPU/Mac/N GB>?", "best local model for my machine?", or gives hardware without naming a model.

  Paramètres, retour & exemple (3)

  Paramètres

  • gpu · string · optionnel
    GPU name, fuzzy. Multi-GPU rigs: join with + (e.g. "RTX 5090 + RTX 3090"). Provide gpu OR mac_ram_gb.
  • gpu_count · integer · optionnel
    Number of identical copies of the gpu. Default 1.
  • mac_ram_gb · integer · optionnel
    Apple Silicon unified memory GB. Provide gpu OR mac_ram_gb.

  Exemple d'appel

  {"name": "what_fits_on_hardware", "arguments": {"gpu": "texte", "gpu_count": 1, "mac_ram_gb": 1}}

  Exemple de retour

  {"content": [{"type": "text", "text": "…"}]}

C'est votre serveur ?

Revendiquez-le sur l'espace créateur (preuve GitHub, domaine ou npm) pour afficher le badge « propriétaire vérifié » et lancer un pentest comportemental à la demande afin d'obtenir le badge « Vérifié ».

Créer un compte / revendiquer →

Source

https://fitllm.run/api/mcp