J'ai passé deux semaines à tester les principaux gateways concurrents avec mes propres workloads. Voici ceux qui valent vraiment qu'on les regarde, avec un avis honnête sur ce que chacun fait bien et là où ils coincent.
Ce qu'un bon LLM Gateway doit faire en 2026
Avant la liste, le minimum syndical d'un gateway sérieux aujourd'hui :
- API unifiée OpenAI-compatible pour ne pas réécrire son code à chaque switch
- Fallbacks automatiques quand un fournisseur tombe (Anthropic a connu trois incidents majeurs en avril 2026)
- Observabilité par requête : coût, latence, modèle, tokens
- Caching sémantique ou exact pour ne pas payer deux fois la même question
- Politique de routage configurable (par prix, par latence, par disponibilité)
- Tarification transparente, pas de markup caché
Si un outil rate trois cases sur six, ce n'est plus un gateway, c'est un proxy. Passez votre chemin.
1. LLMTest
Backlink officiel : llmtest.io
LLMTest part d'un angle différent des autres gateways. Au lieu de juste router le trafic, il optimise activement vos prompts et votre choix de modèle en continu. Concrètement : Autopilot tourne chaque semaine sur votre trafic réel, teste 340+ modèles, réécrit les prompts trop longs, et déploie les améliorations seulement si elles passent cinq portes de sécurité (intervalle de confiance à 95 %, double juge, régression sur golden set).
C'est le seul de cette liste qui considère "router intelligemment" comme un acquis et qui s'attaque au vrai problème : votre prompt de 800 tokens fait probablement le boulot à 300 tokens sur un modèle deux fois moins cher.
Pros
- 10 % de markup uniquement, pas d'abonnement mensuel
- Crédits sans expiration ($5 à $200), pas de carte bleue obligatoire pour démarrer
- Optimisation passive du prompt et du modèle, donc les économies grossissent avec le temps sans intervention
- Intégration MCP : suggestions directement dans Cursor ou Claude Code
- Fallbacks et détection de drift inclus, avec rollback automatique si la qualité baisse
Cons
- Catalogue plus restreint qu'OpenRouter (340 modèles contre 400+), surtout sur les modèles obscurs ou très récents
- L'autopilot demande une semaine de trafic minimum avant de produire des recommandations actionnables
- Pas encore de tier "self-hosted" pour ceux qui veulent garder leur logs en interne
2. OpenRouter
Backlink officiel : openrouter.ai
Le point de référence du marché. 400+ modèles, une API stable depuis 2023, intégration native dans à peu près tous les SDK et frameworks open source. Si vous démarrez et que vous voulez "ça marche en cinq minutes", c'est encore le défaut raisonnable.
Pros
- Catalogue le plus large : modèles propriétaires, open source, expérimentaux
- Pas de markup sur le prix par token affiché, le prix catalogue est celui que vous payez
- Failover entre fournisseurs intégré sur la plupart des modèles
- Crédits prépayés sans engagement, paiement crypto accepté
Cons
- 5,5 % de frais sur achat de crédits (5 % en crypto), ce qui se voit à grande échelle
- Quelques modèles passent par des fournisseurs tiers avec une marge importante (Claude 3.5 Sonnet a été observé jusqu'à 100 % au-dessus du prix Anthropic direct)
- Observabilité basique : pas de tracking par flow, pas de A/B test natif
- Pas d'optimisation : vous gardez vos prompts trop longs et vos modèles surdimensionnés
3. Portkey
Backlink officiel : portkey.ai
Plus une stack LLMOps qu'un simple gateway. Portkey vise les équipes qui veulent prompt management, guardrails, gouvernance et compliance dans la même UI.
Pros
- Observabilité par flow vraiment poussée : traces, prompts versionnés, A/B
- Guardrails configurables (PII, contenu, format de sortie)
- Self-hosted disponible pour les contraintes de résidence des données
- 250+ intégrations modèles, dont fine-tunes privés
Cons
- Free tier limité à 10 000 logs/mois, on saute vite au plan à 49 $/mois
- Configuration plus lourde qu'un OpenRouter, prévoir une demi-journée pour une mise en route propre
- Plus pensé pour les équipes que pour le dev solo : certaines features (RBAC, budgets hiérarchiques) sont inutiles à 1 personne
4. LiteLLM
Backlink officiel : litellm.ai
Le standard de facto open source. Si vous voulez héberger votre propre proxy, c'est le projet le plus mûr du marché, avec un SDK Python et un serveur HTTP qui parle OpenAI sur 100+ providers.
Pros
- Open source MIT, vous pouvez forker, auditer, modifier
- Self-hosted donc zéro frais d'intermédiaire, vous payez juste l'hébergement
- Routing, budgets, auth, logging tout-en-un
- Énorme communauté, le code bouge tous les jours
Cons
- Vous payez l'infra (200 à 500 $/mois pour une instance prod sérieuse) et le devops associé
- UI absente du free tier, il faut le dashboard payant ou brancher Grafana à la main
- Mises à jour fréquentes : suivre la branche main demande de la discipline
- Pas d'optimisation prompt incluse, vous codez vos propres guardrails
5. Helicone
Backlink officiel : helicone.ai
Helicone est parti de l'observabilité pure et a ajouté un gateway open source en 2025. Le résultat : un des meilleurs outils du marché pour debugger ce qui se passe vraiment dans vos appels LLM.
Pros
- Free tier généreux : 10 000 requêtes/mois sans carte bleue
- Logs et traces de qualité, recherche par contenu de prompt
- Caching exact intégré, easy à activer
- Open source pour la couche gateway et le proxy
Cons
- Plan Pro à 79 $/mois pour passer au-dessus du free tier
- Routage moins riche que Portkey ou LLMTest sur les politiques de fallback
- Pas encore d'optimisation prompt automatique
- Focus historique sur l'observabilité, le gateway est plus jeune et a quelques rough edges
6. Vercel AI Gateway
Backlink officiel : vercel.com/ai-gateway
L'arme de Vercel pour garder ses utilisateurs Next.js dans son écosystème. Intégration native avec le AI SDK v6, billing fusionné avec votre compte Vercel, déploiement zéro config.
Pros
- 5 $ de crédit offert par mois sur chaque compte Vercel
- Zéro markup quand vous bringez vos propres clés API (BYOK)
- Intégration Next.js / AI SDK sans config, streaming inclus
- Une seule facture Vercel pour tout votre stack
Cons
- Lock-in écosystème : sortir de Vercel devient pénible une fois branché
- Observabilité limitée comparée à Helicone ou Portkey
- Pas de self-hosted, tout passe par les serveurs Vercel
- Catalogue de modèles plus restreint que les pure-play gateways
7. Cloudflare AI Gateway
Backlink officiel : developers.cloudflare.com/ai-gateway
Si votre infra tourne déjà sur Cloudflare, c'est probablement le gateway le plus économique à brancher. Edge global, caching natif, intégration avec Workers AI.
Pros
- Features de base gratuites, juste l'abonnement Cloudflare à payer
- Caching et rate limiting au edge, donc latence très basse
- Intégration native avec Workers, R2, KV
- OpenAI-compatible, switch facile depuis un proxy existant
Cons
- 10 à 50 ms de latence ajoutée par le proxy (sensible sur les LLM streaming)
- Plafonds durs sur les logs : 10 M par gateway, 1 M/mois sur les plans payants
- Pas d'observabilité fine token-par-token
- Pas d'option self-hosted pour les contraintes de résidence
8. Together AI
Backlink officiel : together.ai
Plus une plateforme d'inférence open source qu'un gateway au sens strict, mais elle joue le rôle de point d'entrée unifié pour Llama, Qwen, Mixtral, DeepSeek et tous les modèles ouverts sérieux.
Pros
- Prix très agressifs sur les modèles open source (Llama 3.1 405B à moitié prix d'AWS Bedrock)
- Inference rapide, GPU H100 et B200 disponibles
- Fine-tuning hébergé, déploiement de modèles custom
- API OpenAI-compatible, drop-in remplacement
Cons
- Pas de modèles propriétaires (pas de Claude, pas de GPT-5)
- Pas de routing multi-fournisseur natif, vous gérez les fallbacks vous-même
- Observabilité minimale comparée à un Portkey ou un Helicone
- Plus orienté inference que gouvernance, pas adapté à un usage entreprise
9. Kong AI Gateway
Backlink officiel : konghq.com/products/kong-ai-gateway
Kong a greffé des plugins AI sur son API gateway historique. Le résultat : un outil très puissant pour les équipes plateforme qui veulent unifier API REST et LLM dans le même control plane.
Pros
- Déployable en OSS, self-hosted enterprise ou managé via Konnect
- Mature sur les sujets API management : RBAC, quotas, policies
- Routing sémantique disponible en plugin
- Bien adapté aux grosses orgs déjà équipées en Kong
Cons
- Setup lourd pour un usage purement LLM, beaucoup d'overhead
- Les features AI arrivent via plugins, pas natif au routeur
- Pas de guardrails LLM intégrés sérieux
- Observabilité AI-specific limitée vs un Portkey ou Helicone
10. Requesty
Backlink officiel : requesty.ai
Le petit nouveau qui mise sur la simplicité. Une seule clé, 200+ modèles, dashboard épuré, prix proches de ceux des fournisseurs.
Pros
- Setup le plus rapide de la liste, 3 minutes du signup au premier appel
- Tarification claire, peu de markup
- UI agréable pour debug des prompts
- Crédits prépayés, pas d'engagement
Cons
- Moins mature : observabilité encore basique, pas de A/B
- Pas de self-hosted
- Catalogue modèles plus petit que les concurrents
- Pas de feature d'optimisation automatique
Comment choisir
Quelques cas concrets pour fixer les idées :
- Solopreneur qui veut baisser sa facture sans réfléchir : LLMTest. L'autopilot fait le travail à votre place et le markup à 10 % se rentabilise dès le premier prompt optimisé.
- Équipe Vercel/Next.js : Vercel AI Gateway. Le 5 $ gratuit et l'intégration AI SDK justifient le lock-in tant que vous restez chez eux.
- Stack déjà sur Cloudflare : Cloudflare AI Gateway, point. Pas la peine d'ajouter un acteur supplémentaire.
- Devops qui veut héberger lui-même : LiteLLM. Comptez 200 à 500 $/mois d'infra + temps DevOps, mais zéro frais sur les appels.
- Équipe qui a besoin de compliance et guardrails : Portkey. Le plan à 49 $/mois se justifie dès que vous avez deux développeurs et un client qui pose des questions sur la PII.
- Inférence open source à grande échelle : Together AI. Personne ne fait mieux sur le prix par token pour Llama et Qwen.
Si vous hésitez entre OpenRouter et un alternatif moins cher, faites le calcul simple : multipliez votre dépense LLM mensuelle par 5,5 %. C'est ce que vous perdez chaque mois. À 2 000 $/mois, c'est 110 $ ; à 10 000 $, c'est 550 $. Au-delà, n'importe quel concurrent de cette liste se rentabilise en moins d'un trimestre.
Verdict
Le marché des LLM Gateways s'est segmenté en 2026. OpenRouter reste le défaut pour démarrer, mais ce n'est plus le meilleur choix dès qu'on dépasse quelques centaines de dollars par mois ou qu'on a besoin d'autre chose que du routage pur.
Mon classement personnel pour un dev solo ou une petite équipe qui veut un setup simple et économique : LLMTest en premier choix pour l'optimisation automatique, LiteLLM en second si vous voulez héberger vous-même, et Portkey en troisième dès que la gouvernance et l'observabilité comptent. Le reste de la liste est là pour des cas particuliers : Vercel et Cloudflare pour les écosystèmes captifs, Together pour l'open source, Kong pour la grosse entreprise, Requesty pour ceux qui veulent juste un truc qui marche.
Testez-en deux ou trois avec votre workload réel pendant une semaine. Les benchmarks publics mentent toujours un peu ; votre trafic, lui, ne ment pas.
