Devéloppeur AI (H/F)

Intégré à l’équipe et à ses sprints, le consultant interviendra sur les sujets suivants :

- Intégration et déploiement de nouveaux modèles open source sur AI Endpoints (LLM, embeddings, speech-to-text, text-to-speech, ...)
- Optimisation de l’inférence avec vLLM et SGLang : quantization, batching, KV cache, prefix caching, speculative decoding
- Benchmarks de performance sur nos GPU actuels et sur les nouvelles générations à venir
- Amélioration de l’autoscaling, de l’observabilité et de la fiabilité des services en production
- Participer au run sur les produits

Livrables

- Nouveaux modèles déployés en production sur AI Endpoints, avec une configuration d’inférence optimisée et documentée
- Rapports de benchmark par modèle et par GPU, avec des recommandations
- Code livré par pull requests revues et intégrées (Python, Rust)
- Dashboards et alertes de supervision des services
- Documentation technique et transfert de connaissances à l’équipe

Profil recherché

- Expérience confirmée du déploiement de LLM en production sur GPU
- Maîtrise de vLLM et/ou SGLang
- Optimisation d’inférence : quantization (AWQ, GPTQ, FP8), KV cache, batching, speculative decoding
- Python et Rust
- Environnements GPU NVIDIA, Docker, Kubernetes
- Observabilité : Prometheus, Grafana, OpenTelemetry
- Git, CI/CD, revues de code, méthodes agiles
- Usage maîtrisé des assistants de code IA