Un modèle d'IA est dit multimodal quand il peut comprendre ou produire plusieurs types de données : texte, image, audio, vidéo, et parfois d'autres signaux.
Plutôt que d'enchaîner des modèles spécialisés (un pour lire le texte d'une image, un autre pour l'analyser), un modèle multimodal traite les différentes entrées dans une même représentation. On peut ainsi poser une question sur une photo, analyser un document scanné avec ses tableaux, ou répondre directement à un message vocal.
Les grands modèles de Google, OpenAI, Anthropic ou Mistral acceptent tous au moins texte et image. Les usages courants : lecture automatique de documents, inspection visuelle en industrie, assistants vocaux, description de vidéos.
Pourquoi ça compte quand on recrute
Pour la plupart des produits, utiliser un modèle multimodal via une API relève du travail d'un AI Engineer. La rareté est ailleurs : entraîner ou adapter ces modèles demande des profils de recherche ou de computer vision, avec une vraie expérience sur la donnée image ou audio. Précisez lequel des deux vous cherchez.