Description du poste
Type de contrat : Stage
Niveau de diplôme exigé : Bac + 4 ou équivalent
Fonction : Personnel des fonctions support (IT)
A propos du centre ou de la direction fonctionnelle
Le Centre Inria de l’Université Grenoble Alpes, regroupe un peu moins de 600 personnes réparties au sein de 26 équipes de recherche et 9 services support à la recherche.
Son effectif est distribué sur 3 campus à Grenoble, en lien étroit avec les laboratoires et les établissements de recherche et d'enseignement supérieur (Université Grenoble Alpes, CNRS, CEA, INRAE, …), mais aussi avec les acteurs économiques du territoire.
Présent dans les domaines du calcul et grands systèmes distribués, logiciels sûrs et systèmes embarqués, la modélisation de l’environnement à différentes échelles et la science des données et intelligence artificielle, le Centre Inria de l’Université Grenoble Alpes participe au meilleur niveau à la vie scientifique internationale par les résultats obtenus et les collaborations tant en Europe que dans le reste du monde.
Contexte et atouts du poste
Les modèles de langage multimodaux récents, tels que Qwen3 Omni, intègrent de manière native des données textuelles, visuelles, audio et vidéo, et produisent des réponses en texte ou en voix en temps réel avec une latence réduite.
Ces capacités ouvrent de nouvelles perspectives pour l’interaction homme-robot, notamment en robotique sociale où la compréhension fine du contexte humain est capitale.
Objectifs du stage
L’objectif principal de ce stage est d’évaluer et d’adapter un modèle de langage multimodal (ex : Qwen3 Omni) pour son intégration dans un contexte de robotique sociale.
Le robot sera amené à interagir avec une ou plusieurs personnes en exploitant ses caméras et micros, avec un traitement multimodal simultané.
Ce que vous apprendrez durant le stage
Compréhension approfondie des architectures des modèles de langage multimodaux et des techniques de traitement simultané de données textuelles, visuelles, audio et vidéo.
Mise en pratique des méthodes de fine-tuning pour adapter de grands modèles multimodaux à des cas d’usage spécifiques.
Déploiement local d’un modèle d’IA avancé, en liaison avec une plateforme robotique pour des interactions sociales intelligentes.
Travailler en collaboration avec des ingénieurs et des chercheurs
Environnement
Vous serez encadré par Nicolas Turro, ingénieur et co-encadré par les chercheurs de l'équipe RobotLearn – Learning, perception and control for social robots
Les expérimentations robotiques s'effectueront sur un des deux robots ARI | Social and Collaborative Robot for Research & Entertainment ou Enchanted Tools / Changing the face of robotics
Mission confiée
Première phase : Évaluation multimodale
Choisir, installer, configurer et exécuter un modèle multimodal sur une machine locale de l’équipe.
Analyser les interactions entre les différentes modalités d’entrée (texte, image, audio, vidéo) et leur impact sur les réponses.
Étudier des cas spécifiques, par exemple :
Influence éventuelle de caractéristiques visibles comme l’âge ou le genre sur les réponses.
Perception des émotions dans la voix et/ou l’image et leur prise en compte dans la génération des réponses.
Gestion des contradictions entre modalités (ex.
description textuelle contredite par la vidéo).
Cette évaluation combinera des interactions en temps réel avec le modèle et des tests sur des datasets annotés.
Deuxième phase : Adaptation et fine-tuning
Étudier en détail l’architecture du modèle multimodal (ex : couches de fusion des modalités, encodeurs spécialisés).
Rechercher et comparer les méthodes existantes de fine-tuning pour ces grands modèles multimodaux, notamment via des frameworks comme align-anything ou Unsloth.
Mettre en œuvre une méthode de fine-tuning adaptée pour modifier ou améliorer la prise en compte des modalités en fonction des résultats de la première phase.
Évaluer l’impact de cette adaptation sur les performances du modèle dans le contexte de la robotique sociale.
Troisième phase : Intégration robotique et démonstration
Intégrer le modèle adapté aux plateformes robotiques de l’équipe (ex : robot Mirokaï d’Enchanted Tools).
Développer une application de démonstration où le robot interagit de manière multimodale avec des utilisateurs humains.
Références utiles :
Qwen3-Omni Technical Report (ArXiv) : description détaillée du modèle multimodal Qwen3 Omni, son architecture et ses performances.
USER-VLM 360°: Personalized Vision Language Models with User-aware Tuning (ArXiv) : travaux récents sur la personnalisation des modèles VLM pour interactions sociales.
Align-anything Documentation : framework pour fine-tuning multi-modale.
Unsloth AI : outils open source pour fine-tuning efficace des LLM multimodaux.
Enchanted Tools : informations sur les robots Mirokaï, contexte d’intégration.
Principales activités
lecture de documentation technique est scientifique
évaluation de frameworks (d'inférence, de finetuning)
expérimentation avec datasets ou caméra/micro ordinateur et robot
développment logiciel Python
Activités complémentaires :
reporting oral et ecrit
Compétences
Solides bases en apprentissage automatique, traitement du langage naturel, vision par ordinateur ou traitement du signal audio.
Une expérience pratique en programmation Python.
L’utilisation de frameworks ML (PyTorch..) et gestion d’environnements GPU est un plus.
Esprit d’équipe et bonnes capacités de communication pour collaborer avec des chercheurs et ingénieurs dans différents domaines.
Avantages
Restauration subventionnée
Transports publics remboursés partiellement
Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
Accès à la formation professionnelle
Sécurité sociale sous conditions
Participation employeur mutuelle santé (sous conditions)
Rémunération
Gratification = 4,35 € brut/heure
Informations générales
Ville : Montbonnot
Centre Inria : Centre Inria de l'Université Grenoble Alpes
Date de prise de fonction souhaitée : 2026-03-01
Durée de contrat : 6 mois
Date limite pour postuler : 2025-11-14
Attention: Les candidatures doivent être déposées en ligne sur le site Inria.
Le traitement des candidatures adressées par d'autres canaux n'est pas garanti.
Consignes pour postuler
Les candidatures doivent être déposées en ligne sur le site Inria.
Le traitement des candidatures adressées par d'autres canaux n'est pas garanti.
Sécurité défense :
Ce poste est susceptible d’être affecté dans une zone à régime restrictif (ZRR), telle que définie dans le décret n°2011-1425 relatif à la protection du potentiel scientifique et technique de la nation (PPST).
L’autorisation d’accès à une zone est délivrée par le chef d’établissement, après avis ministériel favorable, tel que défini dans l’arrêté du 03 juillet 2012, relatif à la PPST.
Un avis ministériel défavorable pour un poste affecté dans une ZRR aurait pour conséquence l’annulation du recrutement.
Politique de recrutement :
Dans le cadre de sa politique diversité, tous les postes Inria sont accessibles aux personnes en situation de handicap.
Contacts
Équipe Inria : SED-RAL (DGD-I)
Recruteur :
Turro Nicolas / nicolas.turro@inria.fr
L'essentiel pour réussir
Stage de fin d'étude uniquement (6 mois)
Motivation pour travailler sur des sujets à la frontière entre intelligence artificielle et robotique.
Autonomie, rigueur et curiosité scientifique pour explorer des architectures complexes et de nouvelles méthodologies.
A propos d'Inria
Inria est l’institut national de recherche dédié aux sciences et technologies du numérique.
Il emploie 2600 personnes.
Ses 215 équipes-projets agiles, en général communes avec des partenaires académiques, impliquent plus de 3900 scientifiques pour relever les défis du numérique, souvent à l’interface d’autres disciplines.
L’institut fait appel à de nombreux talents dans plus d’une quarantaine de métiers différents.
900 personnels d’appui à la recherche et à l’innovation contribuent à faire émerger et grandir des projets scientifiques ou entrepreneuriaux qui impactent le monde.
Inria travaille avec de nombreuses entreprises et a accompagné la création de plus de 200 start-up.
L'institut s'efforce ainsi de répondre aux enjeux de la transformation numérique de la science, de la société et de l'économie.
Avantages:
• Prise en charge du transport quotidien
• RTT
• Programme de formation
