Know ATS Score
CV/Résumé Score
  • Expertini Resume Scoring: Our Semantic Matching Algorithm evaluates your CV/Résumé before you apply for this job role: Sujet de stage Master: Évaluation et adaptation de modèles de langage multimodaux pour la robotique sociale.
France Jobs Expertini

Urgent! Sujet de stage Master: Évaluation et adaptation de modèles de langage multimodaux pour la robotique sociale Job Opening In Montbonnot-Saint-Martin – Now Hiring INRIA

Sujet de stage Master: Évaluation et adaptation de modèles de langage multimodaux pour la robotique sociale



Job description

Contexte et atouts du poste

Les modèles de langage multimodaux récents, tels que Qwen3 Omni, intègrent de manière native des données textuelles, visuelles, audio et vidéo, et produisent des réponses en texte ou en voix en temps réel avec une latence réduite.

Ces capacités ouvrent de nouvelles perspectives pour l’interaction homme-robot, notamment en robotique sociale où la compréhension fine du contexte humain est capitale.


Objectifs du stage


L’objectif principal de ce stage est d’évaluer et d’adapter un modèle de langage multimodal (ex : Qwen3 Omni) pour son intégration dans un contexte de robotique sociale.

Le robot sera amené à interagir avec une ou plusieurs personnes en exploitant ses caméras et micros, avec un traitement multimodal simultané.


Ce que vous apprendrez durant le stage

  • Compréhension approfondie des architectures des modèles de langage multimodaux et des techniques de traitement simultané de données textuelles, visuelles, audio et vidéo.

  • Mise en pratique des méthodes de fine-tuning pour adapter de grands modèles multimodaux à des cas d’usage spécifiques.

  • Déploiement local d’un modèle d’IA avancé, en liaison avec une plateforme robotique pour des interactions sociales intelligentes.

  • Travailler en collaboration avec des ingénieurs et des chercheurs
  • Environnement


    Vous serez encadré par Nicolas Turro, ingénieur et co-encadré par les chercheurs de l'équipe ARI | Social and Collaborative Robot for Research & Entertainment ou 

    Mission confiée

     Première phase : Évaluation multimodale

  • Choisir, installer, configurer et exécuter un modèle multimodal sur une machine locale de l’équipe.

  • Analyser les interactions entre les différentes modalités d’entrée (texte, image, audio, vidéo) et leur impact sur les réponses.

  • Étudier des cas spécifiques, par exemple : Influence éventuelle de caractéristiques visibles comme l’âge ou le genre sur les réponses.
    Perception des émotions dans la voix et/ou l’image et leur prise en compte dans la génération des réponses.
    Gestion des contradictions entre modalités (ex.

    description textuelle contredite par la vidéo).


  • Cette évaluation combinera des interactions en temps réel avec le modèle et des tests sur des datasets annotés.
  •  Deuxième phase : Adaptation et fine-tuning

  • Étudier en détail l’architecture du modèle multimodal (ex : couches de fusion des modalités, encodeurs spécialisés).

  • Rechercher et comparer les méthodes existantes de fine-tuning pour ces grands modèles multimodaux, notamment via des frameworks comme align-anything ou Unsloth.

  • Mettre en œuvre une méthode de fine-tuning adaptée pour modifier ou améliorer la prise en compte des modalités en fonction des résultats de la première phase.

  • Évaluer l’impact de cette adaptation sur les performances du modèle dans le contexte de la robotique sociale.
  •  Troisième phase : Intégration robotique et démonstration

  • Intégrer le modèle adapté aux plateformes robotiques de l’équipe (ex : robot Mirokaï d’Enchanted Tools).

  • Développer une application de démonstration où le robot interagit de manière multimodale avec des utilisateurs humains.
  • Références utiles :


  •  : travaux récents sur la personnalisation des modèles VLM pour interactions sociales.

  •  : outils open source pour fine-tuning efficace des LLM multimodaux.

  • Principales activités

    lecture de documentation technique est scientifique
    évaluation de frameworks (d'inférence, de finetuning)
    expérimentation avec datasets ou caméra/micro ordinateur et robot
    développment logiciel Python

    Activités complémentaires :

    reporting oral et ecrit
  • Compétences

  • Solides bases en apprentissage automatique, traitement du langage naturel, vision par ordinateur ou traitement du signal audio.

  • Une expérience pratique en programmation Python.

    L’utilisation de frameworks ML (PyTorch..) et gestion d’environnements GPU est un plus.

  • Esprit d’équipe et bonnes capacités de communication pour collaborer avec des chercheurs et ingénieurs dans différents domaines.
  • Avantages

  • Restauration subventionnée

  • Transports publics remboursés partiellement

  • Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)

  • Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail

  • Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)

  • Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)

  • Accès à la formation professionnelle

  • Sécurité sociale sous conditions

  • Participation employeur mutuelle santé (sous conditions)
  • Rémunération

    Gratification = 4,35 € brut/heure


    Required Skill Profession

    Postsecondary Teachers



    Your Complete Job Search Toolkit

    ✨ Smart • Intelligent • Private • Secure

    Start Using Our Tools

    Join thousands of professionals who've advanced their careers with our platform

    Rate or Report This Job
    If you feel this job is inaccurate or spam kindly report to us using below form.
    Please Note: This is NOT a job application form.


      Unlock Your Sujet de Potential: Insight & Career Growth Guide