Capture et apprentissage de signaux physiologiques pour la reconnaissance d’émotions: application aux arts du spectacles et à la scénographie multimedia.
Nous construisons une machine qui fait correspondre des sons et des images aux émotions d’un interprète.
Les entrées sont des capteurs de respiration (température nasale, diamètre de la cage thoracique), les battements du coeur, l’image du visage, le son de la voix. Les sorties sont des générateurs sonores et vidéo qui réagissent en temps réel.
Les étapes intermédiaires de traitement de l’information sont le coeur de notre travail:
– extraction de caractéristiques dominantes
– reconnaissance d’états par réseau de neurones artificiels
– représentation et analyse du déroulement émotionnel
L’artiste imagine un monde émotionnel représenté selon 4 pôles. Après un apprentissage, la machine peut dire où se trouve l’interprète dans ce monde. Nous étudions la rétroaction des sons et des images qu’il perçoit sur son état émotionnel.
Interpretation of sensor data: can we relate it to emotions ? (.pdf)