Urban@Mix // Avatar sensoriel

Urban@Mix

1. Le concept

Si avant de ressentir une émotion, de trouver du plaisir ou de susciter une réflexion, pour un spectateur comme vous et moi un film au cinéma c'est d'abord un "objet à regarder", pour un acteur en revanche (et si c'est un grand rôle) c'est l'opportunité de vivre des situations et ressentir intensément des sentiments qu'il n'aurait pas nécessairement l'occasion d'expérimenter dans sa vie réelle.

De la même façon, pour ses participants, le projet Urban@Mix se propose d'être l'occasion d'expérimenter et de ressentir des émotions non-expérimentables dans le "réel" seul, par le truchement d'un dispositif complexe d'hybridation "réel-virtuel" voulu le plus innovant possible.

2. Le principe

Comme son nom l’indique Urban@Mix est un projet d’hybridation des deux mondes dans lesquels nous évoluons au quotidien, celui tangible des choses “réelles” - notre environnement physique, nos relations, les objets qui nous entourent - et celui plus immatériel de notre environnement numérique - objets virtuels, avatars, contenus de toutes sortes.

Le projet Urban@Mix se propose donc de monter un dispositif complet d’hybridation entre monde réel (une rue de Strasbourg) et monde virtuel (un ensemble d’objets numériques). Un avatar 3D servira d’interface et de médium entre ces deux mondes, et à travers ses expérimentations (il sera sensible et réactif aux événements aussi bien réels que virtuels) nous explorerons diverses facettes des interactivités possibles entre ces mondes. Urban@Mix consiste à réaliser cet espace commun par le biais de cet avatar, un personnage virtuel utilisé comme point-pivot de cette double scénographie, une sorte de médium faisant interface et rendant ces scènes simultanément visibles à travers son regard (webcam) et ses interactions. En effet, par un dispositif technique mixé, il sera capable de “voir” les deux mondes en simultané et donc d’interagir avec eux simultanément.

La rue de l’expérience devient ce théâtre où se déroulent deux pièces, deux scènes simultanées, chacune avec ses acteurs, ses accessoires et leurs rôles propres, et l’avatar, en tant que double de nous-même, interagit avec chaque scène pour n’en faire plus qu’une seule. L’irruption de l’avatar, être mi-réel mi-virtuel, réordonne les différents niveaux d’espaces et de réalités pour leur permettre de communiquer entre eux. La seule présence de l’avatar permet alors à chaque univers d’avoir accès à l’autre dans la même temporalité et la même localisation.

La seconde partie de l'expérience Urban@Mix, le volet artistique, se propose quant à lui de traduire ces échanges et interconnexions en oeuvres numériques projetées en temps réel dans un lieu à trouver à proximité de la "rue hybridée".

3. Le dispositif

Le dispositif global comporte 3 volets :

• a) le montage technique
• b) le montage expérimenté
• c) le montage artistique.

a. le montage technique

Un "avatar sensoriel" (personnage virtuel) est au coeur du dispositif. Simultanément présent dans le monde "réel", physique, tangible, des êtres et des choses - probablement sous la forme d'un mannequin de vitrine ou tout autre objet anthropomorphe – et placé dans l'environnement d'un vécu quotidien - une rue, une ville (Strasbourg) – en même temps que dans le monde virtuel des êtres et des choses numériques, il sera capable d'interagir avec les éléments de chacun de ces univers.

Positionné en intermédiateur entre ces deux mondes, il sera à la fois l'axe du monde hybride (les deux univers réunis dans une seule et même scène visible par tous) et l'artefact à travers lequel êtres et objets réels ou virtuels pourront interagir les uns avec les autres : un être réel pourra déplacer un objet virtuel, un objet virtuel modifier l'état d'un objet réel, etc.

Bardé de capteurs informatiques (webcams, ordinateurs, tablettes, smartphones, cartes Arduino, …) l'avatar sensoriel voit, écoute, parle, se déplace et réagit aux stimuli extérieurs (mouvements, toucher, irruptions d'êtres ou d'objets venus du réel, …) comme il réagit aux informations numériques distribuées par la partie technologique du dispositif.

b. le montage expérimenté

Les "spect-acteurs" (acteurs parce que spectateurs) sont des personnes réelles présentes dans le même espace et au même moment que l'avatar sensoriel. Via un certain nombre d'outils matériels ou numériques ils pourront interagir entre eux, interagir avec l'avatar ou encore avec les objets réels ou numériques présents dans la scène. Cette scène duelle (éléments physiques et éléments virtuels) sera matérialisée sur un écran où tous les acteurs et objets seront visibles dans une hybridation la plus réaliste et la plus parfaite possible, l'idéal étant qu'on ne puisse plus aisément décider ce qui est "réel" et ce qui est "virtuel" tant l'expérimentation (ce qui est vécu à ce moment-là) est en décalage avec les vécus/perçus quotidiens : l' "expérimenté" est tout entier contenu dans ce trouble entre le réel perçu comme tel et le réel expérimenté en hybridation.

c. le montage artistique

Selon les événements en cours de l'expérimentation, toutes les interactions entre réel et virtuel - qu'elles soient produites par l'avatar ou par tout objet de la scène hybride (personnes, choses) - sont récupérables sous forme de données numériques. Ces données sont exploitées sur écrans, générant/créant des oeuvres dynamiques et momentanées qui sont stockées à différents moments de leur élaboration pour archivage, voire même pour une ou des exposition(s) ultérieure(s) en d'autres lieux.

Un certain nombre de questionnements complexes seront implicitement posés :

• Qu'est-ce que l' "image de soi" quand elle est remixée à (et par) des données numériques ?
• Qu'est-ce que l'espace dans lequel je crois évoluer quand il me montre des objets que mes sens ne perçoivent pas ?
• Comment mes interactions avec les autres (nos déplacements, nos gestes, nos paroles, …) peuvent former des méta-données soudain visibles ?
• En quoi la réalité perçue par nos sens peut venir s'augmenter par un "expérimenté spécifique" ?
• Une machinerie numérique est-elle capable de produire une oeuvre face à laquelle on puisse ressentir une émotion sincère ?

4. les technologies

Tout un ensemble de technologies innovantes et expérimentales sont utilisées et mixées pour obtenir les résultats attendus :

• Technologies de réalité virtuelle (mondes immersifs : SL/OpenSim...) pour faire apparaître des objets numériques dans le champ perceptif (les voir, les entendre, les déplacer, les toucher, …)
• Technologies de réalité augmentée pour les insérer "naturellement" dans l'environnement réel
• Technologies d'analyse sémantique/intelligence artificielle pour gérer les flux de paroles entre monde réel et monde virtuel (AIML, Text-to-Speech, Speech-to-Text, …)
• Technologies de détection/reconnaissance faciale pour permettre à l'avatar de reconnaître des personnes réelles et d'engager des relations avec elles
• Technologies de scènes 3D (wegGL, canvas HTML5, ...)
• Technologies de détection de positions et de mouvements (oscilloscope, gyroscope, inclinomètre, GPS, …)
• Technologies de data-visualisation pour transformer des données numériques en objets graphiques
• Technologies d'interfaçage entre réalité tangible et virtualité capables de transformer des signaux analogiques en données numériques et réciproquement (Arduino)
• Technologies mobiles pour utiliser nos smartphones comme outils d'échange et d'interaction (web apps)
• Technologies de contact (RFID/NFC) pour interfacer réel et virtuel par contact physique
• Technologies de langages client-serveur pour faire tourner le dispositif (REST, Ajax, SSE, Websockets, Node...)

Auxquelles s'ajoute un ensemble de technologies plus classiques pour matérialiser l'expérimentation :

• Vidéo-projections sur murs/objets
• Affichages sur écrans géants
• Affichages sur écrans multiples d'ordinateurs
• Connexion wifi stable et puissante pour dialogues monde virtuel<-serveur->monde réel

5. Les objectifs

L'objectif à atteindre est double : d'abord produire des émotions, des sentiments, des ressentis, et créer des oeuvres matérialisant ces vécus expérimentés.

Le trouble généré par la confrontation intérieure de deux "perçus" (le perçu raisonné, cognitif, issu de la relation historique, sociale et culturelle au monde qui nous entoure et le perçu expérimenté par l'hybridation) est mesurable, quantifiable et qualifiable.

Cette confrontation fait d'une part apparaître notre relation au monde comme 100% construite (alors que nous avons intuitivement et psychologiquement tendance à la considérer comme "naturelle") et de l'autre, contrairement à notre relation désormais quotidienne aux "choses numériques" (mails, réseaux sociaux, sites web,…) qui est une relation perçue comme parallèle et posée dans une sorte d'"autre registre du réel" sans jamais remettre en question cette qualité d' être "le" réel, aussitôt que cette perception/relation est hybridée, mixée, rendue immersive, se pose alors inévitablement la question du "vrai" et du "faux". Celle du "réel" et du "non-réel"...

Ce questionnement est fécond dans la mesure où il échappe au pensé, au réfléchi, au rationnel. Il ouvre des portes vers des attitudes et comportements expérimentaux. Ce sont ces comportements qui forment la matière à partir de laquelle, en les capturant et en les rendant visibles, le dispositif se propose de produire des traces sous forme d'oeuvres plastiques venant matérialiser le trouble ressenti et/ou l'attitude adoptée par chacun des participants.

6. Les méthodes

Les interactions entre personnes physiques, objets réels, personnes virtuelles et objets numériques sont rendues possibles par la numérisation en temps réel des signaux émis par tous ces acteurs de la scène en cours.

Les sources formant la scène finale sont multiples : les "objets" venus du réel tangible (les êtres et les choses) sont capturés par les "yeux" du dispositif-avatar (webcams), les sons émis par ses micros, les mouvements par géolocalisation, gyroscopie, etc. Ils sont projetés à l'écran en tant que "background réel" dans lequel viennent s'insérer différents types d'objets numériques : objets issus d'univers virtuels pré-existants (avatars, objets meshes OpenSim/SL), objets purement dynamiques générés par des scripts informatiques programmés, objets 3D DAE surajoutés (réalité augmentée), etc.

A travers l'utilisation optimale des outils et ressources technologiques décrites plus haut, la scène hybride projetée présentera toutes les caractéristiques d'une réalité nouvelle, expérimentale, dans laquelle les acteurs interviendront de façon consciente et volontaire ou programmée selon leurs statuts respectifs, et depuis laquelle les informations exploitables nécessaires à la production d'oeuvres seront produites.

Quelques exemples :

• Traquer les déplacements d'être réels vers des objets virtuels et en faire des tracés, des courbes, des jeux de sons ou de couleurs à l'écran
• Produire des oeuvres dynamiques mixant portraits des êtres réels et virtuels détectés dans la scène en y surajoutant des données temporelles
• Créer une oeuvre poétique aléatoire par analyse sémantique et mise en forme des mots échangés entre les personnes réelles, les personnages virtuels et l'avatar sensoriel
• Générer des visualisations enrichies à partir des déplacements d'objets réels ou numériques en interaction avec l'espace de la scène considérée en un moment donné
• Evaluer les changements d'expression de visage d'un (ou plusieurs) être(s) réel(s) pour modifier une oeuvre en cours d'élaboration
• Capturer un espace sonore momentané et le traduire en signes visibles
• Créer une cartographie subjective du lieu (la rue, le quartier) selon les événements qui se produisent sur une certaine longueur de temps

7. Evaluations

Deux limites sont fixées pour évaluer la réussite de l'opération.

La première est celle de l'effet "wow" : l'hybridation est telle que la surprise et l'amusement d'en jouer supplantent "l'immersion expérimentale créatrice". Le spect-acteur, au lieu de se comporter le plus "naturellement" possible avec les choses numériques - comme le ferait probablement un enfant non encore inscrit dans une relation pleinement raisonnée au monde - installe une distance protectrice entre lui et l'événement en cours, distance qu'il matérialise sous la forme d'une "critique expérimentale" (par exemple en testant les limites du système : questions insolubles, actions irréalisables) ou encore sous celle d'un "enchantement forcé" en se soumettant à un effet de surprise qui peut être anesthésiant d'un point de vue "création".

La seconde est inverse : le dispositif est perçu comme inintéressant et peu enclin à produire suffisamment de sens pour s'y livrer pleinement, et donc y ressentir peu ou pas d'émotion.

Ce sont les deux situations d'échec entre lesquelles le dispositif devra impérativement trouver sa place.

8. Planning prévisionnel

- février-mars 2012 : mise en place et expérimentation des outils technologiques les uns après les autres, validation des méthodes et outils.

- avril 2012 : mixage de tous ces outils et validation cohérence globale du dispositif

- mai 2012 : réalisation de l'avatar, premiers tests grandeur nature

- fin mai-début juin 2012 : opération complète/réalisation projet Urban@Mix

9. Equipe

Une petite équipe transversale pluri-disciplinaire est en cours de constitution, mixant toutes sortes de créateurs (geeks, plasticiens, autres, …).

10. Evolution du projet

Etant reproductible à l'infini mais à chaque fois différente, si l'expérience est satisfaisante elle peut ensuite être proposée à plus grande échelle à des institutions-partenaires et être accompagnée de financements spécifiques pour la développer et la promouvoir.

KEYWORDS

hybridation

création

expérimentation