Le projet WAVE a pour objectifs la formalisation de nouveaux moyens d’édition, de visualisation, d’interaction avec des objets temporels audiovisuels diffusés sur le web.

Il donnera lieu à la conception et au développement de briques logicielles concernant les interfaces et interactions utilisateurs, les interfaces audionumériques, les interfaces clients/serveurs, et leurs échanges de données. Elles seront issues de l’analyse de pratiques musicales expertes confrontées à des usages ordinaires d’applications et standards du web, dans le but de proposer des cas d’usage innovants.

Le projet intègrera ces briques logicielles pour développer de nouveaux services et en enrichir des existants. Moyens nouveaux de consommer et partager des documents musicaux et audiovisuels en ligne, ces services seront mis en place dans le cadre du projet et mis à disposition des utilisateurs par les partenaires du projet dans le cadre de développements de leurs produits et/ou nouvelles offres commerciales.

Le projet utilisera d’une part les standards du W3C (particulièrement HTML5 et la nouvelle plateforme Web) en les complétant si besoin, et d’autre part les possibilités d’interaction offertes par les nouveaux terminaux, afin de proposer des interfaces cohérentes, accessibles et innovantes et des nouvelles expériences utilisateurs adaptées à la consultation, à l’interaction, à l’annotation, à la transformation et au partage d’objets temporels.

Dans un contexte technologique web protéiforme, la formalisation et l’instanciation de ces multiples interfaces dans différentes technologies et prenant appui sur des standards et recommandations du W3C contribuera à l’émergence d’un web véritablement hypermédia et interactif. Dans un contexte de crise des industries culturelles, et particulièrement celles ayant attrait à la musique, les entreprises partenaires et les partenaires institutionnels pourront mettre à profit ces cas d’usage et exploiter de nouveaux marchés à travers des dispositifs innovants d’écoute et de consultation interactives et enrichies de flux temporels sur le web.

Tâche 2. Spécifications fonctionnelles

Produire une spécification fonctionnelle complète des usages et pratiques existants ou innovants de consultation, d’édition et d’interaction avec des objets temporels augmentés/enrichis.

Livrable 2.1 (M3) Base de connaissance des caractéristiques des interfaces de consultation, de manipulation et d’édition d’objets temporels et des nouvelles formes d’interaction. Ce livrable permettra d’enrichir une base de connaissance, selon des critères à définir sur l’interaction et l’ergonomie fonctionnelle autour de medias temporels. Afin d’illustrer les concepts ergonomiques développés, l’équipe APM produira des maquettes-test au format HTML5. Tous les partenaires participeront à ce document.

Livrable 2.2 (M6) Faisabilité en terme de standard et navigateurs web des éléments d’interfaces précédemment décrits. Ce document, dont la rédaction sera de la responsabilité d’Eurecom, permettra de faire le point sur ce qui est réalisable dans le livrable 1 à l’aide des standards et drafts du W3C, et de pointer possiblement les points à aborder avec le W3C sur la suite du processus de standardisation du web pour les cas problématiques. Eurecom et APM participeront à ce document.

Livrable 2.3 (M8) Formalisation. Ce document, rédigé conjointement par l’équipe APM, l’équipe IMTR et Eurecom (et auquel le prestataire Vi-live participera) posera les bases des développements envisagés pour les tâches 3, 4 et 5, en fournissant la formalisation 1) pour les interfaces visuelles, 2) pour les interfaces audionumériques et 3) pour les interactions nouvelles. Ce document établira notamment des règles de nommages, des patrons de classes et de markup HTML, des noms partagés pour des variables d’évènements … et tout types de règles informatiques permettant aux modules développés de communiquer entre eux. Sur la partie traitement et analyse audionumérique, la formalisation pourra prendre appui sur des standard type FEAPI et Vamp. Sur la partie nouvelles interactions, la formalisation devra faire abstraction des différents moyens de captation de gestes d’interaction pour permettre l’interchangeabilité des moyen de captation de gestes de contrôle et ainsi l’adaptabilité des logiciels exploitant les contenus audiovisuel aux différents systèmes informatiques accessible par l’utilisateur (i.e. poste fixe, dispositif mobiles, etc.).

Tâche 3. Interfaces visuelles

Conception et développement des interfaces écran qui permettront de consulter des objets temporels augmentés, de les manipuler, de les éditer, de les partager et de les faire interagir avec d’autres documents sur le web

Livrable 3.1 (M12) Widget viewer, dont :

• Module track, period, marker, permettant d’instancier différents annotations d’un flux temporel selon une couche d’annotation (track), une période (period), ou un instant (marker),
• Module de contrôle, permettant la navigation dans le flux temporel,
• Module de navigation (zoom, translation etc.), permettant la navigation dans la représentation du flux temporel. Livrable 3.2 (M14) Interfaçage avec des contenus web Livrable 3.3 (M16) Widget d’édition Livrable 3.4 (M18) Intégration dans des framework (certainement au format REST, à priori à minima Django et WordPress)

Tâche 4. Interfaces audionumériques

Cette tâche a pour objectif d’aborder les problèmes des interfaces audionumériques. Nous aborderons les problématiques :

des traitements audionumériques pour le traitement (de type effets), la visualisation ou la synthèse du son, des conteneurs audiovisuels augmentés, des enjeux client/serveur, notamment l’utilisation du Cloud computing.

Livrable 4.1 (M15) : Transport audio client/serveur (multiflux et multipiste) Livrable 4.2 (M19) Composants logiciel moteur audio interactif

• bibliothèque de moteur audio

• API pour plugins de transformations temps réel Livrable 4.3 (M17) Composants logiciel traitements audio

• bibliothèque de traitements audio

Tâche 5. Interactions nouvelles

L’objectif de cette tâche est de réaliser les interfaces de programmation pour l’interaction par le geste et le son avec les contenus temporels audiovisuels spécifiés dans la tâche 2. Il s’agit de développer des composants logiciels et d’intégrer des composants existants pour l’extraction des gestes d’interaction à partir de flux de données produits par les différents dispositifs de captation disponible sur les plateformes cibles (i.e. capteurs inertiels, boussole, écran tactile, caméra, microphone).De plus, nous prenons comme hypothèse que des contenus audiovisuels sont diffusés sur le web et que des spectateurs peuvent interagir en même temps sur ces contenus. Le défi est alors d’analyser ces interactions en temps réel et de fournir une visualisation enrichie par les interactions sociales de ces contenus [Champin2010] [Steiner2010] [Steiner2011].

Livrable 5.1 (M11) Interfaces de programmation captation de gestes d’interaction

• Interface capteurs de mouvement
• Interface captation de mouvement à partir des flux vidéo

• Interface contrôles multi-touch Livrable 5.2 (M16) Composants logiciels interaction audio

• bibliothèque d’extraction de descripteurs sonores

• bibliothèque de prétraitement des entrées audio Livrable 5.3 (M20) Composants logiciel analyse de gestes d’interaction

• bibliothèque de classification et de reconnaissance de gestes d’interaction Livrable 5.4 (M13) Interaction sociales, collaborative, humaine Eurecom

• bibliothèque d’analyse des interactions sociales associées aux contenus multimédias temporalisés