Le Montreux Jazz digital project

Le Montreux Jazz Digital Project

La sauvegarde des archives audiovisuelles du Montreux Jazz Festival, un patrimoine pour l’innovation et la recherche

Introduction

Ella Fitzgerald, Nina Simone, B.B. King, Miles Davis, James Brown, Marvin Gaye, Joe Cocker ou encore Gary Moore, Phil Collins, David Bowie et Prince, tous ont joué au Montreux Jazz Festival, chaleureusement accueillis par son créateur Claude Nobs, un montreusien visionnaire, passionné de musique et de technologie. Enregistrés dès les débuts en 1967, en audio et vidéo et toujours avec les technologies de pointe du monde broadcast, les artistes de passage au festival ont participé à la création de l’une des plus importantes collections de musique du 20e siècle, inscrite en 2013 au registre de la « Mémoire du Monde » de l’UNESCO.

“It’s the most important testimonial to the history of music, covering jazz, blues and rock” déclare le producteur Quincy Jones en 2009 depuis son studio de New-York, lors de la présentation du projet de numérisation des 14'000 bandes concernées. 5’000 heures de concerts « live » du Montreux Jazz Festival vont être numérisées, préservées pour les générations futures, et appelées à devenir une matière première idéale pour le développement de la recherche dans les domaines de l’acoustique, du traitement audio/vidéo, de la musicologie, des neurosciences, de l’interaction media-utilisateurs, mais touchant également au domaine de la sociologie et plus largement aux humanités digitales.

Le Montreux Jazz Festival

Le Montreux Jazz Festival débute en 1967 à Montreux, lorsque l’office du tourisme donne mission à Claude Nobs de réfléchir à l’organisation d’un événement dont l’objectif est de  développer la renommée de la ville dans le monde entier. Proche des milieux broadcast présents à Montreux chaque année à l’occasion du Symposium TV, Claude Nobs décide de créer un festival de jazz, et d’en enregistrer les concerts en audio mais aussi en vidéo, ce qui est très rare à l’époque. La vision consiste à diffuser ces enregistrements sur les canaux de télévision et de radio, mais aussi sur support disque. Le succès sera retentissant. Montreux devient rapidement connu dans le monde entier pour son festival.

Claude Nobs, cuisinier de formation, possède l’art de recevoir les artistes comme des amis, les invitant à passer quelques jours dans son chalet de Caux pour apprécier le décor, les montagnes et la vue reposante sur la Riviera. Dans une ambiance chaleureuse et souvent festive, les musiciens se rencontrent et se retrouvent en vacances, il n’est pas rare de voir les jam sessions s’improviser dans le jardin, il arrive même aux musiciens d’oublier l’heure du concert à Montreux ! Claude et son festival deviennent ainsi un passage obligé, très apprécié et réputé dans le monde de la musique.

Le festival sera régulièrement ponctué d’évènements marquants, qui contribueront à en augmenter la notoriété. En particulier, un concert improvisé du pianiste Les McCann et du saxophoniste Eddie Harris donne lieu en 1969 à un 33 tours « Live at Montreux », qui restera numéro 1 dans les clubs de jazz durant plusieurs mois aux Etats-Unis. Par ailleurs, lors du concert de Frank Zappa organisé par Claude Nobs en décembre 1971, le Casino est détruit par le feu suite à l’envoi d’une fusée qui enflamme le plafond de bambou. Les membres du groupe Deep Purple sont présents dans la salle et écrivent pour Claude leur titre phare « Smoke On The Water », qui devient ensuite un succès mondial.

Aujourd’hui, la diffusion des concerts « Live at Montreux » sur les plateformes de streaming a atteint le demi milliard de vues ou d’écoutes.

Les archives audiovisuelles du festival

La collection des enregistrements se présente sous plusieurs formes:

• Une archive video

• Une archive audio, incluant des multipistes

Formats de bandes Vidéo	Période
	De	A
Philips VCR	1973	1977
2-inch	1968	1980
1-inch	1970	1988
U-matic	1971	1990
Betacam SP	1983	1992
D-2	1991	1996
1-inch HD	1991	1993
Betacam Digital	1993	2002
D-5	2001	2002
HDCAM	1997	2016
XDCAM	2009	2012
Broadcast files	2013	2017

Formats de bandes Audio	Période
	De	A
1/4-inch (stereo)	1967	1980
2-inch multi-tracks	1973	1990
U-matic audio (stereo)	1979	1988
DAT (stereo)	1987	1996
1-inch (multi-tracks)	1987	1987
1/2-inch (multi-tracks)	1989	2000
Multi-track Sessions	2001	2017

• Numérisation : les tâches de lecture de bandes et de conversion des signaux analogiques en signaux numériques sont confiées à des tiers, spécialistes possédant les compétences et les équipements nécessaires à l’obtention du résultat le plus fidèle possible pour une grande variété de types de supports et dans un laps de temps raisonnable. Sony Dax puis Vectracom et les Studios D.E.S. à Paris sont mandatés dans ce but, alors que le Centre Metamedia prendra exceptionnellement en charge le traitement des bandes HDCAM, et des disques optiques XDCAM. 

• Gestion de l’archivage: Le Centre Metamedia est responsable de la gestion générale du projet, ainsi que des tâches opérationnelles liées au suivi de la numérisation et à l’archivage : inventaires, contrôle de qualité, indexation des contenus, stockage des fichiers, création d’une base de données réunissant les métadonnées, modélisation des droits de diffusion, gestion du parc IT, développement d’outils pour le transfert des fichiers médias et leur mise à disposition pour les laboratoires et partenaires, ingestion des médias associés aux nouvelles éditions du festival, design et développement de plateformes pour la navigation dans les archives, numérisation d’un important fonds photo, recueil et enregistrement de témoignages et compilation d’anecdotes récoltées auprès de personnalités proches du festival, communication et documentation de l’intégralité du projet.

• Définition et suivi des projets de recherche et d’innovation associés à l’archive : Le Centre Metamedia propose, spécifie, et assure le suivi et la mise en valeur des travaux de recherche effectués dans les laboratoires. Plus de 50 chercheurs et ingénieurs sont impliqués à fin 2017 dans une quinzaine de laboratoires ou start-up partenaires, dont l’EPFL+ECAL Lab qui lancera la série de « Montreux Jazz Heritage Lab », plateformes immersives pour la découverte des archives à l’EPFL, et prochainement à l’extérieur en mode nomade.

• Format numérique de référence, non-compressé: Codec v210, 4:2:2, 10bits, conteneurs AVI (+WAV pour pistes audio), audio non-compressé à 96khz/24bits, ou en natif si support numérique.

• Format Broadcast: Codec IMX50, 4:2:2, 10bits, conteneur MXF OP-1a, audio non-compressé, 48khz/24bits

• Format numérique de référence, non-compressé: Codec v210, 4:2:2, 10bits, conteneur MOV, audio non-compressé à 48khz/24bits

• Format Broadcast:

• Jusqu’en 2012 : Codec IMX50, 4:2:2, 10bits, conteneur MXF OP-1a, audio non-compressé, 48khz/24bits

• 2013-2014 : Codec DNxHD à 120 Mbits/s

• 2015-2017 : Codec AVC-Intra à 100 Mbits/s

• Audio Mono ou Stéréo: 96khz/24bits, conteneur BWF, ou en natif si support numérique.

• Audio Multipistes: session Pro-Tools, 96khz/24bits, conteneurs BWF ou en natif si support numérique.

Le festival est enregistré en audio dès la première année, alors que les premiers enregistrements vidéo datent de l’année suivante (1968). L’archive audio, dont certains éléments sont en format mono tout au début, se distingue par une qualité sonore bien supérieure à celle que permettent les pistes son des supports vidéo. En 1973, les supports multipistes font leur apparition à Montreux, permettant de stocker 16 instruments en parallèle. Plus tard, ce nombre s’élèvera à 24, 32, 48, puis 96, il est aujourd’hui infini sur fichier informatique.

Dès le milieu des années 70, le festival exploite le Mountain Studio du nouveau Casino de Montreux, qui appartient au groupe Queen. Le signal des micros de scène associés aux divers instruments est acheminé sur la console du studio, où son ingénieur du son, David Richards, réalise le mix des concerts en live! Il ajoute un style rock et pop au mix des concerts de jazz, ce qui créé un son particulier, le « Son de Montreux », caractéristique des enregistrements de l’archive. Dès 1993, le festival se tient dans le nouvel auditorium Stravinski, et des camions de production (dont le fameux « Voyageur ») prennent le relais du Mountain Studio. Les enregistrements de la collection ne sont donc pas captés en salle, et même si un son d’ambiance y est ajouté, les mix réalisés ne sont pas affectés par l’acoustique et les réglages effectués pour la salle.

La Télévision Suisse Romande (TSR) se charge de la production dès les débuts du festival, et stocke les enregistrements dans ses studios de Genève (pour la vidéo) ou à Lausanne (pour l’audio). Les équipements et supports d’enregistrement évolueront avec les technologies des différentes époques. Claude Nobs organise souvent des acquisitions parallèles dans le but d’évaluer et promouvoir de nouvelles technologies naissantes. Ce sera le cas en 1991 notamment avec un prototype de vidéo Haute Définition (HD Vidéo) venu du Japon, en 1994 avec la diffusion d’extraits musicaux sur le premier site web du festival, ou encore en 2002, avec un tout premier format de disques durs (Mackie) pour l’audio multipistes. Dans de tels cas, les formats anciens sont encore utilisés durant plusieurs années par sécurité, la présence parallèle de formats standard définition (SD) et haute définition (HD) est observée par exemple tout au long des années 90.

Au final, une grande partie des concerts de l’archive vidéo sont disponibles sur deux, voir trois formats parallèles, ce qui amène le nombre d’heures d’enregistrements à 11'000, soit plus du double du nombre d’heures de concerts (5000 heures de concerts). Le nombre d’heures d’enregistrements audio, lui, atteint plus de 6000 heures, formats stéréo et multipistes confondus. Il n’est ainsi pas rare de trouver une dizaine de bandes pour un unique concert d’une heure et demie, avec une bande 2" vidéo (concert incomplet), deux bandes 1" vidéo (couvrant la totalité du concert mais avec interruption en milieu de concert), trois parties sur format U-matic vidéo, deux sur format ¼ " audio, et deux bandes ½ " multipistes. Parfois, une copie des supports master a été réalisée une vingtaine d’années après le concert, ce qui ajoute des éléments non-originaux à la collection, mais dont la qualité est aujourd’hui supérieure à celle des bandes d’origine.

Jusqu’à aujourd’hui, ce sont 18 types de formats de bandes différents qui ont été utilisés pour l’enregistrement des concerts, tout au long des 50 ans du festival. Les signaux enregistrés sont analogiques durant une grande partie de cette période, puis deviennent progressivement numériques avec l’apparition des formats U-matic audio pour le son (en 1980 déjà), et Digital D-2 pour la vidéo (dès 1991). En 2017, pour la première fois, l’enregistrement vidéo ne se fait plus sur bande, mais dans un format de fichier numérique broadcast. L’utilisation des différents formats se distribue de la manière suivante au cours des années:

En 1988, Claude Nobs constate la disparition de quelques enregistrements d’origine, dont les bandes ont été réutilisées à d’autres fins par la Télévision suisse romande (pour qui les moyens financiers font défaut à l’époque). Il décide de racheter ces bandes et construit à côté de son chalet un local dédié aux archives, dont les propriétés atmosphériques garantiront l’excellente tenue des bandes durant les 30 ans qui suivent.

En 2013, suite au décès de Claude Nobs, son partenaire Thierry Amsallem crée la Fondation Claude Nobs. D’intérêt public, l’objectif de la fondation est d’assurer la sauvegarde de la collection, et de la mettre à disposition du plus grand nombre dans un but d’éducation et de recherche, ceci dans le respect des droits d’auteur. Parallèlement, c’est avec le support de musiciens tels que Herbie Hancock et Quincy Jones, ainsi que de personnalités américaines proches du jazz, qu’il inscrit la collection au registre de la Mémoire du Monde de l’UNESCO.

Le Montreux Jazz Digital Project

En 2007, Patrick Aebischer, président de l’EPFL, rencontre Claude Nobs et Thierry Amsallem à l’occasion d’une visite au chalet « Le Picotin » à Caux. La discussion met en évidence l’absence de copie de la collection, dont certaines bandes prennent de l’âge (40 ans). Patrick Aebischer perçoit l’intérêt que représente une telle collection pour le développement de projets de recherche et d’innovation à la croisée des domaines technologiques et culturels, notamment sur le plan musical et de l’audiovisuel. A l’aube du développement des humanités digitales, les deux visionnaires imaginent un projet dont les objectifs viseraient à numériser ce patrimoine unique et à en assurer la sauvegarde à long terme, tout en l’enrichissant grâce aux compétences des chercheurs de l’école, pour qui cette base de données du monde réel représente une valeur inestimable en termes de motivation et valorisation de leurs travaux. Dans la mesure où les droits d’auteur le permettent, un espace dédié aux archives est également prévu sur le site de l’EPFL, pour y montrer la collection numérisée ainsi que le résultat des projets d’innovation associés.

Le concept du Montreux Jazz Digital Project est né, il nécessite ensuite quelques années de maturation afin d’en trouver les bonnes formules opérationnelles et le mode de financement. Après deux tentatives impliquant un laboratoire de recherche puis un partenariat avec une start-up, c’est finalement la création en 2010, d’un centre de compétences interdisciplinaires, le Centre Metamedia, qui permet de lancer les opérations de manière conséquente et pérenne, ceci en relation avec le support de la manufacture horlogère Audemars-Piguet, principal sponsor. Par la suite, plusieurs autres partenaires soutiendront également le projet, à l’image de la Fondation Ernst Göhner, La Loterie Romande, Logitech, les entreprises Amplidata et HGST, ainsi que de nombreux donateurs privés tels que Thierry Lombard.

Le Montreux Jazz Digital Project s’établit comme partenariat entre l’EPFL et l’entreprise Montreux Sounds SA, lancée en 1973 en marge du festival pour en assurer le traitement des archives et la production de disques. A l’EPFL, le Centre Metamedia est rattaché à la Vice-Présidence pour l’Innovation et la Valorisation. Il se construit petit à petit en 2011, constitué d’un directeur opérationnel, d’un project manager, d’un développeur pour la création d’une base de données (métadonnées), et d’une spécialiste audio/vidéo en charge du contrôle de qualité des fichiers numérisés. Du côté de Montreux Sounds un ingénieur du son et un spécialiste IT / édition vidéo complètent l’équipe. Outre les aspects liés à l’inventaire des bandes, ils assurent le lien avec les entreprises externes qui effectuent les opérations de numérisation des bandes. Au fil des années l’équipe s’étoffera, d’abord en 2013/14 avec l’arrivée d’une spécialiste en documentation et d’un second développeur, puis en 2016 avec une archiviste spécialisée en audiovisuel, une architecte EPFL pour la conception des plateformes de valorisation, ainsi qu’une musicologue. De nombreux étudiants seront impliqués également, pour des travaux de contrôle de qualité et d’indexation des contenus, ou alors pour des tâches opérationnelles liées soit à l’acquisition des bandes vidéo HDCAM, soit à la numérisation de l’important fonds photo appartenant à Georges Braunschweig. Pour ce dernier, deux étudiants en archivistique prendront en main la conception et l’exploitation d’un banc de numérisation photo, 60'000 négatifs noir/blanc ou diapositives y seront traités entre 2014 et 2017.

Les activités du projet s’organisent selon trois piliers :

Les sections suivantes décrivent ces différents axes de travail dans le détail.

Numérisation

La numérisation s’effectue en donnant la priorité aux formats les plus sensibles, soit les bandes 2", et U-matic pour la vidéo. Elle démarre un peu avant la création du Centre Metamedia, sous la direction de Montreux Sounds SA, qui en définit les conditions, et les critères de qualité. Il est décidé de numériser tous les contenus au format non-compressé dans le but de pouvoir en tout temps générer les futurs sous-formats à partir de la référence la plus fidèle. Un second format de qualité broadcast est également créé.

Vidéo Standard Définition, PAL 576i, 50fps, display ratio 4:3/16:9 letterbox ou anamorphic :

Vidéo Haute Définition, 1080i, 50/59.94 fps, display ratio 16:9

Audio :

Chaque format de bande fait l’objet d’une étude détaillée afin de déterminer quels sont les équipements et paramètres les plus adéquats pour la conversion analogique/numérique. La majorité des bandes seront lues sans problèmes, quelques supports seront rejetés, ils sont actuellement mis de côté pour un éventuel traitement ultérieur.

A noter qu’un banc complet pour l’acquisition des bandes HDCAM est mis en service à l’EPFL en 2015 grâce aux compétences des ingénieurs du Centre Metamedia. A la cadence de 8 bandes lues chaque jour sur deux chaînes de traitement parallèles, il permettra à l’équipe de faire l’expérience de la gestion complète d’une acquisition de données audiovisuelles (en l’occurrence de type HD vidéo au format non-compressé à 1.5 Gbit/s), incluant leur contrôle et ingestion dans l’archive avec écriture des supports numériques, import des métadonnées, indexation et transcodages. Plusieurs opérateurs seront formés dans ce but.

Gestion de l’archivage

Base de Données

Une base de données est conçue dans le but de rassembler et relier toutes les métadonnées liées à l’archive et à ses différentes composantes. Cette base relationnelle, utilisant MySQL, regroupe les principaux éléments d’information liés aux concerts, tels que date, nom du concert (sur le programme du festival), liste des morceaux, nom des musiciens et instruments associés, compositeurs, réalisateurs ou ingénieurs du son (parfois). Les informations liées aux supports d’enregistrements originaux et numérisés (référencées par code-barres dans les deux cas) sont inclues, de même que les données concernant la qualité des médias numérisés (niveaux, défauts éventuels, troncatures, etc.) ou les données saisies lors de travaux d’indexation ou de nettoyage des informations. Au total 128 tables réunissent plus d’un millier de champs d’information différents. Les champs renseignent sur la collection mais sont utiles également à l’exploitation de l’archive par l’équipe (localisation des bandes et dates d’entrées/sorties des locaux, statut du clean-up des données, banc de numérisation utilisé chez nos partenaires, opérateurs et dates de contrôle de qualité, etc.).

La base de données est mise en place dans un écosystème logiciel basé sur le langage Scala créé à l’EPFL. Cet écosystème englobe plusieurs modules développés in-house, en particulier des interfaces basées sur le web pour la navigation dans les métadonnées, un environnement optimisé pour le transfert de fichiers vers ou à partir du stockage des médias, des APIs destinées à la communication avec les plateformes de visualisation des archives, ou encore des outils d’export configurable de données (aux formats JSON ou XML). Une librairie logicielle de scripts pour le transcodage est également mise au point, de manière à générer les sous-formats nécessaires aux plateformes de valorisation diverses, incluant notamment l’incrustation automatisée de certaines métadonnées.

Indexation

En 2013, un grand projet d’indexation des concerts est mis en place, avec la participation de plus de 60 étudiants de l’EPFL. Ce projet consiste à segmenter les fichiers concerts en différents évènements : intro, song, applause, speech, comeback, instruments tuning, silence, credits, no signal, test pattern, to check, unrelated. Il permet également de signaler la présence de possibles coupures de morceau ou problèmes audio/vidéo, et un champ de commentaire libre est mis à la disposition des opérateurs pour renseigner la base de données à propos d’éventuelles particularités observées durant le concert. Une vérification des métadonnées associées aux titres des morceaux et à leurs réelles présences et positions dans le concert est effectuée à cette occasion, ce qui permet de réaliser un premier nettoyage des informations de la base de données (originalement fournies par le Montreux Jazz Festival). Les time-codes précis des débuts et fin de morceaux sont attribués selon un ensemble de règles auxquelles les étudiants sont astreints. Un groupe d’étudiants vérificateurs est impliqué dans une deuxième phase du travail, constitué de personnes expérimentées et travaillant de longue date sur l’indexation. En présence de plusieurs parties de concerts se recouvrant (enregistrement d’un concert sur plusieurs bandes), la démarche inclut la localisation précise du time-code de début de la seconde partie sur l’onde audio de la première, ce qui permettra plus tard de juxtaposer les deux parties.

Ce projet d’indexation s’est avéré conséquent et primordial, il représente les fondements de la mise à disposition de la collection sur les plateformes de valorisation. Il durera 3 ans dans sa première étape majeure, pour le traitement de la presque-totalité de l’archive vidéo (ou alors des enregistrements audio si la vidéo est inexistante). Il se poursuit encore aujourd’hui lors des nouvelles éditions du festival, ainsi que pour les cas difficiles qui devraient prochainement être confiés à des spécialistes.

Dans une nouvelle opération lancée en 2016, il est également affecté à chaque concert un genre musical ainsi que des sous-genres, selon une architecture soigneusement conçue. De plus, une modélisation des contrats liant les artistes et le festival est intégrée à la base de données, elle permet l’attribution automatique des droits de diffusion associés à chacun des 46’000 morceaux de la collection, en fonction des différents types de publics ou environnements dans lesquels ils sont diffusés, ceci en tenant compte des évolutions temporelles ou échéances des termes de contrats.

Stockage et Contrôle de Qualité

Chaque fichier obtenu après numérisation est sauvegardé sur deux jeux de bandes LTO (Linear Tape-Open). Le format est LTO4 en début de projet, puis devient LTO6 plus tard. Les deux jeux sont acheminés séparément sur deux sites de stockage, à Montreux et à l’EPFL. Une empreinte numérique de chaque fichier est extraite et stockée en base de données dans le but de pouvoir vérifier son évolution future et détecter d’éventuelles corruptions. Les fichiers au format broadcast sont traités de la même façon, c’est eux qui feront l’objet d’un contrôle de qualité, au cours duquel chaque fichier est examiné durant 15 minutes par une personne formée spécialement (contrôle non complet, mais visant avant tout à détecter des erreurs de numérisation systématiques). Les éventuels problèmes sont répertoriés dans la base de données, une numérisation est à refaire si les spécifications ne sont pas satisfaites. Les éventuels défauts présents sur l’enregistrement d’origine sont signalés s’ils sont détectés au cours de cette opération.

Dès 2012, le format broadcast est inscrit sur un système de stockage supplémentaire à base de disques durs. La rencontre avec la jeune start-up belge Amplidata débouche sur un partenariat, qui permet l’installation à l’EPFL d’un nouveau type de stockage redondant et sécurisé, AmpliStor, de type object-storage. La taille de ce système est de 1 PB (petabyte), il sera complété en 2013 d’un second système de même taille, puis d’un troisième en 2014 amenant la taille totale à 2.5 PB. Ce système permettra l’accès immédiat à tous les médias de l’archive numérisée et facilitera beaucoup le travail de l’équipe du Centre Metamedia, en particulier pour les travaux d’indexation.

Live Archiving et Première Plateforme de Valorisation sur iPad

En 2013 et 2014, l’acquisition live de la réalisation HD produite par la télévision est effectuée pour les trois salles du festival par l’équipe du Centre Metamedia. Une fibre optique à haut débit (10 Gbit/s) est installée entre le Centre des Congrès de Montreux (2M2C) et l’AmpliStor à l’EPFL, et les fichiers non-compressés y sont transférés et archivés immédiatement après le concert. L’expérience permet de générer immédiatement les sous-formats de fichiers nécessaires aux plateformes de valorisation, qui peuvent ainsi présenter les concerts au public du festival le soir suivant le concert (après indexation et validation des droits de diffusion). Cette expérience rencontre un grand succès auprès du public du festival, qui découvre pour la première fois l’archive au « Chalet d’en-bas », un espace consacré à Claude Nobs, son archive et ses collections.

En 2015, Amplidata est rachetée par HGST, une sous-compagnie du géant du disque dur Western Digital. Très intéressée par le concept de Live Archiving, cette entreprise décide de poursuivre le sponsoring, en remplaçant les AmpliStor par un système Active Archive de dernier cri, constitué de trois unités distribuées, d’une capacité de 4.7 PB chacune. L’une des unités est placée dans le data center du 2M2C à Montreux, alors que les deux autres sont installées dans deux data centers de l’EPFL séparés de plusieurs centaines de mètres. Les trois unités, dénommées Ella, Marvin, et Prince, sont réunies par fibre optique, et permettent de stocker jusqu’à 6.8 PB de données. Elles permettent aujourd’hui de stocker l’intégralité de la collection numérisée, et constituent une troisième copie complète de l’archive. Depuis 2016, les fichiers médias de type broadcast peuvent y être archivés le soir même des concerts, et une interface d’accès optimisée a été développée pour l’accès rapide aux fichiers.

Numérisation de photos

En 2013, un important fonds de photos est mis à la disposition du Montreux Jazz Digital Project par le photographe Georges Braunschweig, dont les prises de vue au festival couvrent presque la totalité des 50 éditions. Deux étudiants en information documentaire de la Haute Ecole de Gestion de Genève (HEG) sont engagés pour mettre en place un banc de numérisation organisé autour d’un appareil de type Reflex numérique, procéder à l’identification des contenus avec le photographe, puis à la capture de chacun des 60'000 négatifs et/ou dias. Cette tâche durera 3 ans, et verra également naître une collaboration avec le laboratoire d’humanités digitales de l’université de Bâle pour la création du banc et plus tard le traitement d’un lot de négatifs couleur.

Issues de la collection de Georges Braunschweig ou provenant du Montreux Jazz Festival, plusieurs dizaines de milliers d’images d’origine numérique seront jointes à cette opération, toutes les images étant importées dans la base de données, et associées aux concerts qu’elles illustrent en vue de leur intégration aux plateformes de valorisation de l’archive audiovisuelle. Un projet en collaboration avec l’entreprise bernoise Specialisterne, sera lancé à titre expérimental en 2016 pour l’identification du contenu détaillé de chaque photo. Ce projet sera réalisé par des personnes autistes, dont les propriétés de concentration sont étonnantes et particulièrement adaptées à ce type de travaux. Seule une partie de la collection a pu être traitée jusqu’à aujourd’hui.

Anecdotes et Témoignages

En marge des projets technologiques liés aux enregistrements, deux premières actions visant à ajouter une touche à caractère historique et sociologique à ce projet ont été lancées au Centre Metamedia. Ainsi, près de 800 anecdotes tirées de la presse ont été rassemblées et importées dans la base de données pour utilisation future, certaines d’entre elles apparaissent actuellement sur la plateforme de valorisation Montreux Jazz Heritage Lab II.

Dans un second volet, et en collaboration avec l’équipe du Prof. François Vallotton, spécialiste en histoire de l’audiovisuel à l’Université de Lausanne (UNIL), la récolte de témoignages est organisée auprès de personnalités ayant touché de près ou de loin au Montreux Jazz festival, à sa création, à ses débuts, à ses aspects techniques, etc. Un grand projet est en préparation pour le futur, dans le but d’étudier l’impact social qu’a eu, et que produit toujours le festival sur la population de la région, de la Suisse, et du monde de la musique.

Valorisation et mise à disposition publique

Si les laboratoires de l’EPFL ont un certain droit à utiliser l’archive en raison de l’exception aux droits d’auteur pour l’éducation et la recherche, il n’en va pas de même pour le grand public. Les enregistrements peuvent être montrés toutefois dans certaines situations particulières, lorsque les contrats le permettent au titre de promotion du festival. C’est le cas sur le site du festival durant l’événement, ou alors dans les Montreux Jazz Café, pour certaines sélections. C’est dans ce but que le Centre Metamedia a créé une application iPad inaugurée en 2013 au sein du festival, puis améliorée et étoffée chaque année. Son implémentation et sa couche graphique ont été réalisées par l’entreprise Brozermo. Les médias y sont rendus accessibles via streaming à partir des serveurs de l’EPFL, l’interface est sécurisée. Le public peut y consulter une partie des enregistrements en navigant dans les différentes années du festival, ou en effectuant des recherches par artiste, titre, ou genre musical.

A fin 2016, le Montreux Jazz Café at EPFL a été inauguré sur le campus de l’école. Intégré au nouveau bâtiment Artlab consacré aux humanités digitales, il permet d’y accueillir le public pour plusieurs types d’expériences de découverte des archives. La collection y est mise en valeur par les technologies que les chercheurs de l’école ont développées dans ce but. A côté des postes iPad équipés de projecteurs sonores, deux cabines proposent une navigation individuelle (ou à deux) sur une interface Web sécurisée, permettant d’approfondir la recherche dans les métadonnées via un moteur de recherche basé sur Elasticsearch. Ces cabines sont destinées à intégrer de plus en plus de fonctionnalités, et une interface participative permettant de commenter les contenus et expériences est actuellement en préparation. En 2018, un tel poste sera mis à la disposition des étudiants des écoles de jazz (EJMA) et de musique (HEMU) de Lausanne, un autre pourrait être installé au Musée National Suisse dans le cadre d’une exposition consacrée au Montreux Jazz Festival et à Claude Nobs début 2018.

Projets d’Innovation

Montreux Jazz Heritage Lab

L’un des projets phares, organisé sous la forme d’une collaboration entre plusieurs laboratoires de l’EPFL, vise à proposer au public une expérience inédite pour la découverte des concerts du festival, ceci à la fois en terme de design, d’interaction avec les médias, et d’immersion dans l’ambiance du concert. Dans le cadre de l’EPFL+ECAL Lab, laboratoire au carrefour entre design et technologie, plusieurs équipes se lancent dans le design puis la construction de trois générations de Montreux Jazz Heritage Lab.

La première version, Le Cocon, est imaginé en 2011 en collaboration avec le laboratoire d’architecture Atelier de La Conception de L’espace (ALICE), qui propose un environnement boisé dans lequel 2-4 personnes peuvent prendre place confortablement pour visualiser les concerts (des années 2009 et 2010 uniquement) sur un grand écran incurvé et rapproché. Le design sonore, spatialisé, est confié au groupe Acoustique de l’EPFL, à la startup Illusonic issue du Laboratoire de Communications Audiovisuelles, et à l’entreprise yverdonoise Relec qui fournira des haut-parleurs PSI-Audio de haute qualité. La participation du Laboratoire de Traitement de Signal (LTS2), qui développe une mesure de similarités entre morceaux basée sur le signal audio, permet de proposer une interface tactile de navigation par genre et artistes proches. En 2012, Claude Nobs découvre le Cocon lors de son inauguration dans les locaux de l’EPFL+ECAL Lab et déclare « Je n’ai jamais vu mes concerts comme ça ».

Le Montreux Jazz Heritage Lab II est développé en 2015 et 2016 pour le Montreux Jazz Café de l’EPFL, dans le but de pouvoir y accueillir une vingtaine de personnes dans un espace de 7m x 7m. Le concept prévoit un grand écran incurvé ainsi que des miroirs latéraux qui répliquent l’image vidéo à plusieurs reprises sur les côtés de la salle, agrandissant ainsi l’espace visuellement. Des LEDs diffusent les métadonnées depuis l’arrière des miroirs (sans tain), et reproduisent les couleurs présentes sur l’écran, ajoutant ainsi au sentiment d’immersion. Plusieurs domaines de compétences sont nécessaires dans la réalisation de ce projet; parmi les multiples partenaires impliqués, signalons la présence d’acousticiens en 3D audio pour le développement d’un système Ambisonics d’ordre 3, qui permet de reproduire l’acoustique des salles du festival et augmenter ainsi le sentiment de largeur sonore (parfois à l’aide de remix 3D faisant intervenir l’archive multipiste). Une nouvelle interface tactile dont le design est basé sur l’axe temporel des 50 ans du festival propose une sélection par année, soirée, artiste, puis titre du morceau. La recherche par concert et genre est possible également. Le fonctionnement est celui d’un jukebox, dont les morceaux choisis sont diffusés sur les écrans du Montreux Jazz Café. Le Centre Metamedia exporte les métadonnées, assigne les droits de diffusion de chaque morceau, et fournit les fichiers média associés après transcodage dans un sous-format prévu pour la qualité grand écran (codec H264 à débit variable, 4:2:0, 8bits).

Le Montreux Jazz Heritage Lab Nomad est actuellement en construction à l’EPFL+ECAL Lab, il sera démontable et déplaçable facilement dans le but de le présenter lors d’évènements. Un prototype en a été montré en été 2017 au chalet Le Picotin, la version finale devrait être présentée au public du Montreux Jazz Festival durant l’édition 2018.

Sound Dots

Développés en 2012 pour le premier prototype, puis évoluant vers deux générations ultérieures plus performantes, les « SounD Dots » sont des diffuseurs sonores directionnels imaginés par deux post-doctorants du laboratoire d’acoustique de l’EPFL, puis plus tard produits et commercialisés par la start-up Hidacs qu’ils créeront. Conçu pour la diffusion de musique, accrochés au plafond et dominant une table basse où est présentée l’application iPad de navigation dans l’archive, ils sont présentés à Montreux durant plusieurs éditions du festival, puis intégrés au Montreux Jazz Café at EPFL en 2016. Dans une atmosphère telle que celle d’un café, ils permettent de proposer plusieurs spots adjacents pour la découverte de contenus audiovisuels, dont les composantes sonores ne se mélangent pas et ne dérangent donc pas les autres groupes. Le concept permet de préserver les relations sociales au sein des groupes d’utilisateurs, puisqu’aucun casque d’écoute n’est nécessaire. Ce projet financé par le Centre Metamedia en 2012 est un bon exemple de transfert technologique résultant des interactions avec les archives du Montreux Jazz Festival.

Reconstruction du Casino Kursaal

En 2014, le Centre Metamedia est présent au Montreux Jazz Festival pour y présenter les archives au public du Chalet-d’en-bas. Il y propose une expérience permettant de revivre un concert dans l’ambiance du Casino Kursaal de Montreux, détruit en 1971 par le feu. Développé dans le cadre d’un projet avec le Laboratoire de Communications Audiovisuelles (LCAV), ce travail consiste à modéliser précisément l’acoustique de la salle de concert, afin d’en connaître la réponse en chaque point. Le modèle est basé sur une estimation des paramètres géométriques et acoustiques de la salle (absorption des sols et parois notamment), qui sont en partie déduits des photos et vidéos de l’archive. Un rendu visuel de la salle de concert (et de son fameux sablier!) est créé par l’Atelier Feuerroth en Allemagne. Au Chalet-d’en-bas, l’expérience présente une vidéo aux visiteurs bien installés dans des fauteuils. La caméra avance depuis le fond de la salle de concert jusque sur la scène, où elle passe à quelques centimètres du batteur. Durant ce déplacement, l’acoustique perçue par les visiteurs évolue parallèlement et rend compte des déplacements de la caméra. Lorsque celle-ci passe près du batteur, les technologies 3D audio assistées des multipistes de l’archive permettent de restituer le son de la batterie à quelques centimètres des oreilles des visiteurs. L’expérience, quelque peu émotionnelle, rencontre un énorme succès. Suite à ce projet, une modélisation des salles actuelles du festival sera imaginée pour le Montreux Jazz Heritage Lab II.

Remix the Archive

Une mise en valeur des archives multipistes est tentée dès 2015 dans le cadre d’un partenariat avec l’entreprise Future Instruments présente sur le parc de l’innovation de l’EPFL. L’idée consiste à développer une interface tactile pour le mixage des différents instruments d’un concert. Chaque instrument (ou groupe d’instruments) est représenté par une bulle, dont le déplacement sur un écran en modifie le volume. Dans une seconde version, le système est associé à une infrastructure sonore de type 3D audio / Ambisonics, et les instruments peuvent être déplacés et mixés dans l’espace de la salle. Destiné avant tout à l’éducation d’un public amateur de musique, le système a également été présenté à des DJs, équipé d’une fonctionnalité de synchronisation permettant de mixer des boucles audio issues de librairies tierces.

Enregistrement des Concerts en Réalité Virtuelle

En 2016, un partenariat avec l’entreprise PRG en Allemagne permet d’enregistrer une vingtaine de concerts du Montreux Jazz Festival en réalité virtuelle. Une récente caméra OZO de Nokia est placée au centre de la scène et capture les images 360 degrés. Parallèlement, un microphone placé au niveau de la caméra, et dont les signaux binauraux seront mélangés aux multipistes du concert lors du post-traitement, permet d’associer le rendu audio 3D à la visualisation spatiale, ce qui est significatif pour la véracité de l’immersion. Lors de la découverte du concert à l’aide de lunettes de réalité virtuelle, un mouvement de la tête provoque ainsi la redistribution des composantes audio dans le casque d’écoute, et l’acoustique perçue suit ainsi le mouvement. L’expérience sera très prochainement proposée aux visiteurs du Montreux Jazz Café at EPFL.

Analyse et Visualisation des données de concerts

Le Laboratoire de Traitement de Signal (LTS2) de l’EPFL travaille en étroite collaboration avec le Centre Metamedia depuis les débuts du Montreux Jazz Digital Project. En 2012 par exemple, le développement du projet Genezik permet la création de « balades musicales », playlists dont les morceaux se succèdent de manière cohérente, dans un style proche et avec des transitions douces. C’est l’analyse et l’extraction de paramètres caractéristiques à partir du signal audio qui permet d’établir les similarités entre les morceaux d’une collection musicale. L’application Genezik sera proposée sur iPhone et MAC en 2014, l’outil intégrera également les fonctionnalités de recommandation. A noter qu’un détecteur d’applaudissement sera développé à cette occasion, les applaudissements des enregistrements live devant être éliminés avant analyse pour éviter les confusions.

En 2016 et 2017, Kirell Benzi, post-doctorant du laboratoire, étudie la problématique de la visualisation de données Big Data, et y ajoute une touche esthétique. Plusieurs visualisations sont développées à partir des métadonnées de l’archive du festival, permettant en particulier de représenter les liens entre artistes (carte des artistes ayant joué ensemble), l’évolution des genres à travers les années, la distribution géographique des artistes sur la planète, etc. Ces visualisations sont à l’étude actuellement, plusieurs projets d’étudiants vont être lancés prochainement et une collaboration avec la nouvelle start-up Kirelion est envisagée. Le développement de versions animées des visualisations pourrait représenter dans le futur un nouveau moyen pour le public d’entrer dans l’archive et d’y naviguer, par exemple en débutant par un instrument particulier, ou alors par un artiste, parcourant ensuite les concerts d’autres artistes avec qui il était en relation à Montreux.

Futurs projets 

La liste de projets d’innovation et recherche est encore longue, en particulier si nous évoquons les perspectives futures. Citons par exemple le projet de détection et correction de défauts sur les vidéos SD de la collection (en particulier lignes et « dropouts ») lancé en 2012 dans le MultiMedia Signal Processing Group (MMSPG). Ce projet pourrait être développé plus avant dans le futur, peut-être en collaboration avec un projet d’augmentation de la qualité des anciennes vidéo vers les nouveaux formats (HD, 4K, HDR), projet actuellement en démarrage au laboratoire Image And Visual Representation Lab (IVRL).

A noter également les projets de type « machine learning », qui vont participer notamment à un enrichissement important de la base de données des métadonnées de l’archive. En audio un premier projet avait été lancé en 2013 dans un second Laboratoire de Traitement de Signal (LTS5) de l’EPFL pour tenter de modéliser certains instruments (en exploitant notamment la référence que représentent les multipistes!). Ce projet avait abouti à un démonstrateur permettant d’isoler ou supprimer un instrument présent sur un enregistrement stéréo. La méthode donnait des résultats encourageants pour traiter les instruments à vent, dont la structure harmonique et les propriétés statistiques restent simples (peu de flancs d’attaques).

Un autre sujet intéressant en lien avec ce projet de modélisation des instruments consiste à tenter de détecter les solos présents dans les archives, pour la basse, la batterie, la guitare, le saxophone et bien d’autres instruments. Un premier essai a été réalisé en 2015 par un étudiant de l’Idiap Research Institute à Martigny. Une indexation par time-code des différents solos serait souhaitable pour la recherche dans la base de données, en particulier pour les besoins des musicologues.

Dans le même sens, mentionnons le projet « Google du Montreux Jazz » lancé en 2016, qui vise à identifier et localiser les objets clés dans la vidéo des concerts, instruments bien sûr, mais aussi visages des musiciens, spots, ou logos. Cette collaboration avec le Laboratoire IVRL a pour but d’extraire de belles images, pour en créer des vignettes à caractère esthétique pouvant être associées à chaque morceau de l’archive. Une interface a été développée pour permettre la création semi-automatique de mosaïques d’images représentatives des différents morceaux.

Perspectives et Conclusions

De beaux projets sont en construction pour le futur, notamment en collaboration avec le nouveau professeur en musicologie digitale et cognitive, qui est entré en fonction tout récemment à l’EPFL, et dont les analyses à caractère musicologique de l’archive du festival vont débuter. Du côté éducatif, un cours MOOC (Massive Open Online Course) est en préparation au Centre Metamedia, en collaboration étroite avec le Montreux Jazz Festival et la MOOC Factory de l’EPFL, et d’autres liens apparaissent avec des professeurs issus des écoles de musique de la région (HEM-GE, UNIL, HEMU, EJMA, UNIGE). Des collaborations académiques sont également en discussion avec le Berklee College of Music à Boston (pour la remasterisation des archives), ou avec l’IRCAM et l’INRIA en France, des institutions qui travaillent déjà sur certains projets faisant intervenir des extraits d’archives.

Du côté de l’innovation à long-terme dans le domaine archivistique, un récent partenariat avec l’entreprise Twist Bioscience ouvre des perspectives prometteuses en vue du stockage de données sur ADN. Deux morceaux emblématiques de l’archive de Montreux viennent d’être encodés, stockés, puis extraits et décodés sans erreur à partir de l’ADN, pour être joués en public lors du forum tenu à l’EPFL le 29 septembre 2017, organisé par la Fondation ArtTech. C’est « Smoke On The Water » du groupe de rock Deep Purple, ainsi que « Tutu » du trompettiste de jazz Miles Davis qui ont été traités avec succès, une compilation des meilleurs concerts du festival pourrait être considérée dans le futur, à l’occasion d’une action plus importante. Le stockage sur ADN est perçu comme une solution robuste et fiable à très long terme, à envisager de manière parallèle aux technologies en cours actuellement.

L’enveloppe globale du Montreux Jazz Digital Project s’élève jusqu’à aujourd’hui à 15 millions de francs suisses, y compris les donations sous formes matérielles. Le défi à relever réside maintenant dans la préservation à long terme du travail réalisé jusqu’à aujourd’hui, au niveau technique bien sûr (la documentation et la mise en conformité vis-à-vis des normes OAIS sont en cours), mais plus particulièrement au niveau de son financement.

Le Montreux Jazz Digital Project est un grand succès à la fois pour l’EPFL et la Fondation Claude Nobs qui a repris en 2016 la suite du partenariat établi initialement avec Montreux Sounds SA. Le projet est également précieux pour le grand public et la société, il participe aussi à la notoriété du Montreux Jazz Festival et renforce son image de pionnier dans l’avance technologique. Des perspectives magnifiques s’ouvrent autour de cette collection numérisée, à la fois dans l’innovation, mais également dans l’éducation et la recherche, autour de thématiques technologiques, musicologiques, sociologiques ou historiques. 

Espace de découverte des archives et des projets d’innovation associés, dans l’enceinte du Montreux Jazz Festival durant son édition 2014

 

Crédit: Alain Herzog, EPFL, 2014