TISICA

Tissage d'Interactions Sociales Innovantes par la Création Artistique

De nombreuses études suggèrent que la musique est un facteur de bien être : elle contribuerait au développement et au maintien des capacités cognitives et affectives (langage, mémoire, émotions, empathie, raisonnement) [1], elle régulerait les émotions et interactions sociales [2], elle prolongerait l’autonomie des personnes tout en ayant un impact positif sur leur prise en charge [3]. Au sein des Établissements d’Hébergement pour Personnes Agées Dépendantes (EHPAD), dans un contexte de maladie neuro-dégénérative, les effets de la musique sont bénéfiques au niveau émotionnel, comportemental [4, 5] mais aussi cognitif [6]. Ces bénéfices s’observent notamment suite à des ateliers d’écoute ou de pratique musicale.

À l’échelle des établissements, cependant, la musique demeure une activité d’animation. Des dispositifs commerciaux dédiés aux EHPAD se focalisent sur l’aspect ludique de la musique. Ils peuvent être qualifiés de juke-box et ont une interactivité très limitée : ils se présentent sous la forme de bornes accueillant un ordinateur et proposant différents styles musicaux. Les dimensions de la créativité des personnes vivant en EHPAD et de l’interaction sociale que celles-ci apportent au niveau de la communication non-verbale sont très peu étudiées et absentes de la réflexion technologique.

Positionnement

Ces constats ont motivé la constitution d’un consortium doté de compétences complémentaires, permettant une expertise croisée en analyse du mouvement, méthodologie et développement de logiciels embarqués, création musicale et analyse multimodale du comportement. Les membres sont :

Ce consortium a bénéficié du soutien de la Région Grand Est dans le cadre d’un projet INNOV’ACTION de septembre 2016 à fin 2017. Nous avons développé des prototypes fonctionnels reliant geste et musique (deux applications utilisant des montres et bagues connectées) et une application pour table augmentée liant geste, musique et visuel. Le postulat d’étude des interactions s’appuie sur la dimension créative, afin de susciter une communication non-verbale soutenue par un partage d'ordre artistique et esthétique. La montre et la bague étaient utilisés notamment lors de danses effectuées à deux en miroir, la table lors d’activités collectives mêlant geste pictural et son. Leur apport au bien-être des résidents a été constaté par des témoignages directs de leur part, et de la part des soignants et cadres de santé de l’EHPAD-USLD.

Prototype N°1 : sonification du geste à l’aide d’une montre connectée et d’une application mobile développée par UTILE
Prototype N°2 : surface tactile et lumineuse développée par UTILE et Saint-Ex - culture numérique

En avril 2019, Césaré a de nouveau sollicité le CHU de Reims et le CReSTIC pour prolonger le projet TISICA en créant de nouveaux prototypes numériques inspirés des premières expérimentations en associant Nicolas Canot (sound designer) et Thomas Dupouy (luthier numérique).

O.A.M.M.E

L’idée maitresse guidant la réalisation de la série d’Objets Autonomes et Mobiles de Médiation et d’Expression (OAMME, nom de travail provisoire) à l’usage des patients et soignants d’EHPAD tient en un mot : simplicité.

Ce mot est entendu, ici, au sens que lui donne le designer, chercheur et enseignant John Maeda (Aesthetics and Computing Group, M.I T) [7]. Cette simplicité est, avant tout, celle que doit ressentir l’utilisateur néophyte et non-spécialiste au premier contact avec un objet qualifié de technologique : en aucun cas, l’objet ne doit être perçu comme présentant une prise en main longue et fastidieuse, nécessitant la lecture d’un mode d’emploi complexe. Ces principes sont, bien évidemment, encore plus cruciaux lorsque ces objets d’adressent à des patients âgés présentant d’éventuels troubles moteurs et/ou cognitifs importants ainsi qu’à des personnels soignants pour qui la relation patient-soignant ou patient-objet doit être immédiate (au sens étymologique du mot) et, en aucun cas, ressentie comme intrusive. L’idée est donc, dans notre cas, de rendre la technologie numérique employée, totalement transparente pour l’utilisateur.

OAMME-1 se présente donc sous la forme d’un boitier de bois brut, sur lequel est fixée une surface capacitive (fine pellicule de cuivre) mise en action par le toucher (la durée de contact) digital des patients. Trois types de motifs visuels (une « aile de papillon », un grand cercle, un plus petit) aisés à identifier, permettent de déclencher des séries de sons et de traitements sonores puis à les moduler selon un modèle pré- programmé toujours reproductible à l’identique (ce qui implique d’activer les capacités cognitives liées à la mémoire du patient).

OAMME-1 : plaque d'essai du prototype
OAMME-1 : Réalisation de la surface capacitive

Ces sons (aquatiques, chants d’oiseaux, langage, sons électroniques, souffles, bruits, instruments aisément reconnaissables, entre autres) sont assemblés, en couches ou par masquage (techniques définies, notamment, par Curtis Roads [8]), et modulés par l’action digitale des patients afin d’exprimer une émotion, le ressenti d’une situation de vie, d’un moment vécu comme agréable, doux, irritant, long, bref, extrêmement désagréable, etc.

Une à quatre personnes peuvent manipuler l’objet simultanément, celui-ci étant simplement posé sur une table, à la façon d’un jeu de société. L’objet sera donc laissé à la disposition des patients et soignants dans les espaces de vie commune où se déroule l’essentiel de la vie sociale de l’EHPAD. Il peut également être aisément transporté dans les chambres, si nécessaire.

OAMME-2 utilise le mouvement pour produire et déformer une matière sonore. Chaque poignet est équipée d'un accéléromètre et les différences d'orientation sur les axes X, Y et Z déclenchent des effets distincts proposant des écritures chorégraphiques riches.

L’ensemble des modules OAMME s’appuie sur des technologies numériques open source (langages Arduino, Pure Data, etc) permettant à leur concepteurs/développeurs de les reprendre, améliorer, reconfigurer aisément en fonction du retour des utilisateurs. Ces modules s’inspirent également de la philosophie des Fablabs (ateliers de design et de fabrication collaboratifs où les connaissances spécifiques et l’expérience des développeurs sont mises en commun afin d’améliorer la connaissance globale et la fonctionnalité des objets produits) par l’auto-fabrication (DIY) que permettent ces nouveaux outils que sont les découpeuses laser, imprimantes 3D, fraiseuses numériques, etc. Cette démarche ouvre la voie à des objets évolutifs et aisément reproductibles sans en passer par les contraintes particulières à l’industrie (aussi longtemps que ces objets se présentent sous forme de prototypes, en tous cas) que sont les coûts et délais de fabrication d’exemplaires uniques ou en très petites séries.

Publications scientifiques

Art and Technology for Relational Learning
É. Bittar, O. Nocent et J.-B. Masson
12th annual International Technology, Education and Development Conference (INTED 2018), Valencia, Spain, March 2018, Pages 9454-9459

Références

[1] Moreno, Bidelman 2014, Examining neural plasticity and cognitive benefit through the unique lens of musical training, Hearing Research 308: 84-97

[2] Saarikallio 2011, Music-related emotional self-regulation across adulthood years, Psychology of Music 39(3): 307–327

[3] Moumdjian, Särkämö, Leone, Leman, Feys, 2017, Effectiveness of music-based interventions on motricity or cognitive functioning in neurological populations: A systematic review, European Journal of Physical and Rehabilitation Medicine, 53(3): 466-482

[4] Fukui, Arai, Toyoshima 2012, Efficacy of Music Therapy in Treatment for the Patients with Alzheimer’s Disease, International Journal of Alzheimer’s Disease 2012: 531-646

[5] Narme, Clément, Ehrlé, Schiaratura, Courtaigne, Munsch, Samson 2014, Efficacy of Musical Interventions in Dementia : Evidence from a Randomized Controlled Trial, Journal of Alzheimer’s Disease 38: 359-369

[6] Särkämo, Tervaniemi, Laitinen, LicPhil, Numminen, Kurki, Johnson, Rantanen 2014, Cognitive, emotional and social benefits of regular musical activities in early dementia: randomized controlled study, Gerontologist 54(4): 634–650

[7] Maeda 2006, The Laws of Simplicity, MIT Press

[8] Roads 2015, Composing Electronic Music, Oxford University Press