Details

Autor(en) / Beteiligte

• Parlato-Oliveira, Erika
• Chetouani, Mohamed
• Cadic, Jean-Maximilien
• Viaux, Sylvie
• Ghattassi, Zeineb
• Xavier, Jean
• Ouss, Lisa
• Feldman, Ruth
• Muratori, Filippo
• Cohen, David
• Saint-Georges, Catherine

Titel

The emotional component of Infant Directed-Speech: A cross-cultural study using machine learning

Ist Teil von

• Neuropsychiatrie de l'enfance et de l'adolescence, 2020-03, Vol.68 (2), p.106-113

Ort / Verlag

Elsevier Masson SAS

Erscheinungsjahr

2020

Link zum Volltext

Quelle

Elsevier ScienceDirect Journals Complete

Beschreibungen/Notizen

• Infant-directed speech (IDS) is part of an interactive loop that plays an important role in infants’ cognitive and social development. The use of IDS is universal and is composed of linguistic and emotional components. However, whether the emotional component has similar acoustics characteristics has not been studied automatically. We performed a cross-cultural study using automatic social signal processing techniques (SSP) to compare IDS across languages. Our speech corpus consisted of audio-recorded vocalizations from parents during interactions with their infant between the ages of 4 and 18 months. It included 6 databases of five languages: English, French, Hebrew (two databases: mothers/fathers), Italian, and Brazilian Portuguese. We used an automatic classifier that exploits the acoustic characteristics of speech and machine learning methods (Support Vector Machines, SVM) to distinguish emotional IDS and non-emotional IDS. Automated classification of emotional IDS was possible for all languages and speakers (father and mother). The uni-language condition (classifier trained and tested in the same language) produced moderate to excellent classification results, all of which were significantly different from chance (P<1×10−10). More interestingly, the cross-over condition (IDS classifier trained in one language and tested in another language) produced classification results that were all significantly different from chance (P<1×10−10). The automated classification of emotional and non-emotional components of IDS is possible based on the acoustic characteristics regardless of the language. The results found in the cross-over condition support the hypothesis that the emotional component shares similar acoustic characteristics across languages. Le mamanais (ou infant-directed speech) entre dans une spirale interactive qui joue un rôle important dans le développement des compétences cognitives et sociales du bébé. L’usage du mamanais est universel et comprend des éléments linguistiques et émotionnels. Cependant, la question de la similarité ou non des composantes émotionnelles au niveau acoustique n’a jamais été explorée automatiquement. Nous avons mené une étude transculturelle utilisant des techniques automatisées de traitement du signal social afin de comparer le mamanais dans différentes langues. Notre corpus de paroles est composé de vocalisations de parents enregistrées pendant des interactions avec leurs bébés âgés de 4 à 18 mois. Il inclut 6 bases de données en cinq langues : anglais, français, hébreu (deux bases de données: mères/pères), italien et portugais brésilien. Nous avons utilisé un classifieur automatique qui exploite les caractéristiques acoustiques de la parole et des méthodes de machine learning (apprentissage automatique par machines à vecteurs de support, SVM) afin de distinguer le mamanais-émotionnel du mamanais-non émotionnel. La classification automatique du mamanais émotionnel a été possible pour toutes les langues et tous les locuteurs (père et mère). La condition mono-langage (classifieur entrainé et testé dans la même langue) a produit des résultats de classification modérés à excellents, tous significativement supérieurs au hasard (p< 1×10-10). Plus intéressant encore, la condition croisée (classifieur entraîné dans une langue et testé dans une autre langue) a produit des résultats de classification significativement supérieurs au hasard (p< 1×10-10). La classification automatique des composants émotionnels et non émotionnels du mamanais est possible sur la base des caractéristiques acoustiques indépendamment de la langue. Les résultats trouvés en condition croisée supportent l’hypothèse selon laquelle la composante émotionnelle repose sur des caractéristiques acoustiques similaires quelle que soit la langue.