Multimodal Language Department

Multimodal Language Department
Wat onthult ons lichaam over menselijke taal?

Talen kunnen niet alleen worden uitgedrukt en waargenomen door middel van spraak of geschreven tekst, maar ook door zichtbare lichaamsuitdrukkingen (handen, lichaam en gezicht). Alle gesproken talen gebruiken naast spraak ook gebaren, en in dovengemeenschappen kunnen alle aspecten van taal in gebarentaal worden uitgedrukt via het zichtbare lichaam. Over de unieke bijdrage van dergelijke zichtbare uitingen aan ons begrip van het menselijke taalvermogen is echter minder bekend. De afdeling Multimodale Taalkunde streeft ernaar inzicht te krijgen in hoe visuele kenmerken van taal, naast spraak of gebarentalen, een fundamenteel aspect vormen van het menselijk taalvermogen, en bijdragen tot diens unieke flexibele en adaptieve karakter. De afdeling streeft ernaar de opvatting van taal en linguïstiek als multimodale fenomenen te conventionaliseren.

Om dit te bereiken verrichten we veldwerk naar het gebruik van gebaren in gesproken talen met verschillende linguïstische structuren - zoals woordvolgorde of prosodie - en in verschillende gebarentalen, om universele en uiteenlopende patronen te doorgronden. De afdeling Multimodale Taalkunde streeft er ook naar inzicht te krijgen in de rol van neurale, cognitieve en linguïstische verwerkingsmechanismen, vereisten van taalgebruik in interactie en taaloverdracht (bijvoorbeeld leerbeperkingen) bij het vormgeven van multimodale structuren van taal. Het algemene doel is dan ook de cognitieve en sociale grondslagen van het menselijk taalvermogen te ontrafelen, door de multimodale en crosslinguïstische diversiteit ervan als een fundamenteel ontwerpkenmerk te beschouwen.

Onze onderzoekers combineren verschillende methoden, zoals corpus- en computationele taalkunde, experimentele methoden, machinaal leren, AI en virtuele realiteit, om multimodale taalstructuur, gebruik, verwerking en overdracht te onderzoeken. We werken met verschillende taalgebruikers van diverse gebarentalen en gesproken talen over de hele wereld en met individuen die op een andere manier toegang hebben tot zintuiglijke ervaring, zoals dove en blinde taalgebruikers, mensen in verschillende leeftijdsgroepen, en mensen met een stoornis in het autistisch spectrum.

Asli Ozyurek

Director
Multimodal Language Department
+31 24 3521304
Asli [dot] Ozyurek [at] mpi [dot] nl

Vacancies

Jobs paragraph
News
  • Sharice Clough stands beside a research poster titled "Spatial narratives from remote and recent memory in individuals with Alzheimer’s disease and healthy older adults: A multimodal perspective." She is smiling, wearing glasses, and a green dress with a conference badge.
    10 June 2024

    Sharice Clough presented at DUCOG Conference

    Sharice presented preliminary findings from a study examining the multimodal language production of healthy older adults and individuals with Alzheimer's disease producing spatial narratives from...

  • A person fine-tunes a the Furhat robot head with a projected face in a tech lab setting.
    14 May 2024

    Chinmaya Mishra on News!

    Chinmaya Mishra's research on automating robots' gaze and emotions is now featured on several websites, showcasing how robots can better interact with us. Catch the full story online for a glimpse at...

Share this page