Talen kunnen niet alleen worden uitgedrukt en waargenomen door middel van spraak of geschreven tekst, maar ook door zichtbare lichaamsuitdrukkingen (handen, lichaam en gezicht). Alle gesproken talen gebruiken naast spraak ook gebaren, en in dovengemeenschappen kunnen alle aspecten van taal in gebarentaal worden uitgedrukt via het zichtbare lichaam. Over de unieke bijdrage van dergelijke zichtbare uitingen aan ons begrip van het menselijke taalvermogen is echter minder bekend. De afdeling Multimodale Taalkunde streeft ernaar inzicht te krijgen in hoe visuele kenmerken van taal, naast spraak of gebarentalen, een fundamenteel aspect vormen van het menselijk taalvermogen, en bijdragen tot diens unieke flexibele en adaptieve karakter. De afdeling streeft ernaar de opvatting van taal en linguïstiek als multimodale fenomenen te conventionaliseren.
Om dit te bereiken verrichten we veldwerk naar het gebruik van gebaren in gesproken talen met verschillende linguïstische structuren - zoals woordvolgorde of prosodie - en in verschillende gebarentalen, om universele en uiteenlopende patronen te doorgronden. De afdeling Multimodale Taalkunde streeft er ook naar inzicht te krijgen in de rol van neurale, cognitieve en linguïstische verwerkingsmechanismen, vereisten van taalgebruik in interactie en taaloverdracht (bijvoorbeeld leerbeperkingen) bij het vormgeven van multimodale structuren van taal. Het algemene doel is dan ook de cognitieve en sociale grondslagen van het menselijk taalvermogen te ontrafelen, door de multimodale en crosslinguïstische diversiteit ervan als een fundamenteel ontwerpkenmerk te beschouwen.
Onze onderzoekers combineren verschillende methoden, zoals corpus- en computationele taalkunde, experimentele methoden, machinaal leren, AI en virtuele realiteit, om multimodale taalstructuur, gebruik, verwerking en overdracht te onderzoeken. We werken met verschillende taalgebruikers van diverse gebarentalen en gesproken talen over de hele wereld en met individuen die op een andere manier toegang hebben tot zintuiglijke ervaring, zoals dove en blinde taalgebruikers, mensen in verschillende leeftijdsgroepen, en mensen met een stoornis in het autistisch spectrum.
Asli Ozyurek
Vacancies
-
Multimodal language and diversity outreach assistant
Research AssistantMultimodal Language Departmentfull-timeThe Multimodal Language Department at the Max Planck Institute for Psycholinguistics in the Netherlands is offering a Multimodal...
-
29 November 2023
Linda Drijvers in Het Klokhuis
Last night, Dutch youth television programme Het Klokhuis paid attention to visual and body communication.
-
30 October 2023
Eleanor Huizeling awarded Honorable Mention at 15th Annual Meeting of Society for Neurobiology of Language
The Max Planck Institute for Psycholinguistics is proud and happy to announce that Eleanor Huizeling was awarded an Honorable Mention award last week at the 15th Annual Meeting of Society for...
Share this page