Talen kunnen niet alleen worden uitgedrukt en waargenomen door middel van spraak of geschreven tekst, maar ook door zichtbare lichaamsuitdrukkingen (handen, lichaam en gezicht). Alle gesproken talen gebruiken naast spraak ook gebaren, en in dovengemeenschappen kunnen alle aspecten van taal in gebarentaal worden uitgedrukt via het zichtbare lichaam. Over de unieke bijdrage van dergelijke zichtbare uitingen aan ons begrip van het menselijke taalvermogen is echter minder bekend. De afdeling Multimodale Taalkunde streeft ernaar inzicht te krijgen in hoe visuele kenmerken van taal, naast spraak of gebarentalen, een fundamenteel aspect vormen van het menselijk taalvermogen, en bijdragen tot diens unieke flexibele en adaptieve karakter. De afdeling streeft ernaar de opvatting van taal en linguïstiek als multimodale fenomenen te conventionaliseren.
Om dit te bereiken verrichten we veldwerk naar het gebruik van gebaren in gesproken talen met verschillende linguïstische structuren - zoals woordvolgorde of prosodie - en in verschillende gebarentalen, om universele en uiteenlopende patronen te doorgronden. De afdeling Multimodale Taalkunde streeft er ook naar inzicht te krijgen in de rol van neurale, cognitieve en linguïstische verwerkingsmechanismen, vereisten van taalgebruik in interactie en taaloverdracht (bijvoorbeeld leerbeperkingen) bij het vormgeven van multimodale structuren van taal. Het algemene doel is dan ook de cognitieve en sociale grondslagen van het menselijk taalvermogen te ontrafelen, door de multimodale en crosslinguïstische diversiteit ervan als een fundamenteel ontwerpkenmerk te beschouwen.
Onze onderzoekers combineren verschillende methoden, zoals corpus- en computationele taalkunde, experimentele methoden, machinaal leren, AI en virtuele realiteit, om multimodale taalstructuur, gebruik, verwerking en overdracht te onderzoeken. We werken met verschillende taalgebruikers van diverse gebarentalen en gesproken talen over de hele wereld en met individuen die op een andere manier toegang hebben tot zintuiglijke ervaring, zoals dove en blinde taalgebruikers, mensen in verschillende leeftijdsgroepen, en mensen met een stoornis in het autistisch spectrum.
Asli Ozyurek
Vacancies
-
Native Dutch speaking Student Assistant
Student AssistantMultimodal Language Departmentpart-timeThe Multimodal Language Department is offering a part-time Student Assistant position to a native Dutch speaker (16-19 hours/week)...
-
14 April 2024
New paper in Language Learning: Iconicity and Gesture Jointly Facilitate Learning of Second Language Signs at First Exposure in Hearing Nonsigners
The paper “Iconicity and Gesture Jointly Facilitate Learning of Second Language Signs at First Exposure in Hearing Nonsigners” by Dilay Z. Karadöller, David Peeters, Francie Manhardt, Aslı Özyürek...
-
09 April 2024
Chinmaya Mishra's research featured on Radboud University Research News and Computable.nl
Chinmaya Mishra's research on making robots understand human gaze and emotions is now featured on Radboud University and Computable.nl websites, showcasing how robots can better interact with us...
Share this page