Wat was de centrale vraag in je proefschrift?

Wanneer we met anderen communiceren, gebaren we voortdurend. Ritmische gebaren (ook wel beat gestures genoemd) zijn een specifiek soort gebaar dat precies gelijk loopt met het tempo van onze spraak. In mijn proefschrift wilde ik begrijpen hoe deze eenvoudige, ritmische gebaren beïnvloeden hoe luisteraars de bijbehorende spraak verwerken. Ik heb via verschillende experimenten onderzocht wat de invloed van ritmische gebaren op de spraakperceptie is en welke cognitieve processen hieraan ten grondslag liggen.

Kun je de (theoretische) achtergrond iets meer uitleggen?

Gebaren en spraak zijn zo nauw met elkaar verbonden dat we zelfs gebaren als we aan het bellen zijn en niemand ons kan zien. De meeste gebaren die we maken (ongeveer 80%) zijn eenvoudige op-en-neergaande of zijwaartse bewegingen met de hand: de ritmische gebaren. Het is belangrijk om deze ritmische gebaren te onderzoeken omdat ze zoveel voorkomen. Toch weten we er relatief weinig over, zeker vergeleken met minder gebruikte gebaren, zoals iconische gebaren die hun betekenis visueel uitbeelden (bijvoorbeeld een denkbeeldig kopje naar je mond brengen om 'drinken' aan te duiden).

Daarnaast zijn ritmische gebaren interessant omdat ze direct gekoppeld zijn aan spraakritme en intonatie, oftewel de manier waarop onze stem stijgt en daalt als we praten. Ritmische gebaren kunnen zelfs veranderen welk woord je hoort, doordat de timing van het gebaar de klemtoon op een specifieke lettergreep kan leggen. In een van mijn onderzoeken hoorden deelnemers bijvoorbeeld het Engelse zelfstandig naamwoord 'CONtent' (inhoud) wanneer een ritmisch gebaar samenviel met de eerste lettergreep. Maar als ze exact dezelfde geluidsopname hoorden en het gebaar viel samen met de tweede lettergreep, hoorden ze het bijvoeglijk naamwoord 'conTENT' (tevreden).

Waarom is het belangrijk om deze vraag te beantwoorden?

Hoe en in welke mate ritmische gebaren de spraakperceptie beïnvloeden, is theoretisch interessant omdat het laat zien dat menselijke communicatie multimodaal is. Dat wil zeggen: we communiceren niet alleen via ons gehoor, maar ook visueel. Het bestuderen van ritmische gebaren is interessant omdat ze van zichzelf geen betekenis hebben. Pas in combinatie met spraak krijgen ze betekenis, wat ze heel geschikt maakt om te onderzoeken hoe spraak en gebaren op een multimodale manier samenbrengen in communicatie. Ten slotte kan inzicht in de rol van ritmische gebaren bij spraakperceptie ons helpen begrijpen wanneer mensen moeite hebben met communiceren (bijvoorbeeld bij bepaalde klinische doelgroepen) en hoe we hen kunnen ondersteunen.

Kun je meer vertellen over een specifiek project?

In een van mijn onderzoeken kregen deelnemers zinnen te horen als “The parents bought a crib for the baby” ("De ouders hebben een wieg gekocht voor de baby"). Ze keken naar video's van een spreker die deze zinnen uitsprak en moesten beslissen of het laatste woord ('baby') een bestaand woord was. De spreker op de video maakte een ritmisch gebaar op de eerste lettergreep, op de tweede lettergreep, of maakte helemaal geen gebaar.

Wat bleek? Deelnemers reageerden sneller als het woord samenging met een ritmisch gebaar. Het gebaar voegde inhoudelijk geen nieuwe informatie toe, want het waren alledaagse, eenduidige woorden die op basis van de rest van de zin al heel voorspelbaar waren. Toch ontdekte ik dat zelfs onder deze ideale omstandigheden ritmische gebaren een luisteraar nog steeds kunnen helpen om de woordherkenning te versnellen.

Wat heeft je geïnspireerd om voor dit onderzoeksonderwerp te kiezen?

Wat mij het meest inspireerde, is hoe herkenbaar het onderwerp is. Het is geen abstract concept, maar iets wat iedereen kent. Als je begint te praten over gebaren en spraak, weet iedereen (ook niet-academici) waar je het over hebt. Iedereen heeft er eigen ideeën of observaties over. Daardoor ga je gebaren niet alleen zelf overal om je heen opmerken, maar het onderwerp komt ook heel natuurlijk ter sprake in alledaagse gesprekken. Dat levert niet alleen veel boeiende onderzoeksideeën op, maar het enthousiasme van anderen werkt ook heel motiverend.

Kun je een moment beschrijven waarop je tijdens je PhD voor een grote uitdaging stond of tegenslag meemaakte, en hoe je die hebt overwonnen?

Mijn promotietraject begon midden in de COVID-pandemie. Het was daardoor erg lastig om proefpersonen te testen en we moesten onze onderzoeksplannen meerdere keren omgooien, bijvoorbeeld door de dataverzameling online te laten verlopen. Elke verandering zorgde voor vertraging, frustratie en onzekerheid.

Ik heb deze uitdagingen deels overwonnen door flexibel, optimistisch en veerkrachtig te blijven. Maar bovenal had ik het grote geluk te werken met geweldige collega's en ondersteunende begeleiders die me hielpen waar ze konden.

Wat was het waardevolste moment tijdens je PhD?

Mijn allereerste manuscript werd meerdere keren afgewezen, zelfs nadat ik aanvullende experimenten had uitgevoerd om tegemoet te komen aan de bezwaren van een kritische reviewer. Maar het manuscript bleef maar terugkomen. Zelfs toen ik het naar een ander tijdschrift stuurde en het bij dezelfde kritische reviewer terechtkwam, leek publicatie door de feedback vrijwel onmogelijk. Zeker aan het begin van je carrière is dat ontmoedigend.

Toen ik het manuscript uiteindelijk bij weer een ander tijdschrift indiende, kwam het terug met slechts kleine aanpassingen. Dat voelde fantastisch na zo'n lange strijd. Het liet zien dat mijn werk het waard was om gepubliceerd te worden en dat andere onderzoekers de moeite die ik erin had gestoken op waarde schatten.

Wat wil je hierna gaan doen?

Ik wil graag verder in de wetenschap. Momenteel rond ik mijn eerste postdoc af bij het Centre for Language Studies aan de Radboud Universiteit. Daar ontwikkel ik een tool waarmee taalleerders feedback krijgen op de prosodie (het ritme en de klemtoon) van hun Engels als tweede taal.

Hierna staat er een volgende postdoc klaar, waarin ik mijn PhD werk naar ritmische gebaren voortzet. Ik wil dan beter begrijpen welk effect ritmische gebaren hebben op spraakperceptie in andere talen. Daarnaast wil ik het onderzoek uitbreiden naar de synchronie en variatie van deze ritmische gebaren bij de spraakproductie zelf.

Met dank aan 

• Interviewer: Bahar Tarakçı

• Geïnterviewde: Ronny Bujok

• Vertaling Nederlands: Lieke Herraets

• Vertaling Duits: Anna Serke