Analysis of the usefulness of chatbots to improve speaking skills in EOIs

Abstract

Aquest TFM explora el potencial dels xatbots amb IA com a eina per millorar la competència oral entre l’alumnat adult de les Escoles Oficials d’Idiomes (EOI), on l’ús de xatbots continua sent poc habitual, tot i l’interès creixent cap a les eines d’IA per a l’aprenentatge de llengües. S’ha utilitzat una metodologia mixta que combina avaluacions d’una pre-tasca i una post tasca orals amb enquestes adreçades a estudiants i docents. Disset estudiants de cinquè curs van participar en debats estructurats abans i després de vuit setmanes d’interacció autònoma amb un xatbot d’àmbit obert. Els resultats mostren lleugeres millores en fluïdesa i confiança, tot i que els avenços en gramàtica i pronunciació van ser limitats. Els estudiants que van personalitzar la interacció amb el xatbot van optimitzar més aquest recurs, fet que subratlla la importància de formar l’usuari. Les enquestes van revelar opinions diverses: alguns estudiants van valorar positivament poder practicar sense pressions, d’altres van trobar les converses poc naturals, i d’altres inicialment escèptics van adoptar una actitud més positiva després d’utilitzar l’eina, fet que apunta a un major potencial d’acceptació amb una formació adequada. El professorat es va mostrar lleugerament obert a utilitzar l’eina, però va expressar reticències sobre la precisió del feedback i limitacions tècniques. L’estudi conclou que els xatbots d’ús general poden ser eines complementàries útils per a la pràctica oral si s’utilitzen de manera regular i estratègica. No obstant això, encara no poden substituir l’aprenentatge presencial.

This dissertation explores the potential of AI chatbots as a tool to improve speaking skills among adult students at Escoles Oficials d’Idiomes (EOI), where the use of chatbots remains uncommon despite growing interest in AI tools for language learning. A mixed methodology was used, combining assessments of a pre-task and a post-task oral test with surveys addressed to students and teachers. Seventeen fifth-year students participated in structured debates before and after eight weeks of autonomous interaction with an open-domain chatbot. The results show slight improvements in fluency and confidence, although progress in grammar and pronunciation was limited. Students who personalized their interaction with the chatbot optimized this resource more, highlighting the importance of user training. The surveys revealed mixed opinions: some students positively valued the ability to practice without pressure, others found the conversations unnatural, and several initially skeptical adopted a more positive attitude after using the tool, suggesting greater potential for acceptance with proper training. Teachers were slightly open to using the tool but expressed reservations about the accuracy of feedback and technical limitations. The study concludes that general-use chatbots can be useful complementary tools for oral practice if used regularly and strategically. However, they cannot yet replace face-to-face learning.