POSTECH(포항공과대학교) 컴퓨터공학과 황인석 교수, 통합과정 이정은, 윤수원, 이규식 씨 연구팀은 이화여대 언어병리학과 임동선 교수팀과의 공동 연구를 통해 생성형 인공지능과 홈 IoT 기기 기반 기술로 아이의 언어 교육을 돕는 개인 맞춤형 동화책 생성 시스템을 개발했다. 이번 연구는 인간-컴퓨터 상호작용 분야 최고 학술대회인 ‘ACM CHI(ACM SIGCHI Conference on Human Factors in Computing Systems)’에서 발표됐으며, 논문의 우수성을 인정받아 상위 5%의 논문에 주어지는 ‘우수논문상(Honorable Mention Award)’을 받았다.
아이들의 언어 능력은 인지와 학업 능력은 물론, 친구와의 상호작용과 사회적 발달에도 영향을 미친다. 따라서, 언어 능력이 시기에 맞춰 잘 발달하고 있는지 지속적으로 평가하고, 필요한 경우 언어 중재*를 통해 언어 능력을 키워야 한다. 문제는 아이들이 각자 다른 환경에서 성장하기 때문에 저마다 자라면서 접하는 어휘가 다르다는 것이다. 그러나, 기존의 방법들은 표준화된 어휘 목록을 이용해 언어 능력을 평가하고, 기성 동화책과 장난감으로 어휘를 중재해 왔다.
*언어 중재: 언어발달, 의사소통, 발음 등 언어적 어려움을 가지고 있는 아동의 언어 수준을 파악하고 아동의 언어 능력 향상을 위한 적절한 치료 및 교육적 지원을 제공하는 프로그램을 말한다. 연구팀은 획일적이고, 정형화된 도구에 의존하는 기존 방법이 아동의 다양성을 반영하지 못하는 한계점에 주목하고, 아이들의 성장 환경을 고려한 효과적인 교육 시스템을 설계했다. 먼저, 연구팀은 홈 IoT 기기를 이용하여 평소 생활하는 집에서 아이들이 듣고 말하는 음성들을 수집하고, 모니터링했다. 연구팀은 화자 분리*와 형태소 분석 기법*을 이용해 아동에게 노출된 단어와 아동이 발화한 단어, 그리고 노출되었으나 발화하지 않은 단어 등을 분석했으며, 단어마다 언어병리학적으로 중요한 요소들에 대한 점수를 계산했다.
*화자 분리: 하나의 오디오 녹음 파일에서 서로 다른 화자를 식별하고, 각 화자가 말한 구간을 분리해내는 기술이다.*형태소 분석 기법: 단어를 구성하는 기본적인 의미 단위인 형태소를 식별하고 분석하는 기법이다.
그리고, 연구팀은 거대언어모델(GPT-4)과 이미지 생성 모델(Stable Diffusion) 등 생성형 AI 기술로 아동별 목표 어휘를 자연스럽게 녹여낸 동화책이 생성되도록 했다. 언어병리학적 이론과 실제 전문가의 경험적인 노하우를 반영해 효과적인 개인 맞춤형 아동 언어 교육 시스템을 개발한 것이다.
연구팀은 아이들의 언어 능력 발달 편차를 고려하여 개인별 · 요소별 가중치를 다르게 설정하고, 어휘 선정 기준을 다양하게 변경할 수 있도록 설계했다. 또한, 개인별 목표 어휘 추출과 동화책 생성 과정을 모두 자동화하여 아이들의 어휘 발달과 언어환경 변화에 따라 목표 어휘 및 맞춤형 동화책을 지속적으로 갱신할 수 있도록 설계했다. 4주 동안 9개의 가정에서 연구팀의 시스템을 사용한 결과, 아이들은 학습 목표 어휘를 효과적으로 학습했으며, 연구팀은 이 시스템이 치료실이 아닌 일상 가정에서도 적용할 수 있음을 입증했다. 논문 제1저자인 POSTECH 이정은 씨는 “기존의 획일화된 아동 언어 평가 및 중재 방식의 한계를 생성형 AI를 이용해 효과적으로 해결했다”라며, “앞으로도 생성형 AI로 다양한 사람들의 수준과 필요에 맞는 맞춤형 가이드를 생성하고자 한다”라는 포부를 전했다. 또, 교신저자인 POSTECH 황인석 교수는 “학제 간 연구를 통해 생성형 AI 기술과 언어병리학적 이론을 융합하고, 맞춤형 언어 자극 · 발달 시스템을 성공적으로 개발했다”라며, “이번 연구 성과가 아이들의 성장 환경과 학습 목표의 다양성을 존중하는 교육에 큰 도움이 되길 바란다”라는 말을 전했다. 공동저자인 이화여대 임동선 교수는 “전통적 방식에서 벗어나 맞춤형 일상생활 언어 지원 서비스의 적용 가능성을 확인했다”라며, “다양한 환경과 언어에 노출된 아이들을 위한 목표 어휘 추출과 언어적 자극 전달 방식도 개인화할 수 있을 것“이라며 연구의 확장 가능성에 대한 기대를 전했다. 한편, 이번 연구는 한국연구재단의 중견연구자지원사업과 한국사회과학연구, 정보통신기획평가원 대학ICT연구센터와 ICT R&D 혁신바우처 지원사업의 지원을 받아 수행됐다.