자연어처리분야 인공지능 Top Tier 학회 ACL 논문 채택

지능형음성대화시스템연구실(ISDS) 연구팀,

자연어처리분야 인공지능 Top Tier 학회 ACL 논문 채택

- 학부서 각각 신문방송학과 언어학을 전공한 대학원 인공지능학과 1기 방나모·이지현 석사과정생의 연구성과 -

- 교신저자 구명완 컴퓨터공학과 교수 “'문과 출신' 융합연구 강점 살린 사례” -

 

▲ (왼쪽부터) 컴퓨터공학과 구명완 교수, 인공지능학과 방나모 석사과정생, 이지현 석사과정생

 

컴퓨터공학과 지능형음성대화시스템연구실(ISDS) 연구팀의 대화 시스템 연구 논문이 ‘The 61st Annual Meeting of the Association for Computational Linguistics’(이하 ACL 2023)에서 'ACL Findings Paper'로 채택됐다. ACL은 세계 3대 자연어처리 학술대회 중 하나로서, BK21 플러스 사업 Computer Science 분야 우수국제학술대회 리스트 중 인용지수(Impact Factor, IF) 최고 등급인 IF 4로 등재되어 있다.

 

 

대학원 인공지능학과 방나모·이지현 석사과정생(석사 3학기, 공동 1저자)과 컴퓨터공학과 구명완 교수(교신저자)의 논문은 'Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System'라는 제목으로 오는 7월 10~12일 열리는 ACL 2023의 논문집에 게재된다.

 

연구팀은 파라미터가 고정된 대형 사전학습 언어 모델(Large Pre-trained Language Model, LLM)에 어댑터(Adapter) 모듈을 추가하고, 강화학습 방식으로 훈련하여 성능을 높인 목적 지향 대화 시스템(Task-Oriented Dialogue System)을 제안했다. 어댑터는 대화 시스템을 사용자 발화 이해, 대화 상태 추적, 시스템 응답 생성 등 화행 목적에 따라 최적화하여 각 기능의 수행 성능을 향상시키는 역할을 한다. 이 연구에서도 어댑터를 추가한 대화 시스템의 성능을 높이기 위해 적용됐다.

 

 

▲ ‘Task-Optimized Adapter for an end-to-end Task-Oriented Dialogue System’ 논문이 제안하는 목적 지향 대화 시스템 구조

 

연구팀은 기존의 LLM에 어댑터를 추가한다는 아이디어가 대화 시스템 성능 향상을 위한 연산 비용도 최소화할 수 있음을 밝혔다. LLM으로 대화 시스템을 구축하여 다양한 화행 과제를 수행하도록 하려면 과제별로 파라미터를 파인튜닝(Fine-tuning, 미세 조정)해야 한다. 그동안에는 LLM 파인 튜닝 시 사전학습에 사용한 전체 파라미터를 공유해야 하기 때문에 연산 비용이 많이 들며, 사전 학습한 내용을 잊어버리는 현상(Catastrophic Forgetting)이 문제로 제기됐다. 연구팀은 파인튜닝 시 LLM 전체 파라미터 대신 적은 규모의 파라미터만으로 구성된 어댑터만 학습하도록 하여 학습 비용 문제와 학습 내용 망각 문제까지 해소했다. 아울러 학습 방식 면에서도 강화학습을 통해 각 화행 과제별로 최적화할 수 있음을 입증했다.

 

▲ ‘Task-Optimized Adapter for an end-to-end Task-Oriented Dialogue System’ 논문이 제안한 어댑터의 세부 구조

 

이번 연구는 학부에서 인문·사회계열을 전공한 학생들이 본교 인공지능학과 협동과정 1기로 진학하여 일궈낸 성과라 그 의미가 더욱 남다르다. 방나모 학생은 본교 커뮤니케이션학부 출신으로 신문방송학과 빅데이터사이언스 융합전공을 전공했다. 이지현 학생은 고려대 언어학과를 졸업하고 본교 석사 과정에 진학했다. 두 학생 모두 스마일게이트에서 후원하는 DHE(Digital Human Entertainment) 장학생이다.

 

 

구명완 교수는 "융합 학문인 인공지능학 연구에서 '문과 출신'의 통찰을 강점으로 살린 사례"라며, "앞으로도 학생들이 공학과 도메인 지식을 융합한 시너지 효과를 낼 수 있도록 지도하겠다"라고 말했다.

 

 

 

출처: 서강피플 (https://www.sogang.ac.kr/gopage/goboard2.jsp?bbsConfigFK=58&pkid=537279)