본문 바로가기

Projects/Current

멀티 에이전트에 기반한 농작물 멀티모달 질의응답 시스템 개발

과제 수행 기간

2025.07.01-2026.12.31 (1년 6개월)

과제 목표

농업 도메인은 기상·토양·병해충 등 복잡 변수가 얽혀 있으며, 농업 백과사전/농기계 설명서 등 도면·도표·이미지가 혼재된 문서를 기반으로 작은 도표의 세부 내용을 참조해 정확한 응답을 생성해야 한다. 따라서 일반적인 RAG 문서 탐색 능력뿐 아니라, 문서 내 정답 근거 위치를 지정·확대·포커싱하여 답을 도출하는 멀티모달 탐색 능력이 요구된다.

본 과제는 이런 환경 속에서 도면/도표/이미지 기반 근거를 포함한 문서형 지식을 활용하여, 사용자의 질의에 대해 신뢰성 있는 멀티모달 질의응답을 수행하는 에이전트 학습 방법론과 검증 프로토타입을 확보한다.

참여범위

대동주관으로 서강대 ISDS Lab. 공동연구 진행
ISDS는 멀티모달 타깃 농업 영역에서 신뢰성 있는 질의응답 에이전트 구축을 위한 학습방법 개발을 담당.

연구 내용

- Searcher-Generator 분리형  에이전트 구조

  • 타깃 영역 멀티모달 탐색정책을 담당하는 Searcher 모델과 응답 생성을 담당하는 Generator 모델 구축
  • 응답 성능에 기반하여 Searcher 모델만 강화학습하여, 대형 Generator의 강점을 유지
  • 적은 학습 데이터로 타깃 도메인 탐색 정책을 빠르게 적응학습 

- 구조화된 추론-행동 태그기반 SFT

  • 멀티모달 추론 단계를 <think><search><bbox><search_complete>와 같은 태그로 구조화하여, 해석 가능성과 제어 가능성을 높이고 데이터 품질 분석을 가능하게 함.

- 품질 우선(Quality over Quantity) 데이터 정제 효과 검증