인공지능(AI) 언어 모델은 방대한 양의 텍스트를 학습해 답변을 생성합니다. 그러나 종종 없는 사실을 꾸며내거나 왜곡된 정보를 제공하는 '환각(hallucination)' 현상이 발생합니다. 이로 인해 AI의 신뢰성과 윤리성에 문제가 제기되고 있습니다. 예를 들어, '세종대왕의 맥북프로 던짐 사건'과 같은 가짜 정보가 인터넷에서 유행하며 웃음을 자아내기도 했습니다. 이러한 환각 현상을 해결하기 위해 다양한 연구가 진행되고 있습니다.
AI가 만드는 환각, AI로 잡는다
최근 영국 옥스퍼드대의 서배스천 파쿼 연구원팀은 AI의 환각 현상을 줄이기 위한 새로운 방법을 개발했습니다. 이들은 AI 언어 모델(LLM)이 생성한 답변을 다시 LLM으로 평가해 환각을 감지하는 방법을 연구했습니다. 이 방법은 LLM이 부정확한 내용을 지어내는 '작화증(confabulation)'을 감지하는 데 효과적입니다. 예를 들어, LLM이 답변한 내용을 바탕으로 역으로 질문을 생성하고, 그 질문에 대한 여러 답변을 만들어 처음 답변의 확신도를 평가합니다. 연구팀은 이 방법을 통해 인물 전기, 퀴즈, 일반 지식 등을 주제로 한 질문에서 AI 환각을 효과적으로 감지했습니다. 이는 LLM을 더 안심하고 사용할 수 있는 방법으로 평가받고 있습니다.
법률·의료 분야에서의 AI 환각 문제
AI 환각 현상은 특히 정확성이 중요한 법률 및 의료 분야에서 치명적일 수 있습니다. 지난 해 미국에서는 챗GPT로 수집한 가짜 판례를 법원에 제출한 변호사들이 벌금을 부과받는 사건이 발생했습니다. 또한, AI 기반 음성-텍스트 변환 도구에서도 환각 현상이 발생합니다. 미국 버지니아대 연구팀의 조사에 따르면, '위스퍼'라는 AI가 받아쓴 글 중 약 1%가 지어낸 이야기로, 그 중 40%는 해롭거나 폭력적인 내용이었습니다. 이런 환각 현상으로 인해 의사들이 환자 기록을 필사할 때 잘못된 정보를 기록할 위험성이 있습니다. 이는 환자의 약 복용 방법에 대한 잘못된 정보로 이어질 수 있어 매우 심각한 문제를 초래할 수 있습니다.
AI 기술의 신뢰성을 높이기 위한 노력
AI 기술의 신뢰성과 윤리성을 높이기 위해서는 AI 환각 현상을 해결하는 것이 필수적입니다. 현재 과학자들은 AI 언어 모델의 답변을 또 다른 AI가 평가해 환각을 잡아내는 방법을 개발하고 있습니다. 이러한 연구는 AI 기술을 더 안전하고 신뢰할 수 있게 만들기 위한 중요한 단계입니다. 앞으로도 AI 기술의 발전과 함께 환각 현상을 줄이는 다양한 방법이 개발될 것으로 기대됩니다. 이를 통해 AI가 더 많은 분야에서 유용하게 활용될 수 있을 것입니다.
이와 같은 연구와 노력은 AI 기술이 더욱 신뢰할 수 있는 도구로 자리 잡을 수 있도록 돕고 있습니다. AI 기술의 발전은 우리의 생활을 더 편리하고 효율적으로 만들 수 있지만, 그 과정에서 발생하는 문제들을 해결하는 것도 매우 중요합니다. 앞으로도 AI 기술의 발전과 함께 이러한 문제들을 해결하기 위한 다양한 연구가 지속될 것입니다.