AI 기술 블로그 - 언어 모델 환각의 원인과 해결

OpenAI의 연구 간행물은 언어 모델이 환각을 일으키는 이유와 이러한 현상을 줄이기 위한 노력에 대해 설명합니다. 이 간행물은 모델이 확신을 가지고 잘못된 정보를 생성하는 것을 환각으로 정의하며, 이는 부분적으로 현재 평가 방식이 불확실성을 인정하기보다 추측을 보상하기 때문이라고 설명합니다. 또한, 환각은 모델이 방대한 텍스트에서 다음 단어를 예측하는 사전 훈련 과정에서, 특히 낮은 빈도의 사실과 관련된 일관성 없는 패턴을 학습할 때 발생한다고 분석합니다. 연구진은 정확성만 중시하는 평가 지표를 수정하여 불확실성 표현을 보상하고, 확신에 찬 오류에 더 큰 벌점을 부과함으로써 환각 문제를 해결할 수 있다고 제안합니다. 궁극적으로, 이 문서는 환각이 피할 수 없거나 신비로운 결함이 아니며, 모델이 자신의 한계를 인정하도록 훈련함으로써 줄일 수 있다고 강조합니다.