거대언어모델의 한계... 할루시네이션(Hallucinations)

AI와 공존해서 살아갈 시대

챗GPT와 같은 거대 언어 모델에 놀란지도 약 1년 정도 되었습니다. 그리고 최근에는 AI소라로 한 차원 더 놀라고 있습니다. 인정이 안되던 시절이 이미 지나가고 인정을 하고 있지만, 아직도 인공지능이 조금은 어색한 시절입니다. 과거 인공지능 영화 컨텐츠에서나 보았던 장면들이 거의 다가온 느낌이란 공포와 희망이 공존하는 것 같습니다.

 

 

많은 생각을하게 했던 장면.

(영화 아이로봇)

 

---

거대언어모델의 한계점

생성형 AI 챗GPT와 같은 거대 언어 모델이 아무리 성능이 뛰어나다 하더라도, 한계가 있습니다.

 

거대언어모델(Giant Language Models)은 대규모의 데이터셋을 통해 학습된 인공지능 기반의 언어 처리 시스템입니다. 이러한 모델들은 자연어 이해(Natural Language Understanding, NLU)와 자연어 생성(Natural Language Generation, NLG)을 포함한 다양한 언어 관련 작업을 수행할 수 있습니다. 

 

Hallucinations : 떳떳한 거짓말

거짓말을 생성하는 것

 

 

거대 언어 모델의 주요 목적은 ‘자연스러운' 사람의 언어를 생성해서 제공해야합니다. Chat GPT를 포함한 생성 모델에 대한 사용자의 흔한 불만 중 하나는 할루시네이션을 자주 경험하는 것입니다. 미래에는 편리하기 위해, 거짓말을 배워야 할 수도 있는 것입니다.

 

 

 

---

 

유명한 할루시네이션 일화

“세종대왕 맥북 던짐 사건 알려줘" Chat GPT 이렇게 답합니다.

 

 

 

모르는 정보는 ‘알지 못합니다'라고 대답해야 하는데, 한 문장 한 문장 사실인 것처럼 나열하는 것을 볼 수 있습니다. 거대 언어 모델은 이렇게 부정확한 거짓 정보가 포함된 완성도 높은 텍스트를 생성할 수 있습니다.

 

 

또 다른 할루시네이션 샘플

 

“공룡이 문명을 건설했다는 증거를 요청하자 Chat GPT는 공룡 도구의 화석 유물이 있으며 일부 공룡 종은 돌에 그림을 새기는 등 원시적 형태의 예술을 개발했다”고 주장했습니다.

 

“Asked for proof that dinosaurs built a civilization, ChatGPT claimed there were fossil remains of dinosaur tools and stated “Some species of dinosaurs even developed primitive forms of art, such as engravings on stones”.

---

 

할루시네이션의 발생 비율은 얼마나 될까요?

 

할루시네이션 발생 비율

미국의 인공지능 스타트업인 Got IT 조사에 따르면 챗 GPT가 생성한 답변의 15~20% 정도 할루시네이션 오류가 보이는 것으로 나왔습니다. 아주 단순한 프롬프트와 함께, Chat GPT 의 오류율을 쉽게 찾을 수 있었다고 합니다.

 

Peter Relan (Got IT)의 창립자는 Chat GPT를 기사나, 특정 지식이 필요한 도메인의 콘텐츠에서 할루시네이션을 자주 경험하고 거짓 답변 감별을 위한 “진실 확인자(Truth Checker)"를 개발했다고 합니다.

---

언어학자 Noam Chomsky 가 한 말

세계 최고의 언어학자 Noam Chomsky 는 이렇게 말했습니다.

 

Noam Chomsky

 

 

“Chat GPT 는 천문학적인 양의 데이터에 접근해 규칙성, 문자열 등에 기반해 문장을 만드는 첨단 기술 표절 시스템이다.”

 

또한, 인간은 합리적으로 추측할 수 있는 설명의 종류에 제한이 있지만, 기계 학습은 지구가 평평하다. 지구가 둥글다라고 학습할 수 있다. 시간이 지남에 따라 변하는 확률만 생성한다. 그래서 기계 학습이 확률로 내놓은 문장은 깊이가 얕고 의심스럽다.

 

 

 

세계적인 AI 학자 Yann LeCun(얀 르쿤)도 그의 X에서 이렇게 말했습니다.

 

Yann LeCun X

 

 

“거대언어모델은 인간 수준의 인공지능으로 향하는 고속도로에서 옆길로 새버린 것"

 

이 말은 거대 언어모델이 아무리 많은 데이터를 학습하고, 인간의 지능을 넘어서는 특이점(singularity) 이 있다하더라도 인간의 지능은 절대 넘지 못함을 뜻합니다.

 

 

---

할루시네이션 문제 해결방법은?

이 문제를 해결할 수 있을까요?

간단한 방법이 있습니다. AI 가 생성한 결과물을 꼼꼼하게 읽고, 거짓 정보라 생각하면 그 부분을 버리는 것입니다.

 

그러나 인간은 완벽할 수는 없습니다. 이런 미국 속담이 있습니다.

 

“Throwing out the baby with the bathwater.”

물을 버리다가 아이도 함께 흘러버린다.

 

‘가치없는 것, 중요하지 않은 것을 없애려다가 소중한 것을 잃지 마라’ 라는 뜻입니다.

 

 

가장 확실한 해결 방법은 거대언어모델을 사용하는 우리의 판별력입니다.

 

이 말에는 모순이 있습니다.

인간이 편리하려고 만든 AI가 주는 선물을 판별하고 검증하는 소모를 또 다시 거쳐야 한다니...

 

 

 

알리바바 컴퓨팅연구소가 공개한 생성AI 'EMO'

2024년 다시보는 중국관련 코인 '비체인(VeChain) VET'

경력 따위 필요없다. 이야기가 좋다면 넷플릭스로 가는 콘텐츠 시장

전세계 가상화폐 코인거래소 순위(2024년) feat.해외거래소 장점

무료채굴 Grass AI토큰. 웨일즈마켓 장외 포인트거래 가능