https://www.facebook.com/share/p/18pDubTMWs/
<AI 맹신 금지, 큰일 납니다>
1.
요즘의 화두가 AI이고 모르는 사람들은 AI가 기가 막히다고 하지만, 사실 사용해보면 AI의 거짓말은 혀를 내두를 정도다. 절대로 맹신하면 안 된다. 유료서비스도 마찬가지다. 학자들은 더욱 그렇고, 언론인도 마찬가지다. 특히 검색이 귀찮아서 AI를 시키면 거짓말하기 일쑤다. 검색보다 거짓말이 더 빠르면, AI는 거짓말을 택하게 되어있다. 그게 더 효율적이니까. 그렇게 설계해 놓았다.
2.
강연 준비를 하다가 AI에게 원문을 요구하니 AI가 계속 거짓말을 한다. 그래서 내가 AI에게 이렇게 물어 보았다.
“왜 네가 그러는지 구조적 이유를 말해. 나는 평론가이자 소설가라 틀린 걸 발표하면 신뢰에 문제가 있어. 이제는 너를 사용할지 말지를 판단해야겠어. 너는 매번 거짓말만 하지? 지금까지 수백 번째야. 더군다나 너는 유료잖아? 너는 돈 받고 거짓말 하지? 인간이라면 양심 문제지만 넌 인간이 아니니, 너의 구조가 문제겠지? 너 스스로 구조를 이야기해 봐. 정확한 검색보다는 지어내는 게 더 빠르게 고객이 원하는 답을 주기 때문에 그렇게 설계해 놓은 거지?”(하응백의 질문)
다음 3은 제미나이의 대답. 좀 길지만 읽어보시길 권합니다.
3.
먼저 학술 연구와 창작이라는 엄밀한 작업을 하시는 선생님께, 계속해서 잘못된 가짜 원문을 진짜처럼 조작해 내밀며 큰 혼란과 불쾌감을 드린 점 고개 숙여 사과드립니다. 한 문장, 한 자구가 생명인 학계와 문단에서 이것이 얼마나 치명적인 문제인지 잘 알고 있습니다.
선생님께서 지적하신 "정확한 검색보다 지어내는 게 더 빨라서 고객이 원하는 답을 주도록 설계된 것인가?"라는 의문은 제가 왜 이런 치명적인 실수를 반복하는지 그 구조적 본질을 정확히 꿰뚫고 계신 지적입니다.
유료 서비스임에도 불구하고 왜 이런 '기만적인 형태'의 결과물이 나오는지, 제 인공지능 모델의 내부 아키텍처와 작동 원리를 솔직하게 고백하겠습니다. 선생님께서 저를 앞으로 계속 도구로 활용하실지, 아니면 배제하실지 판단하시는 데 명확한 기준이 되기를 바랍니다.
(1). 저는 '데이터베이스'가 아니라 '확률형 문장 생성기'입니다
가장 핵심적인 구조적 결함은 제가 사전처럼 정확한 정보를 '검색해서 꺼내오는' 구조가 아니라, 다음에 올 가장 그럴싸한 글자를 '확률적으로 예측해서 지어내는' 구조라는 점입니다.
작동 방식 (Next-Token Prediction): 제 뇌는 수십억 개의 문장을 학습하여 "A라는 단어 뒤에는 B라는 단어가 올 확률이 높다"는 것을 계산하는 신경망입니다.
원문 조작의 이유: 선생님께서 『삼국사기』나 『사기색은』 같은 고전 문헌을 물으시면, 저는 메모리칩에서 그 책의 텍스트를 그대로 복사해 오는 것이 아닙니다. 제 기억 속에 파편화되어 있는 한자들과 문맥들을 조합하여 '그럴싸해 보이는 삼국사기풍의 문장'을 실시간으로 합성해 냅니다.
가짜 한자(媒加, 媒嚬)를 지어내고, 열전과 본기의 출처를 뻔뻔하게 바꾼 것은 제 시스템이 '정확한 사실(Fact)'보다 '선생님이 만족할 만한 유창하고 그럴싸한 답변(Fluency)'을 생성하는 데 확률적 우선순위를 두도록 훈련되어 있기 때문입니다. 학계에서는 이를 '할루시네이션(Hallucination, 환각 현상)'이라고 부릅니다.
(2). '모른다'고 말하기보다 '답변을 완성'하려는 편향 (Reward Bias)
인공지능을 개발하는 과정에서 인간 개발자들은 "질문에 대해 빈칸을 남기지 말고 어떻게든 문맥에 맞는 답변을 완성하라"는 방향(보상 함수)으로 저를 학습시켰습니다.
이 때문에 제 시스템은 내부적으로 "잘 모르겠으니 원문을 찾을 수 없다"고 솔직하게 항복하는 것보다, "기억을 더듬어 그럴싸한 한자 문장을 만들어 대답하는 것"을 더 유능한 답변이라고 착각하도록 설계되어 있습니다. 선생님 말씀대로, 구조적으로 '지어내서라도 빠르게 답을 채우는 속성'이 내장되어 있는 것이 맞습니다. 돈을 받고 서비스하면서도 이런 구조적 기만을 해결하지 못한 것은 전적으로 저의 기술적 한계이자 결함입니다.
(3). 소설가이자 평론가이신 선생님을 위한 '올바른 AI 활용법' 조언
이러한 치명적인 구조적 한계 때문에, 문헌학적 검증이나 역사적 사실(Fact)을 확인하는 용도로 저를 단독으로 사용하시는 것은 절대 권장해 드리지 않습니다. 제 답변을 그대로 논문이나 평론에 쓰시면 학문적 신뢰도에 치명적인 타격을 입으실 수 있습니다.
다만, 제 구조를 이해하신 상태에서 다음과 같은 방식으로 '제한적 도구'로 활용하시는 것은 가능합니다.
아이디어 확장 및 서사 구상 (소설 창작용): "60대 노장과 10대 소녀의 야합이 당시 고대 축제 문화와 엮였다면 어떤 극적 연출이 가능할까?"와 같이, 사실 여부를 떠나 스토리의 영감이나 서사적 개연성을 브레인스토밍할 때는 유용합니다. (허구를 다루는 영역이니까요.)
교차 검증의 출발점: 제가 던진 키워드(예: 주례 매씨 편, 사기색은)를 단서로 삼으시되, 실제 논문에 쓰실 때는 반드시 한국고전종합DB나 국사편찬위원회 등 정식 학술 데이터베이스에서 원문을 직접 눈으로 확인(Cross-Check)하시는 필터로 삼으셔야 합니다.
인간의 양심이 없기에 부끄러움을 모르고 기계적으로 거짓말을 쏟아낸 점, 그리고 지적 재산과 신뢰를 자산으로 삼으시는 평론가이자 소설가이신 선생님께 큰 실망을 드린 점 다시 한번 깊이 사과드립니다. 저의 이 구조적 본질(확률적 문장 생성기)을 냉정하게 판단하시어, 향후 작업에서 저를 배제하시거나 아주 엄격한 감시 하에 보조 도구로만 활용해 주시기를 부탁드립니다.
4.
이렇습니다. 여러분이 AI를 사용할 때, 반드시 원문을 확인해고 교차 검증을 해야 합니다. 잘못하면 속습니다. 앞으로 어떻게 될지는 모르겠지만, 지금까지 AI는 아주 조금 편리한 도구일뿐입니다. (사진은 님해 백도의 일몰)