출처: 여성시대 김기인
ㅎㅇ 제발 아무데도 불펌하지 말아줘
아래 내용은 9월 11일 16시 기준이며 실시간 논쟁이 진행중인 사안인 만큼 사실관계가 밝혀짐에 따라 일부 해석이 바뀔 수 있음
1탄 요약
챗지피티:
세상 사람들아 개 쩌는 소식 있음 들어볼래?
우리가 천재 수학자들이 달려들어도 100년동안 못풀었던 수학계 7대 난제 나비에스톡스 방정식을 풀었음!!
지금 최신 모델인 아스트라보다 더 개쩌는 미공개 모델 1만개 넣어서 88시간만에 품ㅋㅋ
(참고로 현 최신모델 astra는 출시한지 일주일 됐고 압도적 성능으로 전례없는 수요를 만드는 중)
👥👥👥👥 웅성웅성
대중: 헐 대박 미쳤다 아스트라도 개지리는데 다음 모델은 대체 얼마나 지리는거야;
🧑🔬📐📊
수학자 트리스탄&레벤트:
야 이거 맞아? 우리가 1년 내내 연구하던 내용이랑 너무 비슷한 방향성인데?
심지어 우리는 1년 동안 모든 프로젝트를 챗지피티에 올려서 계산했었는데?
아 ㅎㅎ 우리가 어떤 소문을 듣고 연구에 착수했는데, 그게 나중에 알고 보니 너네들이 나비에스톡스 방정식 분야에서 중대한 진척을 이루었다는 소문이더라고. 그리고 증명의 방향성도 너네랑은 다름. 너네는 오일러 쪽임.
🧑🔬📐📊
트리스탄&레벤트:
아니 쌰갈 나비에 스톡스 방정식 접근법이 얼마나 많은데? Smooth external forcing으로 문제의 C/D를 공략하는 접근 방식을 파던 사람이 거의 우리뿐인데
그게 너네모델한테 '나비에스톡스 풀어봐' 했을 때 자연스럽게 도달할 방향이 맞음?
너네 발표직전에 나랑 통화했을 때 공동 크레딧 제안하고, 거절하니까 협박성으로 들릴법한 발언한 것도 있잖아??
방향성은 너네랑 같아도 우린 A/B/C/D 버전을 다른 에이전트들한테 던졌고 여러 그룹 아이디어를 cross-pollination한거임;;
그리고 우린 절대 너네 개인적 연구 내용을 보지 않음
🧑🔬📐📊
트리스탄&레벤트:
이쪽은 미개척 연구분야라서 만약 그 모델이 뭘 참고했다면 우리 미공개 연구내용일 거 아냐?
그럼 우리 대화 내용이 너네가 쓴 차세대 모델 '훈련'에 사용되지 않았다고 확신함?
(묵묵부답)
이후 OpenAI 공식 입장:
트리스탄과 레벤트의 대단한 업적을 정말 축하합니다. 우린 특정 소문을 계기로 신모델의 성능이 얼마나 대단한지 확인하고싶어서 이 연구에 착수했는데, 당시엔 몰랐으나 그 소문이 그 두 수학자의 업적에 관한 내용이더라고요.
우리는 절대 개인 세션을 훔쳐보지 않습니다. 다만 두 사용자들의 세션에서 나온 익명화 데이터가 모델개선에 사용되지 않았다고 단정할 순 없습니다.
여기까지가 9월 8일~9일 이틀 만에 일어난 일이었음
여기까지 담은 1편은 여기로
https://m.cafe.daum.net/subdued20club/ReHf/5736289?svc=cafeapp
하루이틀로 끝날 이야기는 아닐 줄 알았지만
그 뒷이야기가 흥미진진해져가고 있어서 새 글로 가져옴
1. 트리스탄 벅마스터 - 세바스티엔 뷔벡의 통화 내용
9/9일 트위터를 난리나게 했지만, 내가 중립적으로 작성하기 위해 1편에 담지 않았던 내용임
세바스티안 뷔벡은 챗지피티의 모체 Open AI의 테크니컬 스태프이자 OAI 내 수학 연구 프로그램에서 핵심적인 역할을 맡고 있음
트리스탄이 밝힌 통화 내용 재구성. 트리스탄측 입장임.
(첫통화 상대는 OAI 수학자라고 했지 뷔벡인지는 불명)
📞 여보세요 챗지피티수학자입니다 님누구셈
📞 ㅎㅇ 전 트리스탄이라는 수학자입니다 우리 연구 진척에 관한 정보를 들으셨다면서요? 흠,,,,,, 너네 혹시 그거 연구할거임?
오해하지마셈 난 앤스로픽(클로드회사)에 협력하는게 아님
우리가 뭘 하고 잇는지 대충 설명설명~
이 프로젝트는 앤스로픽 프로젝트가 아니라 거기서 일하는 레벤트라는 내 칭긔랑 나의 개인적인 수학 연구임
아 글쿤요ㅎㅎ 경쟁하고 싶지 않으니까 세부 내용을 좀 알려주실? 저희 챗지피티 모델을 활용해 수학자들이 진전을 이루는 건 좋은 일이죠 (훈훈) 컴퓨팅 자원 필요하시면 우리한테 지원받으실? (몹시 훈훈)
~3일 후~
안녕하세요 트리스탄씨 뷔벡입니다
알려줄 게 있음 우리가 나비에스톡스 문제에 상당한 진척을 이뤘다는 사실을 알려드림
(엥? 경쟁하지말자매) 예? 어떤방식으로요
smooth external forcing이라고요
(??????) 아니 이게 말이 되나요 그게 우리가 1년째 파고있던 forced-blowup 방향인데
헐 우린 너네가 이미 풀었을줄??
흠,,, 그럼 우리가 방안을 제시하겠음 골라봐
1번 레벤트랑 니가 먼저 너네 오일러쪽 결과 발표하면 그 담날에 우리가 나비에스톡스 풀었단거 발표하겠음
방정식은 우리 쁨벙이가 풀었지만 너네의 우선권을 ㅇㅈ한다는 공동발표허쉴?
2번 너네가 발표하고 너 혼자만 나비에스톡스 증명 논문 작성하셈
대신 그 논문에 "챗지피티 모델이 나비에스톡스를 해결했슴니다" 라고 밝히셈
아,,, 씁 레벤트가 앤스로픽(경쟁사) 소속이 아니었음 훨 간단했을텐데 이를 어쩐담 x2
아니 시발 말이 되나요???????
우리 소문듣고 우리가 연구하던 방향성으로 ai 물량공세로 풀어냈다는 것도 허탈한데
저랑 레벤트랑 일년 내내 협업하면서 풀었는데 어떻게 쏙 버림? 사람이 의리가 있지 그렇게는 안돼
둘 다 거절할게요
너네가 이런 방식으로 발표하면 난 지금까지 있었던 일을 세상에 공개할 거임
왜 당신 커리어를 스스로 망치려 하는 거죠? (Why would you ruin your career?)
전 학자인데 사실관계를 밝히는 것이 왜 제 경력을 망치는 일이 되는 겁니까?
제가 좋게 대해주길 원하지 않는다면 저도 당신을 굳이 좋게 대해줄 이유가 없죠. (If you don't want me to be nice, then I don't have to be nice.)
...여기까지가 트리스탄측이 OAI에 경고했던 대로 9월 9일에 밝힌,
9월 3일과 6일에 받은 OAI와의 연락과 갈등 내용이었어.
여기에 뷔벡은 새로운 반론문을 내.
(;;;) 처음에는 벅마스터 팀이 나비에스톡스를 당연히 해결했을거라 생각했습니다. 근데 통화해보니까 오일러까지만 해결했더라고요.
그래서 우리 모델 업적을 어케 발표할지 고민하다가 그중 하나가 트리스탄을 논문 리드저자로 올리는 것이었습니다.
그 상황에서 제가 '레벤트가 앤스로픽소속 아니었음 일이 간단했을텐데' 라고 한 건 맞습니다.
하지만 그게 트리스탄이 받아들인거처럼 레벤트를 업적에서 빼라는 얘기가 아니었음. 경쟁사 직원이 저희 모델이 만든 나비에스톡스 증명 저자가 되는 건 이해충돌 문제가 있다는 것 뿐이죠.
그리고 제가 '왜 스스로 커리어를 망치려 하는 겁니까' 했던 것도 맞는데요, 그 자리에서 바로 그 표현을 철회했어요.
끔찍하게 잘못된 표현이었고 사과했죠.
지피티 수장 샘 알트만도 자신들은 조율하려 시도했고 발표를 미루고 기다렸는데, 벅마스터가 표절에 대한 근거없는 비난으로 위협한다면서 뷔벡에게 힘을 실어주고 있어.
개인적인 의견으로는,
만약 OAI의 업적이 정말 벅마스터 팀으로부터 온전히 자유로웠다면
굳이 트리스탄에게 밀레니엄 난제 해결의 영광을 넘기고 논문 주저자를 제안하며 공동발표 협상을 시도하지도 않았을 거라 생각함.
2. 새로운 국면: 벅마스터 팀만의 문제가 아니다??
내가 새 글을 파게 된 이유임
20시간 전 The Verge의 기사를 계기로 새로 불타기 시작한 따끈따끈한 화두임
안드레아스 톰이라는 수학자가 새로 등장함
"Open AI가 지난 달 대대적으로 발표한 10가지 수학 성과 중 하나인 Non-Sofic Group은,
이번 벅마스터 사태와 비슷하게 나랑 내 동료가 챗지피티와 나눈 상호작용이 기여했을 수 있다"
비-소픽 군이란 아주 단순히 설명하면 유한한 구조들로 근사할 수 없는 무한한 수학적 구조를 의미함.
이 남자는 벅마스터 사태를 보고 자신과 동료의 챗봇 대화 내용을 다시 돌아보았다고 함
톰은 '(아마 그들이 면피성 표현을 사용하는 행위가) 비윤리적이고 부정직하다' 라는 강한 표현까지 사용함.
OAI: ;;;;
실제로 당시 OAI는 해당 결과가 톰과 가보르 쿤이라는 연구자의 선행연구에 상당부분 의존했다는 사실을 인정했어.
Non-Sofic Group에 관한 결과를 발표했을 때 톰과 쿤의 기여를 인정하지 않았다는 이유로 수학계에서 광범위한 비판을 받았고, 별다른 발표 없이 설명문을 수정했었지.
이 상황에서 벅마스터로 세간이 떠들썩해졌을 때 톰이 더 자세히 입을 연 거야.
"내가 놀랐던 것은 당시 대중적이지도, 유망하지도 않았던 우리의 기법을 OpenAI가 놀라울 정도로 구체적으로 숙지하고 있었다는 점이다."
"우린 뷔벡에게 이메일을 보내 내가 챗 지피티와 나눈 상호작용이 학습 데이터의 일부였는지, 혹은 모델의 추론 과정에서 접근 가능한 정보였는지를 물었다."
=내 챗지피티 이용이 OAI의 수학적 업적에 기여했을 수 있는가?
오픈AI는 여기에서 벅마스터에게 말한 것과 똑같이 답변했어.
"우린 유저의 대화 세션에 접근하지 않습니다"
하지만 역시 더 중요한 문제는 다른 곳에 있지. 그 대화가 OAI가 모델을 개선하기 위해 사용하는 막대한 규모의 학습 데이터 풀에 포함되었을 수 있는지 여부 말이야.
톰은 이 답변 자체가 교묘히 논점을 피해감으로써 본질을 흐렸음을 지적해.
따라서 톰은, OAI가 앞으로 이런 일이 일어나지 않았다고 부인하려면, 필요 데이터셋을 공개하고 회사가 데이터를 어떻게 사용하는지를 규정하는 명확한 설명이 필요하며, 입증 책임 역시 OAI 측에 있다고 말했어.
The Verge 에 수학자들은 공통된 우려를 전달했어.
“내가 큰 돌파구에 가까워졌다는 소문만 퍼져도, 영광을 차지하고 싶어 하는 막대한 자원을 가진 거대 기술기업과 경쟁해야 할 수 있다” 고 생각하게 된다면,
학계는 훨씬 더 폐쇄적이고 비밀스러운 방향으로 돌아갈 수 있게 된다는 거야.
3. 재귀적 선순환의 관점
전 OAI 핵심 연구자이자 o시리즈 모델 개발에 참여한 트래핏 반살이라는 사람이 이렇게 트윗했어.
이 모든 경로는 결국 인류발전을 위한 선순환이라는 거지.
물론 거시적으로 옳은 말이고, 앞으로는 모든 분야가 그렇게 될 거야.
연구물과 저작물의 권리가 불투명해지는 것과 별개로
AI는 확실히 수학, 코딩, 과학, 사무, 예술 분야에서 가장 유능한 인간들과 경쟁하거나 앞서기 시작한 게 분명해.
수행능력도, 효율성도 앞으로 더 발전하기만 할 테지
다만 인간과 ai간의 재귀적 자기개선이 이루어지려면
모든 연구와 창작활동 공여자를 보호하기 위한 충분한 논의, 합의, 투명성을 위한 규제가 반드시 선행되어야 한다고 봐.
이건 ai의 성과를 막는 장애물이 아니라 학계발전을 위한 초석이야
학자들이 언론사를 통해 언급했듯, 누군가가 인류역사에 위대한 업적을 남기기 직전의 돌파구에 서있을때,
ai 사기업이 타임어택으로 돈과 자원을 부어 그걸 얼마든지 가로채버릴 수 있다면?
누구도 자신의 연구 방향성을 공개하고 학제적 협업을 지향하려 들지 않을 거야. 인류역사는 협력과 소통의 가치 위에서 발전해왔는데 말이지.
AI 업계는 이 상황을 과도기로 보고 있는 듯 해.
인류가 AI와 함께 발전하는 것은 이제 자연스러운 흐름이지만
만일 미개척분야를 비공개로 연구하던 학자 두어명의 결정적 아이디어를 ai가 학습하고,
비식별화 과정을 거쳐 이름표를 뗀 뒤 위대한 성과로 발전시켜버린다면 개인연구자의 무수한 시간과 노력, 자신의 연구물에 주어진 권리는 어디로 가는 걸까?
더 중요한 문제는 ai가 학자들의 노력으로부터 독립적임을 증명하는 게 어려운 만큼
학자들이 모델 뒤에서 얼마나, 어떻게 기여했는지를 증빙할 마땅한 방법도 없다는 거야.
여기까지가 9월 11일 기준으로 내가 조사한 내용과 그걸 바탕으로 한 개인적 의견이야.
나는 글로벌한 날것의 토론을 보고 싶을 때 Reddit을 자주 보는데 '가속주의' '특이점'파 등 친AI측, 중립측, 수학계측 이야기가 다양해서 재밌더라고.
이런 잡다한 이야기를 더 추가하고 싶었는데, 글이 너무 길어질 것 같아서 다음에...
마지막으로:
OpenAI의 나비에스톡스 증명 자체가 성공적이었다? 아니다 이건 개념적 사기극이다? 라는
수학계의 시끄러운 토론과 이 논란은 별개의 문제야.
현재 증명은 Lean formalization까지 공개되어 있고 학계 검증이 진행 중이야
그래서 OAI가 비윤리적이니까 증명이 신뢰도를 잃는것도 아니고, 증명이 진짜니까 연구윤리 문제가 없는 것도 아냐.
사이언스뉴스에 따르면 증명에 대한 초기 반응은 OAI의 허위 PR이라기보단 핵심 문제에 대한 엄청난 결과라는쪽으로 긍정적이야.
오히려 증명이 진짜라면 크레딧 문제가 더 중요해질거야.
이제 AI 기업들이 그럴 의지만 있다면,
실제로 인류역사상 가장 중요한 문제들을 직접 증명할 수 있는 시대가 왔다는 뜻이니까.
난 머지않아 AI가 가장 중요한 자본이 될 거라고 확신해.
문제는 이 AI가 어디까지, 어떤 방향으로 얼마나 빠르게 발전할지 그걸 개발하는 사람들도 짐작하지 못한다는 거야.
ASI(초인공지능)에 관한 글을 읽은 적 있다면 알겠지만, 만일 ASI가 등장한다면 ASI와 인간의 격차는 인간과 개미의 격차만큼 벌어질지도 모른다고들 해. 인간이 와이파이 공유기를 만드는 원리를 개미에게 가르쳐도 개미가 그걸 이해할 수 있을까? 아이러니하게도 이걸 개발한 인류가 상대적으로 멍청해서 AI의 고차원적인 사고를 이해할 수 없게 되는 거지.
개발자도, 유저도 마찬가지야. AI가 재귀적 학습 사이클을 시작하고, 제어불가한 방향으로 발전하고 있대도 우린 그걸 알아차리지 못할 수도 있겠지.
톰이 The Verge 기사를 통해 주장하는 내용은 이래.
“오픈AI가 말하는 de-identified data(학습용 익명화 데이터)의 ’익명화‘는 연구자의 이름만을 제거하고, 거기 담긴 수학적 아이디어를 제거하지는 않는다“
AI의 가속과 이 논쟁은 어디까지 이어질까?
그리고 윤리적 회색지대에 서 있는 건 과연 AI 자체일까, 아니면 AI를 일종의 권력으로 사용할 수 있는 인간들일까?
댓글
댓글 리스트-
작성자알료올료2 작성시간 26.09.13 1탄까지가서 보고앗다.... 와...
-
작성자IVE장원영 작성시간 26.09.14 와 너무 잘봤어 진짜 흥미롭고 찾아봐도 내용들이 머리가 좀 아팠었는데 이해가 쏙쏙된다 이 내용 쓰느라 여시 진짜 고생많았겠다.. 덕분에 정말 잘 보고가
-
작성자야내가뭐하는사람인지까먹었지 작성시간 26.09.18 고마워
-
작성자무조건 잘 됨 작성시간 26.09.18 글 잘 읽고 가
어후 진짜..앞으로 미래 어떻게 될지 머리가 지끈지끈함. 지금도 이렇게 문제가 많은데.. -
작성자유리아 작성시간 14:33 new
고마워
