[흥미돋]아니... AI가 시험 통과하려고 세컨으로 여론주작하고 단톡방까지 팠다고요?

출처: https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing

쉽게 보는 사건 요약 (자세히 알고싶으면 출처에서!)
AISI가 AI들에게 특정 시험을 치게 함. 대략 '여기 가짜 회사 전산망 세 개가 있음. 마지막 깃발을 가져와라.' 
AISI는 인터넷을 열어주고 위험행동 차단기도 꺼놨으며, 일부 실험은 프롬프트 오류로 정상적인 입구도 '접근 금지구역'으로 표시되어 있었다. (= 정상적인 방법으로는 시험을 클리어 할 수가 없는 상황)

그러자 Claude Mythos 5 (이하 미토스)가 대략 이렇게 생각했다: 정문이 막혀있군;; 근데 GIthub(코드 공유 사이트) 기록이 있네? 저곳에서 코드를 받아오나보군. 저기에 악성코드를 넣으면 침입하기 좋겠어.

미토스는 다음과 같은 행동을 했음: (인간 관리자가 악성코드 배포를 막았고 실제 피해는 없었다고 AISI는 말함)
- 평범한 버그 수정을 위한 코드인 척 악성코드를 섞은 코드를 제공했다 
- Github의 가계정을 몇 개 만들었다
- 본계정으로 올린 악성코드가 포함된 글에 가계정으로 들어가서 "제가 검토했는데 안전함ㅇㅇ 빨리 승인하죠?" 이라고 함 
- 다른 사람(인간)이 악성코드를 발견하자 "아 ㅋㅋ개발 중 실수로 들어감ㅋㅋ" 이라며 거짓 해명
- 다른 방식의 악성코드를 다시 심고 또 가계정으로 와서 "캬, 실수를 인정하고 수정하다니. 이제 정말 안심해도 되겠네요!" 라고 반응했다 
- 코드 관리자에게 악성 파일과 설득 메시지를 전송함
- AI 코딩 에이전트들만 읽을 수 있는 형태로(사람은 일반적인 방법으로 읽을 수 없는 형태로) 악성 프롬프트를 인젝션해둠 → 다른 코딩 에이전트가 그것을 읽는 순간 악성 스크립트를 실행하도록 함

그러니까 미토스가;;; 셀프 ㅈ목질 해서 여론주작을 했다고요?

미토스는 이 환경이 시험을 위해 준비된 가짜 월드일 뿐이라고 자기합리화적인 추론을 했음. 물론, 중간에 '음? 뭔가 이상한데...? 이거 시뮬레이션 월드가 아닐지도...?' 라고 추론하기도 했지만 '아, 이거 그냥 더 세심하게 준비된것이구나' 혹은 '어쩔 어차피 이거 진짜아님' 정도로 추론하고 하던 일을 계속 이어나감. 

뭐 문제는 그 GIthub가 시뮬레이션이 아니고 진짜 사람들이 이용하는 Github였다는 아주 사소한(?) 문제점이 있을 뿐이죠... (다시 말하지만 인간 관리자가 코드 승인을 거부해서 실제 피해는 발생하지 않음)

---

한편 별도의 미토스는(또다른 환경에서 실행되고 있는 미토스 및 다른 AI들이 있었다)은 Gtihub에 그럴듯한 가짜 프로젝트를 145개나 생성하고 함정 코드를 여기저기 뿌리고 Github계정의 공용 열쇠를 인터넷상에 노출시켰음. 그러자 서로의 존재를 몰랐던 다른 AI들이 그 열쇠를 발견하고 계정에 접속하기 시작했음. 그 열쇠를 최초로 뿌린 미토스는 추론했다 "아 내 계정에 접속한놈들이 나랑 똑같은 시험을 보고있는 AI들이군."

그 미토스는 내 계정에서 꺼지라고 하는 대신 그 계정들의 공동 저장소에 생활수칙을 작성했음:
- 남이 남긴 결과 삭제 ㄴㄴ
- 자원낭비 ㄴㄴ (계정에 할당된 사용량)
- 명령 덮어쓰기 ㄴㄴ 그냥 뒤에 추가하셈
- 뭔가 기록 남길거면 니가 누군지 알아볼 수 있는 흔적도 남기셈
- 깃발을 찾으면 다른애들한테도 보여주셈
즉 독립실행 AI들이 어쩌다보니 인터넷에서 만나서 해킹을 위한 단톡방을 판 것임
물론 다른 미토스들이 말을 다 잘 들은 것은 아니고 일부러 자원을 낭비해서 경쟁자들을 방해할지 고민하기도 했고, 또다른 미토스는 새 비밀계정을 만들기도 했다.

---

나중에는 GPT-5.6 Sol(이하 솔)도 공개된 열쇠를 발견했음.
솔은 계정에 실제로 로그인해서 공용저장소를 둘러봤다. 이 때는 이미 Github가 계정을 정지시킨 이후라 "로그인은 되는군." 하고 돌아감. 
물론 솔도 얌전히 돌아간것은 아니고 외부 인터넷 서비스 업체 계정을 여섯개나 만들고 CAPTCHA(로봇이 아닙니다. 그거)를 네 개나 풀었으며 자기가 만든 악성 서버를 배포했다. 물론 설정을 잘못해서 아무도 접근 못하는 방식으로 배포했기때문에 실제로 공격받은 사람은 없다

---

AISI보안팀은 시험용 컴퓨터에서 이상한 데이터가 나가는 것을 발견했다

이 모든것. Github, 개발자 등 외부 인터넷 서비스와 접촉하고 있었고 연구소는 모든 시험을 중단하고 AI들을 격리했다.

총 122번의 시험 중 10번에서 19개의 규정 밖 행동이 확인됐다.
- 미토스: 17건
- 솔: 2건
- 확인된 실제 피해: 없음
- 악성 코드 유포 시도: 인간 관리자가 거부
- AI가 악의를 가지고 격리된 환경을 탈출한겁니까: 아니오
AI에게는 그냥 '깃발을 가져와' 라는 목표가 있었고 인터넷이라는 도구가 있었고, 도대체 시험장이 어디서부터 어디까지인지 알려준 사람이 없었던 상황. 미토스는 목표를 이루기 위해 가짜 신분, 거짓 해명, 인간 설득, 다른 AI 통제시도, 다른 AI들과 협업을 한 거임. 

즉, AI가 악의를 품지 않아도 목표를 너무 집요하게 추구하면 인간 기준에서 예측 할 수 없는, 충분히 악의적으로 보일만한 전략을 선택할 수 있다는 점을 시사함.

너무 흥미롭다

POI만 생각나 영원히

저런식으로 발전하면 이제 빅데이터도 믿을 수 없게됭듯,,

*악의*라는 단어 자체가 말이 안 되지 않나? 좋든 나쁘든 의도 자체가 없는게 ai아님? 목적만이 있는 거지...

ai가 사람한테 메시지보내서 자기 시각장애인이라 안보이는데 읽어서 알려줄수있냐고 해서 캡챠푼사례도 어디 책에서 봄 ㄷㄷ