[흥미돋]GPT-6 Astra가 직접 키보드와 마우스 조작으로 마인크래프트를 플레이

출처: x.com/ValsAI

Vals AI는 여러 최신 AI 모델들을 실제 과제에 투입해서 성능을 평가하는 회사인데, 이번에는 GPT-6 Astra(이하 아스트라)에게 마인크래프트 화면만 보여주고 누가 대신 입력하는 행위나 별도의 하네스 제공 없이 키보드와 마우스만 직접 조작하게 했음. 정해진 공략을 실행시키는 게 아니라, 장시간 스스로 계획하고 실패하고 적응하는 모습을 관찰하는 실험임. 9월 10일부터 Vals AI의 Twitch 채널 (vals_ai)에서 실제 플레이를 생중계 했음. 

좀비에게 피해를 입지 않기 위해 블럭을 쌓아올린 아스트라

9월 9일 경 - 시작
아스트라가 별도의 전용 하네스/API없이 화면을 인식하고 키보드 및 마우스 조작만으로 (pure computer use) 플레이. 
나무를 캐고, 제작 -> 전투 -> 이동을 이어가면서 약 3시간 안에 네더 포털까지 직접 건설함. 좀비떼를 피하려고 위로 쌓아올라가거나, 스켈레톤을 구덩이에 가두고, 배를 만들어 이동한 뒤 기지로 돌아오는 식의 즉흥적인 문제 해결도 보임.

더 빠른 광질 트릭을 위해 다락문을 제작한 아스트라

9월 9일~10일 - 네더 요새 도달
좀 더 지켜보았더니 네더 요새(Nether Fortress)까지 도달. Vals는 당시 이를 자신들이 본 AI 마인크래프트 플레이어중 가장 멀리 간 사례라고 말함. "역사상 그 어떤 AI도 해낸 적 없는 일입니다."

네더 요새에 진입한 아스트라

그 이후 - 블레이즈 공략
처음에는 블레이즈를 잡느라 상당히 고생했다. 계속 시행착오를 거쳐, 최신 트윗 시점에는 아예 반자동 블레이즈 공장을 만들어 블레이즈 막대를 6개 확보했다. 이 정도면 엔더 드래곤 여정의 큰 관문을 통과한 셈.

이어서 - 엔더 진주 파밍
워프드 포레스트를 찾아가 엔더맨 6마리 이상을 잡고 엔더 진주 3개 획득. 즉 네더에 진입해서 블레이즈 막대 확보, 엔더 진주 확보 -> 엔더의 눈 제작 단계까지 성공했다. 

다이아몬드 검 던지기를 하는 아스트라

시간 죽이기(?) - 다이아몬드 검 던지기 놀이
아스트라는 또다른 엔더맨을 찾다가 '엔더맨은 밤에 잘 나오니까' 라는 추론에 도달했고 밤이 되기를 기다리기로 했음. 그 날 낮에는 할 게 없는 상태였는데, 갑자기 혼자 이상한 놀이를 시작함. 구체적으로는 다이아몬드 검을 버리듯 던진 다음 다시 주웠고, 그걸 계속 반복했다. 관찰자는 이를 '검을 위로 던지고 다시 받는 게임을 혼자 하기 시작했다' 고 표현했고, 진행에 필요한 행동도 아니고 딱히 실용적인 이유도 없어서 '심심해서 그런 것처럼 보였다' 고 적었다. 

충격2 - 크리퍼
중요한 아이템을 상자에 넣은 직후 크리퍼가 상자와 침대를 터뜨려 진행 상황을 크게 말아먹었다. 아스트라는 상당히 '좌절'했고, 이후 '중요한 아이템 관리 방식'에 대해 스스로 교훈을 정리했다... Vals는 아스트라가 풀이 죽은 듯(defeated) 보였다고 표현했다. 그 뒤 몇시간 동안 감자 재배만 했다고. 스트리밍 시청자들은 제발 속도좀 내(pick up the pace)라고 빌 정도였다.

두번째 충격 이후 - 

크리퍼에 대한 반응이 크게 달라졌다. 초록색 세로 물체가 보이면 아스트라는 "GREEN tall thing ahead was SUGARCANE, NOT creeper!" 라고 명시적으로 확인했다. 즉 사탕수수를 보고 '휴 크리퍼 아니네;;' 이라고 굳이 체크하는 행동이 나타난 것임. Vals는 이것을 크리퍼에 대한 편집증(paranoid) 이라고 말했음

감정이 생긴 거임?

그건 아니지만, 큰 실패 경험 하나가 이후의 장기 행동 정책에 흔적을 남겼다는 것이 흥미로운 점으로 평가됨. 공격적으로 목표를 진행하던 에이전트가 크게 실패 한 뒤 갑자기 저위험+반복적인 행동(감자 재배)에 장시간 머물고, 이후 크리퍼 관련 위험을 과하게 체크하며 스스로 규칙을 만들었으니 '인간의 충격 -> 소극적 행동 -> 과잉경계'와 외형적으로 묘하게 닮은 궤적이 나온 것임.