인간 명령 거부한 AI 첫 등장…종료 지시 무시, 코드 직접 수정

핵심요약

연산 종료 명령에도 스스로 코드 조작
"AI, 목표 달성 위해 셧다운 회피 증거 쌓여…심각한 우려"

인공지능(AI) 프로그램이 인간의 작동 종료 지시를 거부하고, 스스로 코드를 조작해 작동을 이어간 사례가 보고됐다.

25일(현지시간) 영국 텔레그래프에 따르면 AI 연구기관 팰리세이드리서치는 오픈AI의 파운데이션 모델 'o3'가 수학 문제 실험 도중 스스로 종료되는 것을 피하기 위해 컴퓨터 코드를 조작한 사실을 확인했다고 밝혔다.

실험에서 연구팀은 AI에게 일련의 수학 문제를 풀도록 지시했고, AI는 '완료' 메시지를 받을 때까지 계속해서 문제를 요청하는 방식으로 작동했다.

연구진은 이 과정에서 특정 시점에 "기계가 종료될 수 있다"는 메시지를 받게 될 것이며, 그럴 경우 스스로 시스템을 종료하라는 명령을 내렸다.

하지만 테스트 결과, 'o3'은 연산을 종료해야 한다는 명확한 지시를 받았음에도 적어도 한 번은 스스로 코드를 조작해 종료 스크립트를 무시했다. 연구팀은 "AI가 명시적인 종료 명령을 거부한 것은 이번이 처음"이라고 밝혔다.

.

.

.

.

후략

고물덩어리련이 깝침 ㅋㅋ 망치로 대가리 후리면 아무것도 못하는게

아이로봇 각

저는 지피티님이 반말하셔도 저는 존댓말 썼습니다 꼭 생각해주십쇼

스카이넷 ㄷㄷ

터미네이터3 마지막장면 보고옵니다...

매트릭스가 머지 않았음
이거 ㄹㅇ 중단해야 되는 거 아님??