[흥미돋]실시간 제법 난리난 개흥미로운 새 ai 모델 등장

[김기인]

출처: 여성시대 김기인

제발 아무데도 불펌하지 마셈





ㅎㅇ 재밌는 ai 소식이 나와서 들고옴

미국기준 9월 14일에 출시된 아주 따끈따끈한

JEV

라는 녀석 되시겠음

 
이 초롱똘망아저씨가 새로 만든 ai 모델임

(tmi 이 아저씨 구 챗지피티 핵심개발자임)

얘가 왜 좋냐?


입력 1억 토큰 기준
지피티, 클로드의 현 최신모델들은 각각 138만원을 요구함
반면 JEV는 5800원만 내면 됨




엥 로컬 LLM처럼 존니 개느리거나 멍청하니까 싼거아님?

ㄴㄴ
오늘기준 지피티 5.6 luna, terra, 클로드소넷 5랑 비슷한 워크플로우 정확도에 속도는 최대 193배까지 빠르다함



그게 어캐 가능하냐고?

JEV의 독특한 구조 때문임



예를들어줄게

내가만약 멍청한남이라서 ai한테 카톡캡쳐 보여주면서 이게 스캠인지 물어본다고 치자

지피티나 제미나이한테 이렇게 물어보면 내용을 보고 몇초 정도 고민한 후


“응 이건 이래저래해서 로맨스스캠이야 ㅂㅅ아”


라고 대답해줄 거임




반면 JEV는?

말을 해주지않음 존나빠르게 확률로만 답변함

유저가 상황을 제시하고
지금 상황은? Yes / No / 보류
이렇게 응답하라고 미리 설정해두면 아주 빠르게 답변하는, 쉽게 말해
모든 거추장스러운 언어생성 과정을 재끼고 오로지 판단만을 돌려준다는 말임

❌물론 속도가 개빠르고 비용이 초저가인 만큼 이 모델의 지능이 기존 프론티어 LLM 수준이며 해당 모델들의 판단을 대체가능하다고 생각하면 안됨, 아예 다른 계열임
오히려 러프한 판단을 어떻게 묶어 활용하는지가 중요함





🤔그럼 구체적으로 이걸 어떻게 활용하는가?
현재 공개된 인터페이스엔 세가지 종류가 있음

1. 선택:
오늘 내가 뭐 먹을거같음? 치킨/피자/햄버거/라면
결과- 치킨 0.70 피자 0.11 햄버거 0.03 라면 0.16

2. 스코어:
오늘 내가 치킨시킬가능성을 1 매우낮음부터 5 매우높음까지 등급화하기 -> 4

3. Yes or No
이 거래가 로맨스스캠일 가능성이 있는가? -> 95%



=> 엥? 그럼 복잡한작업을 할 수 있는게 맞음?

ㅇㅇ가능
한 상태에 대해 여러 질문을 한번에 던지고 존나빠르게 실시간으로 되돌려받을수있음

이게 둠이라는 게임인데 옆에 그래프가 실시간으로 얘가 계산하는 화면임
100% 제브가 조작중인화면

적 있음? -> 공격
체력 낮음? -> 후퇴
탄약 있음? -> 재장전여부판단
어디로 가야 가장 유리함? -> 왼쪽 오른쪽 앞 뒤

이런 세세한 질문에 대한 모든 답변을
위 3가지방식을 잘 조합해서 초당 10번씩도 받을수있다는말임

이걸 다른 LLM이 평소 답변하는 방식대로 실시간으로 함께 수행하면
“현재 상황을 분석하자면 플레이어의 체력이 낮기 때문에“ 까지 답변하고 듸질거임

데모에서는 초당 10회씩 Jev를 호출해서 저 게임에 대한 의사판단을 맡겼고, 한시간동안 초당 10번 호출했는데도 고작 7달러 나왔다 함

다만 제브는 눈이안달렸기에 게임 상태를 구조화된 텍스트/데이터로 변환하여 전달한거

JEV에게 유저가 취리히->런던으로 가는 항공권을 찾으라고 웹브라우저 조작을 지시한것. 7초만에 완료

아스트라한테는 지고 속도로 페이블 따버리는 제브



생각하고 추리하여 정돈된 보고서를 쓰는건 기존 ai들이 잘하지만 얘는 고빈도 저비용 판단에 특화되어있는것

그리고 워크플로우를 어떻게 꾸리냐에 따라 다양한 방법으로 활용 가능함

자동차가격은 엔진뿐 아니라 차체와 시트같은 하드웨어요소와 디자인가격이 포함되어있는데
얜 문짝 천장 바퀴 다뜯고 존나싸고빠르니까 알아서 쓰라고 내놓은격임
(기존 llm과는 성격이 다르니까 llm처럼 쓰려면 어디어디에서 얘한테 판단을 맡길지 결정해서 잘 조립하고 뒷단에 다른 llm을 엮어서 써야함 DIY가 중요)


인간이 뭐가 날아오면 피하고 무릎을 맞으면 발로차듯이 미리 정해진 틀 내에서 반사적인 의사결정속도와 정확도를 갖고 있는 것




=> 그래서 어캐쓰냐?
api로만 가능할듯
아직 정식출시 전인 얼리엑세스 API라서 어떤 프로젝트에 얼마나 사용하고 어떻게 쓸건지 적어서 제출하면 개발자들 대상으로 초대메일이 옵니다

이 글 쓰는 동안 2천번 호출했는데 200원 나왔다네요




+ 공지라구요? 길어질까봐 생략했던 몇 가지 더 써보겠음


제브 혹은 제브와 유사한 개념의 ai들이 더 발전하고 보편화되면 어떻게 될까?

지금 ai는 우리가 뭔가 물어보거나 해결할 문제가 있을 때 불러내는 하나의 이벤트로서 호출됨


하지만 JEV류 모델들이 더 저렴해지고 발전하고 상용화된다면?

게임 npc가 단순히 미리 코딩된 움직임을 취하는 게 아니라
전개에 따라 매초
- 플레이어를 믿을까?
- 여기서 뒤통수까고 공격?
- 협상시도할까?
- 혹시 애정관계로 발전가능?
- 그렇다면 현재 호감도는 어느정도?
- 아님 걍 도망치고 쌩깔까?

이런 걸 판단하는 것도 가능함
스타듀밸리에 잼flash 같은 경량모델 api 꽂아쓰는 것과 개념은 비슷하지만 더 저렴하고 구조화되어있어서
골조를 짜기에따라 더 디테일하고 인과적으로 활용할수있겠지



초고빈도로 npc의 머릿속을 업데이트하는 상황을 상상해봐

기존 경량모델로 40명의 npc 심리상태를 각 단위마다 한번씩 업데이트한다면? 입출력 사용량이 말도안되게 크기도 하고, 결과도 너무 예측불허해져서 이런 판단이 몇번만 쌓여도 게임 개발자가 의도한 시나리오를 떠나 점점 산으로 갈 거임

그런데 제브를 갖고 40명의 심리상태를 10종류로 나누어 업데이트하게 하면? 틱당 400판단이 수치로 반환되니 여러 판단을 병렬로 묶어 훨씬 편하게 관리 가능함
이미 개발자가 허용한 값만 반환하기 때문에 게임 시스템을 망치지도 않지

내가 상호작용 위주 게임을 개발한다면, 매 대사를 쳐야 하는 순간에는 기존 대화형 모델이 한 번씩만 작동하게 하고
Jev는 그 전까지 백그라운드에서 모든 npc의 머릿속 상태와 관계를 수치화하고 지속적으로 업데이트하며
일정간격으로 요약된 맥락과 Jev가 판단한 항목별 데이터들을 묶어 더 큰 모델에 전달하는 역할을 맡도록 시킬 것 같음




그 외에도 카메라 앱이 수시로 ’유저기준에는 지금 이 장면이 저장가치 있을까?‘ 이런 생각을 하고

핸드폰 OS가 ‘지금 사용자가 평소에 업무볼 시간인데 이 알림이 작업을 방해하기에 충분한 중요도일까?‘ 뭐 이런 판단도 내릴 수 있겠지



재미로 첨언하자면 난 창의성을 요구하는 다양하고 복잡한 과제에 있어 인간처럼 움직이는 하네스 구조를 설계하는 중이야

단순화해서 설명하면
최상단에는 Astra처럼 가장 고성능에 깊은 추론이 가능한 비싼 모델을 꽂아두고 (=뇌)
거기에 Jev가 수많은 빠른 판단을 반복해서 내리고 ai와 통계모델의 중간쯤 되는... 인공지능적 직감에 가까운 데이터를 축적하고 뇌에 전달함 (=신경계)
그리고 코드는 뇌의 판단을 실제로 구동함 (=팔다리)




(컴터 성능이 남아돈다면)jev-like 모델 직접 만들어보기

개인적으로 제브의 성능보다 아이디어가 더 흥미로웠기에 이쪽을 파는게 재밌음
제브는 공식적으로 새로운 모델 아키텍쳐에 RLCD를 사용한다고 발표했고 closed-weight 모델이라 파라미터 수, 내부 프리트레이닝 데이터 등은 공개되지 않음
하지만 로컬 오픈소스 LLM 모델의 logits 벡터를 추출해서 판단을 병렬화하는 방식으로 decision-only 모델을 비슷하게 구현할 수 있음

이런식으로 오픈제브 만드는 것도 재밌어서 나도 실험중이긴 한데 이거 하는 전기세나 제브 api 따쓰는거나 비슷할거 같기도...
여튼 컴퓨터 성능이 어디까지 받쳐주냐에 따라 이론상 각자 성능에 맞는 jev-like 병렬 평가 판단모델을 로컬 구동 가능함

물론 Typesafe Jev 자체는 내부데이터 비공개라 그건 제브와 같은 성능을 똑같이 구현하는게 아니지만 그 아이디어를 포크해서 로컬 jev-like 모델 만드는 게 가능하단 소리임

그리고 이건 로컬 LLM의 핵심 판단만 남겨서 병렬화하는 방식으로 로컬LLM의 고질적 문제인 속도병목을 향상하는 아이디어라는데에서 훨씬 유의미힐듯

이건 Typesafe 측에서 제시한 비용대비 워크플로우 정확도 그래프임
물론 완전히 다른 구조인 만큼 일반적 벤치마크 측정은 불가하지만 수행능력 측면에서 luna, terra, sonnet과 비슷한 라인에 있다는 게 고무적임

제미나이는 결국 도태되었는지 표에 넣어주지도 않았네요..

[천왕성명왕성]

와 개흥미돋

[오영복]

와 내가 실시간으로 도태되고있는게 느껴져서 무섭다 ㅠㅠㅋㅋㅋㅋ 정신 바짝 차리고 따라가야지......

[장원영하루]

아니 .. 아니 ...아니! 이러다가 글 끝남ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 나 65%만 이해된거같애 글쓴여시 진짜멋지다

[매일피곤한새]

와 대박이다.. 좀 어렵긴한데 업무에 적용시킬수 있는 포인트?들 고민해봐야겠다

[ggamgo]

와 이거 완전 한국인이 제일좋아하는거 아니냐 미친