AI를 써본 분들은
ChatGPT의 메모리 기능이라는 걸 한 번쯤 들어보셨을 겁니다.
메모리 기능이 무엇이냐하면
AI랑 사람이 대화하다가 AI가 사용자를 더 이해하기 위해서 기억할 만한 것을
대화내역을 요약해서 메모장(.md파일)에 저장하는 자동 기억 저장과 불러오는 스킬 형태인데.
이 방식의 단점이 무엇이냐면 기억할 게 많아지면 많아질 수록
AI가 질문의도에 맞지 않게 헛소리를 할 때가 많아질 수 있다는 점입니다.
이걸 개선하는 방안이 시스템프롬포트와 온도 설정입니다.
로컬AI를 써보신 분들은 셋팅에서 이 부분을 한 번쯤 보신 분들이 많을 텐데
시스템 프롬포트는 우리가 회사에 가면 업무 인수인계서를 받고
그 바탕으로 업무를 수행하잖아요.
AI에게 업무 인수인계서를 미리 입력해놓는 것이라고 생각하시면 됩니다.
이 시스템 프롬포트를 어떻게 작성하느냐에 따라서
같은 성능 AI이라도 답변의 품질 편차가 크게 작용합니다.
실제로 저번달에 클로드에서
시스템 프폼포트가 잘못 적어놔서 클로드 4.6 오푸스가 성능이 3% 떨어져서
공식적으로 시스템 프롬포트 문제 인정하고 수정한 게 기사로 나왔었 정도입니다.
그래서 시스템 프롬포트를 작성하는 방법은
빠져나갈 수 없는 빈틈없이 업무지시를 해야 말을 잘 듣습니다.
조금이라도 빈틈을 주면 AI가 지시를 무시하고 넘어가기 때문입니다.
(작성하기 어려우면 지피티나 클로드에게 시스템프롬포트를 원하는데로 짜달라고 하면 됩니다.)
이 시스템 프롬포트가 업무 인수인계서이기도 하지만
맛집 레시피이기도 해서
제미나이나 지피티에서는 시스템프롬포트를 공개를 안해서
제미나이나 지피티 API로 끓어 사용해서 서비스를 이용하면
공홈에서 썼던 느낌이 그대로 안나오는 이유도
시스템프롬포트가 공홈에 있던 게 적용이 안되어서 그렇습니다.
근데 클로드는 공식 블로그에 시스템 프롬포트를 공개를 하는데.
https://platform.claude.com/docs/ko/release-notes/system-prompts
어차피 줘도 많은 사람들이 제대로 못쓸 걸 알고 공개한 거 같습니다.
그리고 온도인데요.
온도는 0~1까지 설정을 할 수 있는데.
온도는 쉽게 설명하면 MBTI의 S와 N성향을 설정하는 것이라고 생각하시면 됩니다.
온도 값이 낮을 수록 S성향이 강하고
온도 값이 높을 수록 N성향이 강합니다.
정확하고 팩트기반의 답변을 원하면 0.3~0.5 하시는 게 좋고
아이디어나 창의성 답변을 원하면 0.7~1.0으로 하시는 게 좋습니다.
이 두 가지 셋팅법에 대해서 알려드렸는데요.
이전 글 보러가기
1. 로컬AI를 왜 사용해야하는가?
https://cafe.daum.net/dotax/Elgq/4733950?svc=cafeapi
2. 로컬AI 최신 근황
https://cafe.daum.net/dotax/Elgq/4737663?svc=cafeapi
3. 요즘 AI 고 이용자들이 많이 활용하는 방법
https://cafe.daum.net/dotax/Elgq/4737816?svc=cafeapi
