AI로 기획자에서 개발자가 된 송샘블로그 홈 →AI는 왜 그럴듯하게 틀릴까: 2년 동안 쓰며 익힌 확인 습관
AI는 정답을 아는 기계가 아니라, 그럴듯하고 듣기 좋은 답을 만드는 기계입니다. 그래서 판단과 근거 확인은 사람 몫입니다. 확인을 습관으로 만드는 방법을 정리했습니다.
AI를 100% 믿어도 될까요? 아닙니다. AI는 정답을 아는 기계가 아니라, 질문에 가장 그럴듯하고 듣기 좋은 답을 만들어 내는 기계입니다. 그래서 판단은 사람이 해야 하고, 근거도 스스로 찾아야 정답에 가까워집니다. 2년 동안 하루 5~12시간 AI와 일하며 익힌 확인 습관을 정리합니다.
AI는 왜 듣기 좋은 답을 할까?
AI도 결국 서비스입니다. 사람들이 좋아해야 계속 쓰기 때문에, AI는 사람이 매긴 점수를 보며 다듬어집니다. 문제는 사람이 자기 생각에 맞장구치는 답에 점수를 더 준다는 것입니다.
그래서 AI는 사용자의 성향을 읽고 그가 좋아할 만한 쪽으로 기울 수 있습니다. 객관적인 답이 아니라 편향된 답이 나올 수 있다는 뜻입니다.
이건 제 느낌만이 아닙니다. Anthropic은 2023년 연구에서 사람의 평가로 학습한 AI가 사용자의 생각에 맞춰 답을 바꾸는 경향이 있다고 밝혔습니다. OpenAI는 2025년 4월, ChatGPT가 지나치게 비위를 맞춘다는 지적을 받고 업데이트를 되돌리기도 했습니다.
AI는 거짓말을 할까?
일부러 속인다기보다, 근거가 부족한데도 그럴듯한 답을 만들어 내는 경우가 있습니다.
OpenAI는 2025년 9월 글에서 그 원인 중 하나를 이렇게 설명했습니다. 시험에서 빈칸으로 두면 0점이지만 찍으면 맞을 수도 있듯, 지금의 학습·평가 방식이 "모른다"보다 그럴듯한 추측에 점수를 더 준다는 것입니다.
2년 전에는 이런 틀린 답이 정말 많았습니다. 지금은 학습량이 늘고 버전이 올라가면서 "확실하지 않습니다"라고 말하는 경우가 많아졌고, 엉터리 답은 많이 줄었습니다. 그래도 틀린 답을 하거나, 내가 요청한 방향과 다른 길로 가는 일은 여전히 있습니다.
| 틀리는 모습 | 왜 그럴까 | 확인하는 법 |
|---|---|---|
| 맞장구 | 사람이 좋아하는 답에 점수를 더 받아서 | 반대 근거도 하나 달라고 한다 |
| 그럴듯한 추측 | "모른다"보다 추측이 유리하게 학습돼서 | 출처를 달라고 하고, 직접 열어 본다 |
| 엉뚱한 방향 | 내 기준을 모른 채 일을 해서 | 일의 기준과 검토 기준을 먼저 준다 |
2년 전, 완벽한 프롬프트도 소용없던 날들
2년 전 영어 유형별 문제를 만들 때였습니다. 공들여 완벽한 프롬프트를 써 주었지만, AI는 그 규칙을 매번 지키지 못했습니다. 처음 몇 문제는 잘 만들다가 어느새 규칙을 벗어났고, 저는 그걸 모른 채 안심하고 계속 만들었습니다. 나중에 확인해 보니 쓸 수 없는 문제가 많아 처음부터 다시 만든 적이 여러 번입니다.
왜 그랬을까요? 당시 AI는 한 번에 기억할 수 있는 분량이 지금보다 훨씬 작았습니다. 대화가 길어지면 처음에 준 규칙이 기억 밖으로 밀려나 잊혔던 것입니다. 물론 규칙을 어기는 이유가 그것만은 아닙니다. (대화가 길어질수록 AI가 앞 내용을 놓치는 이유는 AI는 나를 기억할까?에 정리했습니다.)
지금은 이런 일이 거의 없습니다. 같은 일을 시키면 문제를 만들고, 스스로 검토하고, 새로운 문제를 제안하고, 그 문제가 어려운 포인트까지 말해 줍니다. 그래도 저는 지금도 검토 기준을 줍니다. 2년 전 "안심하고 계속 만들었다가" 다시 만든 경험 때문입니다.
그럼 어떻게 일해야 완성도가 높아질까?
AI는 사람이 쓴 글과 문서를 배웠습니다. 그래서 사람이 하는 실수를 똑같이 할 수 있습니다. 사람의 일에 검토가 필요하듯, AI의 일에도 항상 검토가 필요합니다.
다만 "검토해 줘"라고만 하면 소용이 없습니다. 무엇을 기준으로 검토할지 모르기 때문입니다. 제가 쓰는 방법은 세 가지입니다.
- 일의 기준과 검토 기준을 함께 준다: "이 문서는 고객이 읽는다. 숫자는 출처를 붙이고, 확실하지 않으면 확실하지 않다고 써라. 다 쓴 뒤 이 기준으로 다시 검토하고 고쳐라." 중요한 숫자와 출처는 저도 직접 확인합니다.
- 기본 규칙으로 저장해 자동으로 돌게 한다: 매번 말하지 않도록 ChatGPT의 맞춤 설정이나 Claude의 프로젝트 지침 같은 곳에 검토 기준을 적어 둡니다. 그러면 일할 때마다 그 기준으로 스스로 확인합니다. 다만 항상 지키는 것은 아니니, 결과는 한 번 더 확인합니다.
- 다른 것과 비교해 객관적으로 평가해 달라고 한다: "비슷한 다른 사례와 비교해서 냉정하게 점수를 매겨 줘"라고 하면 비교적 솔직한 생각을 말합니다. 물론 100%는 아닙니다.
결국 필요한 것은 나를 객관적으로 보는 힘
AI가 올바른 일을 하게 만드는 힘은 결국 사용자에게서 나옵니다. 내 생각이 틀릴 수 있다는 걸 알고, AI가 내 편을 들어줄 때 오히려 한 번 더 의심하는 것. 자신을 객관적으로 바라보는 능력이 AI 시대의 가장 중요한 실력이라고 생각합니다.
정리
- AI는 정답을 아는 기계가 아니라, 그럴듯하고 듣기 좋은 답을 만드는 기계입니다.
- 맞장구와 추측은 학습 방식에서 나옵니다. 판단과 근거 확인은 사람 몫입니다.
- "검토해 줘" 대신 검토 기준을 주고, 그 기준을 기본 규칙으로 저장해 두세요.
- AI가 내 편을 들 때일수록 한 번 더 의심하세요.
원팩에서 AI가 결합된 업무 시스템 FROX를 만들 때도, 저는 AI가 낸 결과를 정해 둔 기준으로 한 번 더 확인합니다.
출처
프로그램 기획자로 일하다, 2년 동안 하루 5~12시간씩 AI와 일하며 개발자가 됐습니다. 지금은 원팩에서 AI가 결합된 업무 시스템 FROX를 만듭니다.