AI 주식 예측, 믿어도 될까? 믿지 않으려고 만든 장치들 (주식 앱 만들기 2편)
AI의 주식 예측은 틀릴 때도 그럴듯합니다. 그래서 앱에서는 AI의 설명을 믿는 대신 예측을 기록하고 실제 결과와 비교했습니다. 내는 순간 잠그는 예측, 기준을 넘기 전에는 숨기는 방향, 가짜 돈으로 먼저 겨루는 선수 5명, 255개 중 9개가 남은 과거 조건까지 정리했습니다.

AI의 주식 예측, 믿어도 될까요? 저는 믿는 대신 확인할 수 있게 만들기로 했습니다. AI의 예측은 내는 순간 잠가 고칠 수 없게 하고, 5거래일 뒤 실제 종가와 비교해 채점합니다. 제가 정한 공개 기준을 넘기 전에는 예측 방향을 보여 주지 않습니다. 가짜 돈으로 다섯 가지 전략을 겨루게 해 보니 지난 5년 시세에서 기준을 넘은 선수는 없었습니다. 이런 장치가 AI를 틀리지 않게 해 주지는 않지만, 틀린 결과를 감추기 어렵게 만듭니다.

지난 글에서는 형의 보유 주식을 쉽게 점검하도록 「게으른 사람의 주식투자」라는 앱을 만들었다고 이야기했습니다. 저는 주식 투자를 해 본 적이 없는 사람이라, 만드는 동안 더 조심하려고 했습니다.
AI에게 "이 종목, 다음 주에 오를까?" 하고 물으면 답이 나옵니다. 근거도 그럴듯합니다. 문제는 틀릴 때도 똑같이 그럴듯하다는 점입니다.
그래서 앱에서는 AI의 설명을 믿는 대신, 예측을 기록하고 실제 결과와 비교하기로 했습니다.
첫째, 예측은 내는 순간 잠급니다
AI는 종목마다 5거래일 뒤의 방향을 ’오름, 내림, 제자리’ 중 하나로 예측합니다. 이 기록은 나중에 고칠 수 없도록 했습니다. 5거래일이 지나면 실제 종가와 비교해 채점합니다.
결과를 보고 나서 "원래 그런 뜻이었다"고 설명을 바꾸지 못하게 하는 것입니다. 말이 얼마나 설득력 있는지보다, 미리 남긴 예측이 맞았는지를 보려고 했습니다.
둘째, 기준을 통과하기 전에는 방향을 보여 주지 않습니다
AI가 예측했다고 바로 사용자에게 보여 주지는 않습니다. 제가 정한 내부 공개 기준은 세 가지입니다.
- 30회 이상 채점받을 것
- 적중률이 80% 이상일 것
- 가장 흔한 결과만 계속 고르는 단순한 방식보다 적중률이 10%포인트 이상 높을 것
세 번째 조건은 비교 대상입니다. AI가 복잡하게 설명하더라도 단순한 방식보다 못하다면, 그 설명에 기대기 어렵다고 생각했습니다.
채점 횟수도 그대로 세지 않습니다. 매일 5거래일 뒤를 예측하면 평가 기간이 서로 겹칩니다. 하나의 시장 움직임이 여러 예측의 성적에 반복해서 반영될 수 있습니다.
그래서 기간이 겹치지 않는 예측만 셉니다. 이 방식으로 30회를 채우려면 시간이 꽤 걸립니다. 그동안 사용자에게는 예측 방향 대신 쌓인 성적을 보여 줍니다.
다만 이 기준은 제가 앱에 정한 문턱입니다. 30회를 채우고 적중률 80%를 넘었다고 해서 앞으로도 그 성적이 이어지거나 수익이 난다는 뜻은 아닙니다.

셋째, 가짜 돈으로 먼저 겨루게 합니다
별도로 모의 투자 전략도 비교하고 있습니다. 앱 안에서는 이 전략들을 다섯 명의 선수처럼 구성했습니다. 통계, 저점권, 변동폭, 추세, AI 선수입니다.
실제 돈을 쓰지 않고, 정해 둔 규칙에 따라 모의 거래를 합니다. 계산할 때는 수수료와 세금도 반영했습니다. 성적을 본 뒤 유리한 쪽으로 규칙을 고치지 않도록, 시험에 쓸 규칙부터 정해 두었습니다.
지난 5년 시세로 시험해 본 결과, 제가 정한 모의 투자 통과 기준을 넘은 선수는 0명이었습니다.
쉽게 좋은 결과가 나오지 않았다는 점은 의미가 있었습니다. 다만 아무도 통과하지 못했다는 사실만으로 시험이 잘 설계됐다고 단정할 수도 없습니다. 비교 방식과 기준도 계속 살펴봐야 합니다.
과거 자료로 돌려 본 모의 결과는 실제 운용 성과와 다릅니다. 과거 시험을 잘 통과하더라도 미래의 성과를 보장하지는 않습니다(Investor.gov).

그래서 질문을 바꿨습니다
"무엇이 오를까?"를 맞히는 일이 생각보다 어렵다는 것을 보면서 질문을 바꿨습니다.
"매일 들여다보지 않아도 비교적 오래 보유할 수 있었던 종목은 과거에 어떤 모습을 보였을까?"
앞으로 오를 종목을 고르는 대신, 지나온 기록을 조건에 맞춰 살펴보기로 했습니다.
| 조건 | 기준 |
|---|---|
| 회사 규모 | 시가총액 1조 원 이상 |
| 흔들림 | 1년 변동성 40% 이하 |
| 장기 흐름 | 5년 동안 30% 이상 상승 |
| 최악의 하락 | 최대 낙폭 40% 이내 |
| 실적 | 3년 연속 이익 |
최대 낙폭은 해당 기간의 고점에서 이후 저점까지 얼마나 크게 떨어졌는지를 보는 값입니다. 마지막 수익률만 괜찮아도, 중간에 큰 하락을 겪었다면 계속 보유하기 어려웠을 수 있기 때문입니다.
255개 중 9개가 남았습니다
이번 분석에 넣은 255개 종목에 조건을 적용하니 9개가 남았습니다. 그중 7개는 금융회사였습니다.
이것은 좋은 종목 아홉 개를 찾았다는 뜻이 아닙니다. 제가 정한 조건에 과거 기록이 맞았다는 뜻입니다. 특정 업종이 많이 남았다면, 그 업종이 가진 특성과 제가 정한 조건의 관계도 살펴봐야 합니다.
또 변동성이나 최대 낙폭이 조건 안에 있었다고 해서 앞으로도 안전하다는 뜻은 아닙니다. 조건을 통과한 명단을 그대로 매수 목록으로 쓰려는 것은 아닙니다.

믿으라고 말하기보다, 확인할 수 있게 만들고 싶었습니다
AI의 설명이 그럴듯할수록 저는 그 뒤의 기록을 보고 싶었습니다. 언제 무엇을 예측했고, 실제 결과는 어땠으며, 단순한 방식과 비교해 나았는지를요.
예측을 잠그고, 공개 조건을 정하고, 모의 거래로 먼저 시험하는 장치는 그렇게 만들었습니다. 이것들이 AI를 틀리지 않게 해 주지는 않습니다. 대신 틀린 결과를 감추거나 좋은 설명으로 덮기 어렵게 만들고 싶었습니다.
AI를 믿지 않으려고 만든 장치들이, 어느새 앱에서 가장 중요하게 생각하는 부분이 됐습니다.
정리
- AI의 주식 예측은 틀릴 때도 그럴듯하기 때문에, 믿는 대신 기록하고 실제 결과와 비교했습니다.
- 예측은 내는 순간 잠그고, 5거래일 뒤 실제 종가로 채점합니다.
- 30회 이상 채점, 적중률 80% 이상, 단순한 방식보다 10%포인트 이상이라는 기준을 넘기 전에는 방향을 보여 주지 않습니다.
- 가짜 돈으로 겨룬 다섯 선수는 지난 5년 시세에서 모두 기준을 넘지 못했습니다.
- 과거 조건으로 255개 중 9개가 남았지만, 이것은 지나온 기록일 뿐 매수 목록이 아닙니다.
원팩에서 만드는 업무 시스템 FROX에서도 AI가 만든 결과는 그대로 쓰지 않고, 정해 둔 기준으로 확인한 뒤에 사람에게 보여 주는 방식을 지키려고 합니다.
*이 글은 앱을 만든 과정을 적은 기록이며, 투자 권유가 아닙니다.*
다음 글(3편): 제 생각이 숫자 앞에서 틀린 이야기를 합니다.
함께 읽으면 좋은 글: 사라고도 팔라고도 말하지 않는 주식 앱 (주식 앱 만들기 1편) · AI는 왜 그럴듯하게 틀릴까

프로그램 기획자로 일하다, 2년 동안 하루 5~12시간씩 AI와 일하며 개발자가 됐습니다. 지금은 원팩에서 AI가 결합된 업무 시스템 FROX를 만듭니다.
