AI 성능은 1년 동안 얼마나 달라졌을까? 지표로 본 변화와 이제 맡길 수 있는 일
지난 1년 사이 AI는 답을 쓰는 데서 그치지 않고 도구를 이용해 작업을 이어 가기 시작했습니다. 코드 수정과 컴퓨터 작업 평가 점수의 변화, AI 코딩 도구가 직접 파일을 만들고 실행하는 방식, MCP로 데이터베이스 작업을 맡기는 방법, 그리고 맡기는 범위를 정하는 기준을 정리했습니다.

AI는 1년 동안 얼마나 달라졌을까요? 가장 큰 변화는 AI가 답을 쓰는 데서 그치지 않고, 도구를 이용해 작업을 이어 가게 된 것입니다. 공개된 평가에서도 코드를 고치고 컴퓨터 화면을 다루는 점수가 크게 올랐습니다. 그래서 이제는 AI 코딩 도구가 직접 파일을 만들고 실행하며, 연결된 데이터베이스에서 자료를 조회하거나 구조를 바꾸는 작업도 할 수 있습니다. 다만 AI가 직접 작업하는 만큼, 어디까지 맡길지 정하는 일이 더 중요해졌습니다.
평가 점수로 보면 무엇이 달라졌을까?
이번 이야기와 가까운 평가는 두 가지입니다. 실제 코드 문제를 고치는 평가(SWE-bench Verified)와, 컴퓨터 화면을 보며 프로그램을 조작해 작업을 끝내는 평가(OSWorld)입니다. Anthropic이 발표한 두 모델의 결과는 다음과 같습니다.
| 평가 | Claude Sonnet 4.5 (2025년 9월 발표) | Claude Mythos Preview (2026년 4월 발표) |
|---|---|---|
| 실제 코드 문제 고치기 (SWE-bench Verified) | 77.2% | 93.9% |
| 컴퓨터 화면으로 작업하기 (OSWorld) | 61.4% | 79.6% (OSWorld-Verified) |
이 표를 읽을 때 알아 둘 점이 있습니다.
- 모델과 실행 조건이 다르고, 회사가 발표한 평가라서 엄밀하게 같은 조건의 비교는 아닙니다.
- Mythos Preview는 발표 당시 일반에 공개된 모델이 아니었습니다.
- 내가 쓰는 무료·유료 AI가 모두 이 점수를 낸다는 뜻도 아닙니다.
그래도 코드 수정과 컴퓨터 작업처럼 여러 단계를 이어서 처리하는 능력이 발전하고 있다는 방향은 보여 줍니다.

AI 평가 기관 METR도 같은 방향을 측정합니다. 사람이 끝내는 데 얼마나 걸리는 작업을 AI가 일정한 성공률로 해결하는지 보는 방식입니다. 여기서 "몇 시간짜리 작업"은 사람 기준의 난이도이지, AI가 그 시간 동안 혼자 일한다는 뜻은 아닙니다. 평가도 주로 소프트웨어 관련 작업을 대상으로 합니다. 점수는 AI가 모든 일을 잘한다는 증명이라기보다, 어떤 능력이 자라고 있는지 보여 주는 자료로 읽는 편이 좋습니다.
1. AI가 직접 파일을 만든다는 것은 무슨 뜻일까?
예전에는 AI가 코드를 주면 사람이 옮겼습니다. 폴더와 파일을 만들어 붙여 넣고, 오류가 나면 오류 문구를 복사해 다시 물었습니다. 지금은 Claude Code 같은 AI 코딩 도구가 프로젝트를 읽고 파일을 직접 고칩니다. 공식 문서는 이 도구가 "코드베이스를 읽고, 파일을 편집하고, 명령을 실행한다"고 설명합니다.
| 일 | 예전 방식 | 지금 방식 |
|---|---|---|
| 새 파일 만들기 | 코드를 복사해 폴더와 파일을 직접 만들고 붙여 넣기 | AI가 필요한 폴더와 파일을 만든다 |
| 오류 고치기 | 오류 문구를 복사해 대화창에 붙여 넣기 | AI가 명령을 실행해 결과를 보고 원인을 찾아 다시 고친다 |
| 고칠 곳 찾기 | 파일이 많아질수록 직접 찾아다니기 | AI가 프로젝트를 읽고 관련 파일을 찾는다 |
| 기록 남기기 | 무엇을 바꿨는지 따로 메모 | 요청하면 AI가 Git에 변경 기록을 남긴다 |

모든 AI가 내 파일을 고칠 수 있는 것은 아닙니다. 대화창에서 질문하는 것만으로는 내 컴퓨터의 파일에 손댈 수 없습니다. 파일과 실행 도구에 접근할 수 있는 환경을 연결하고, 작업 권한을 줘야 합니다. 즉 성능이 좋아진 모델에 작업 도구가 연결된 것이 이번 변화의 핵심입니다. 이렇게 여러 단계를 스스로 이어서 수행하는 AI를 흔히 "에이전트"라고 부릅니다.
사람의 일은 코드를 옮기는 것에서, 무엇을 만들지 설명하고 결과를 확인하는 쪽으로 옮겨 갑니다. 모든 줄을 직접 옮길 필요는 줄었지만, 구조와 동작을 확인하는 일은 여전히 남습니다.
2. 데이터베이스 작업은 어떻게 맡길까?
데이터베이스는 프로그램이 일정을 저장하거나 고객 자료를 찾을 때 쓰는 자료 보관소입니다. 예전에는 AI가 써 준 SQL(자료를 조회하거나 바꾸는 언어)을 복사해 관리 화면에서 실행했습니다.
지금은 MCP(Model Context Protocol)로 AI 도구와 외부 서비스를 연결할 수 있습니다. MCP 공식 문서는 이를 "AI 앱을 외부 시스템에 연결하는 오픈소스 표준"이라고 설명하며 "AI 앱을 위한 USB-C 포트"에 비유합니다. 예를 들어 Supabase를 연결하고 필요한 권한을 주면 이런 일을 맡길 수 있습니다.
| 맡길 일 | 요청 예시 |
|---|---|
| 구조 확인 | "일정과 관련된 표와 각 칸의 역할을 설명해 줘." |
| 자료 집계 | "이번 달에 등록된 일정이 몇 개인지 세어 줘." |
| 설정 점검 | "보안 경고가 있는지 확인하고 이유를 설명해 줘." |
| 구조 변경 준비 | "일정에 장소를 저장하려면 무엇을 바꿔야 하는지 먼저 보여 줘." |
권한에 따라 조회와 점검뿐 아니라 변경 작업도 실행할 수 있습니다. 사람이 SQL을 옮기는 단계가 줄어드는 것입니다. 그렇다고 서버 전체를 알아서 관리하는 것은 아닙니다. 연결된 도구가 제공하는 기능과 허용된 권한 안에서만 작업하며, MCP로 연결했다고 정확성이나 안전성이 자동으로 보장되지도 않습니다.
3. 직접 작업하는 AI에게 어디까지 맡길까?
AI가 답변만 잘못하면 사람이 실행하기 전에 멈출 기회가 있습니다. 하지만 파일과 데이터베이스를 직접 다루면 잘못된 판단이 곧바로 실제 변경으로 이어질 수 있습니다. 그래서 맡기는 범위를 미리 정해 둡니다.
| 기준 | 이렇게 합니다 | 근거 |
|---|---|---|
| 조회와 변경 나누기 | 상태 확인만 필요하면 읽기 전용으로 연결 | Supabase MCP 문서: 점검용 작업은 읽기 전용 권장 |
| 시험 후 적용 | 운영 환경 전에 시험용 환경에서 결과 확인, 필요한 프로젝트로 범위 좁히기 | Supabase MCP 문서: 운영 연결은 꼭 필요할 때만, 프로젝트 범위 제한, 개발 브랜치 활용 |
| 변경 내용 먼저 설명 | "바로 적용하지 말고 바꿀 파일과 영향부터 알려 줘", 실행 승인 설정 확인 | Claude Code 보안 문서: 승인 전 제안된 코드와 명령 검토는 사용자 책임 |
| 되돌릴 방법 준비 | 코드는 Git에 기록, 데이터베이스는 변경 전 백업과 복구 방법 확인 | Git 기록만으로 데이터베이스 자료는 복구되지 않음 |
| 숨은 지시문 주의 | 읽어 온 웹페이지나 자료의 문장을 내 지시처럼 따르지 않는지 확인 | Supabase MCP 문서: 프롬프트 인젝션을 대표 위험으로 꼽음 |
제 기준은 짧습니다. 조회와 점검은 맡기고, 중요한 변경은 내용을 확인한 뒤 적용합니다. 대화에서 "조심할게"라는 답을 들었다고 권한을 넓게 열어 두지도 않습니다.

사람의 일은 무엇이 달라질까?
코드를 옮기고 명령을 반복하는 일은 줄었습니다. 대신 무엇을 만들지 정하고, 어디까지 맡길지 나누고, 결과가 목적에 맞는지 확인하는 일이 더 중요해졌습니다. 나만의 스케줄러라면 "일정이 추가됐네"에서 끝내지 않고 새로고침해도 남는지, 다른 화면에도 반영되는지 확인해야 합니다. 회사 프로그램이라면 실제 업무 순서에 맞는지도 봐야 합니다. AI가 일을 이어 가는 힘이 커진 만큼, 요청도 "무엇을 할지, 어디까지 바꿀지, 어떻게 확인할지"까지 구체적으로 하는 것이 좋습니다.
정리
- 지난 1년 사이 AI는 답을 쓰는 데서 나아가 도구로 작업을 이어 가게 되었습니다.
- 코드 수정·컴퓨터 작업 평가 점수가 크게 올랐지만, 조건이 다른 회사 발표 값이라 방향을 보는 자료로 읽습니다.
- AI 코딩 도구는 파일을 직접 만들고 실행하며, MCP로 연결하면 데이터베이스 조회와 변경도 맡길 수 있습니다. 단, 환경 연결과 권한이 필요합니다.
- 조회와 변경을 나누고, 시험 후 적용하고, 변경 내용을 먼저 설명받고, 되돌릴 방법을 준비하고, 숨은 지시문을 조심합니다.
원팩에서 만드는 업무 시스템 FROX도 같은 기준으로 작업합니다. AI가 코드와 데이터베이스 작업을 돕고, 실제 업무에 맞는지와 운영에 적용할 내용은 사람이 확인합니다.
출처 (2026-10-18 확인)
- Anthropic, Introducing Claude Sonnet 4.5
- Anthropic, Project Glasswing (Claude Mythos Preview 평가)
- METR, Time Horizons
- Claude Code 공식 문서, Overview
- Claude Code 공식 문서, Security
- Model Context Protocol, What is MCP?
- Supabase 공식 문서, Supabase MCP Server
함께 읽으면 좋은 글: AI는 왜 그럴듯하게 틀릴까 · AI에게 질문 잘하는 법

프로그램 기획자로 일하다, 2년 동안 하루 5~12시간씩 AI와 일하며 개발자가 됐습니다. 지금은 원팩에서 AI가 결합된 업무 시스템 FROX를 만듭니다.
