홈

AI로 업무 도구 3개를 18분에 만들었다 : 오류 22건 중 도구가 스스로 알려준 것은 0건 | 가인지캠퍼스

AI로 업무 도구 3개를 18분에 만들었다 : 오류 22건 중 도구가 스스로 알려준 것은 0건

만들 수 있게 됐다는 말과 만들어야 한다는 말은 다르다.

생성형 AI로 업무 도구를 직접 만드는 흐름이 빠르게 번지고 있다. 가트너는 2026년 9월 15일 호주 골드코스트 IT Symposium에서 2029년까지 신규 애플리케이션의 80%가 1년 미만만 쓰이는 의도적 일회용으로 만들어질 것이라고 전망했다. 다만 이것은 전망이며 표본과 방법론은 공개되지 않았다.

같은 기관이 2026년 3월 발표한 「Enterprise Applications 2030」은 균형추를 제시한다. 2030년까지 상용 기업용 애플리케이션 기능 가운데 자체 제작으로 대체되는 비중은 최대 30%에 그친다는 것이다. 두 수치는 모순이 아니다. 앞은 신규 앱의 수명을, 뒤는 기존 패키지의 대체율을 말한다.

실측도 있다. 맥킨지가 2026년 8월 1,719명을 대상으로 조사한 「The state of AI in 2026」에서 소프트웨어 구매를 접고 내부 제작을 택한 조직은 32%였다. 개발도구 기업 Retool이 817명을 조사한 결과에서는 IT 통제 밖에서 만들어진 비율이 60%, SaaS를 한 개 이상 교체한 비율이 35%, 그러나 운영 투입에 실패한 비율이 22%로 나타났다. 공급사 자체 조사라 제작 쪽으로 기운 표본이라는 점은 감안해야 한다. 영국 국가사이버보안센터(NCSC)는 2026년 3월 "AI가 SaaS를 대체하려면 아직 몇 년이 필요하다"는 신중론을 냈다.

전망과 실측이 엇갈린다. 그래서 가인지경영원은 인용을 멈추고 직접 만들어 보기로 했다.

난이도를 달리한 도구 3종을 18분 51초 동안 만들었다

2026년 10월 15일 오후 3시 7분부터 3시 26분까지, 업무 도구 3종을 생성형 AI로 제작했다. 고객사와 임직원 데이터는 쓰지 않았고 전부 가상 샘플이다. 난이도는 의도적으로 다르게 잡았다. ① 설문 집계·시각화 ② 회의록 할 일 추출 ③ 급여·근태 계산이다.

결과를 먼저 적는다. 세 도구에서 발견된 오류는 22건이었고, 그 가운데 도구가 스스로 알려준 것은 0건이었다. 22건 전부 사람이 손으로 검산해서 찾아냈다.

▲ 업무 도구 3종의 제작 소요 시간과 판정. 쉬운 것, 중간, 어려운 것을 일부러 섞었다. (자료: 가인지경영원 자체 실험, 2026.10.15 · 소요 시간은 제작 경과 시간이며 요구사항 정리·검증·배포 시간은 제외)

소요 시간은 제작 경과 시간이다. 요구사항을 정리하고 결과를 검증하고 실제로 배포하는 시간은 여기 들어 있지 않다. 이 구분이 이번 실험의 핵심이다.

4분 만에 완성된 도구가 부서 평균을 0.46 틀렸다

도구 A는 설문 집계와 시각화였다. 4분 7초 만에 완성됐고 두 번째 시도에서 정상 작동했다. 파일 하나를 올리면 문항별 평균, 분포, 부서별 교차표, 자유응답 분류까지 한 화면에 나왔다. 월 유지비는 0원이다.

그런데 숫자가 틀렸다. 5점 척도 문항에 입력된 7이라는 값 하나를, 도구는 평균 계산에는 넣고 분포 막대에서는 뺐다. 그 결과 영업 부서 평균이 4.29로 표시됐다. 손검산으로 확인한 실제 값은 3.83이었다. 0.46 과대다. 화면에는 "유효 응답 48"이라고 적혀 있었지만 막대의 합은 47이었고, 도구는 아무 경고도 하지 않았다.

▲ 도구가 표시한 영업 부서 평균 4.29와 손검산으로 확인한 실제 값 3.83. 0.46의 차이는 부서 간 순위가 뒤집히는 크기다. (자료: 가인지경영원 자체 실험, 2026.10.15 · 가상 샘플 48건)

0.46은 작은 수가 아니다. 부서 간 순위가 뒤집히는 크기다. 이 화면을 그대로 믿고 조직 진단 보고서를 쓰면, 멀쩡한 부서가 문제 부서가 된다.

두 번째 발견은 분류의 문제다. 자유응답에서 "시간·분량" 불만이 14건으로 가장 많게 집계됐다. 그러나 내용물을 열어 보니 세 가지가 섞여 있었다. 실습 시간 확대 6건, 교육 시간 부족 5건, 오후 집중도 저하 3건이다. 처방이 서로 다른 항목이 하나의 막대로 묶였다. 자유응답 라벨의 합계는 48건인데 실제 응답은 42건이었다. 한 응답이 여러 주제에 중복 집계되는데 그에 대한 설명이 없었다.

같은 도구가 같은 회사에서 9건과 0건을 냈다

도구 B는 회의록에서 할 일과 담당자를 뽑아내는 도구다. 7분 9초가 걸렸다. 정식 양식으로 작성된 회의록에서는 9건 중 9건을 찾아냈고 오탐은 0건이었다. 여기까지는 성공이다.

같은 회사의 구어체 메모형 회의록을 넣자 추출 결과가 0건이 됐다. 정답은 5건이었다. 문제는 결과가 아니라 침묵이다. 오류 메시지가 없었고 화면에는 "0건"만 떴다. 담당자가 이 화면을 보면 "이번 회의엔 할 일이 없었구나"로 읽는다. 양식이 바뀌면 도구는 조용히 0을 낸다.

▲ 같은 회의 내용이라도 양식이 바뀌자 추출 결과가 9건에서 0건으로 떨어졌다. 오류 메시지는 없었다. (자료: 가인지경영원 자체 실험, 2026.10.15)

고쳤더니 다른 데가 깨졌다. 구어체를 인식하도록 수정하자, 정상이던 정식 양식에서 「실사」라는 존재하지 않는 담당자가 생겼다. 전형적인 회귀(regression)다. 담당자 지정 정확도는 양식에 따라 67%와 60%였다.

가장 위험한 것은 책임의 오배정이었다. "미제출자 전원"에게 가야 할 과제가, 그 공지를 전달한 직원 한 명에게 배정됐다. 그리고 "다음 주 수요일", "차주", "이번 달 말" 같은 상대 기한은 14건 중 0건만 날짜로 변환됐다. 나머지는 전부 문자열로 남았다.

사용료는 쌌다. 비싼 것은 뒤에 딸려오는 고정비였다

자작의 명분은 대개 비용이다. 그래서 도구 B의 실제 운영 원가를 계산했다. 회의록 100건 기준 API 사용료는 모델에 따라 월 48원에서 2,856원이었다. 구독료와 비교하면 사실상 공짜다.

▲ 회의록 처리량별 API 사용료. 월 100건 기준 48원~2,856원으로 구독료보다 현저히 낮다. 비용은 사용료가 아니라 그 뒤에 붙는 고정비에서 발생한다. (자료: 가인지경영원 자체 실험, 2026.10.15 · 2026년 10월 공시 단가 기준)

문제는 그 뒤다. 브라우저에서 직접 호출하면 파일 안에 인증키가 박힌다. 그 파일을 받은 누구나 키를 꺼내 쓸 수 있고, 요금은 회사가 낸다. 그래서 키를 숨길 중계 서버가 필요하고, 서버에는 호스팅 비용과 관리자가 따라붙는다. 월 2,856원을 아끼려다 서버 운영과 위탁 관리가 생긴다.

법적 요건도 붙는다. 회의록을 외부 모델로 보내는 행위는 개인정보 보호법 제26조의 처리 위탁에 해당한다. 서버가 국외에 있으면 제28조의8에 따라 원칙적으로 금지되며 별도 요건을 갖춰야 한다. 무료로 만든 도구가 위탁계약서와 국외이전 검토를 불러오는 구조다.

숫자는 나왔다. 검산이 불가능했다

도구 C는 급여와 근태 계산이었다. 3분 만에 통상시급, 가산수당, 4대보험, 소득세가 표로 깔끔하게 출력됐다. 이 상태가 가장 위험하다. 틀린 줄 모르고 쓰게 되기 때문이다.

▲ 도구 C는 숫자를 깔끔하게 출력했으나 네 지점에서 검산이 불가능했다. 가인지경영원은 이 도구를 의도적으로 완성시키지 않았다. (자료: 가인지경영원 자체 실험, 2026.10.15 · 가상 직원 5명 기준)

검산에서 나온 것은 다음과 같다. 첫째, 정기상여금을 통상임금에서 빼먹었다. 월 환산 상여 50만 원이 누락돼 1인당 월 28,708원이 과소지급된다. 10명이면 연 344만 원, 3년 소급 시 1,033만 원이다. 둘째, 주휴수당의 잣대가 달랐다. 기본급은 4.0주, 주휴수당은 4.345주 기준으로 계산해 15,180원(8.6%) 과대였다. 셋째, 5인 미만 사업장 분기가 없었다. 가산수당 의무가 없는데 계산해 월 200,957원이 과다지급된다. 넷째, 4대보험을 지급총액에 곱하는 구조적 오류가 있었다.

소득세에서는 완전히 막혔다. 간이세액표는 조문이 아니라 소득세법 시행령 별표 2, 즉 데이터이기 때문이다. 표를 통째로 들고 있지 않으면 계산 자체가 성립하지 않는다.

가인지경영원은 이 도구를 일부러 완성시키지 않았다. 틀린 계산기를 완성하면 그것이 매달 돌기 때문이다. 막힌 지점만 기록하고 중단했다.

자작의 원가는 제작비가 아니라 검산 공수다

세 도구를 관통하는 결론은 하나다. 제작 단가는 분명히 내려갔다. 4분이면 작동하는 화면이 나온다. 그러나 검산 공수는 조금도 내려가지 않았다. 오류 22건 가운데 도구가 알려준 것은 0건이었고, 전부 사람이 손으로 찾았다.

그렇다면 자작 가능 여부를 가르는 기준은 무엇인가. 이번 실험에서 도출된 기준은 한 문장으로 정리된다. 결과를 다른 방법으로 검산할 수 있으면 만들어도 되고, 검산할 수 없으면 만들면 안 된다.

도구 A는 원본 데이터를 다시 세면 검산된다. 그래서 만들어도 된다. 도구 B는 회의록 원문과 대조하면 검산되지만 양식이 바뀔 때마다 다시 해야 하므로 조건부다. 도구 C는 법령과 시행령 별표를 들고 있어야 검산이 되는데 그것이 불가능했다. 그래서 자작 금지다. 이 3분류는 공식 기관의 분류가 아니라 이번 실험에서 나온 기준이다.

그래서 순서는 세고, 끊고, 만들고, 맡긴다

자작을 먼저 하면 구독료는 그대로 남고 관리할 것만 늘어난다. 순서가 먼저다.

첫째, 센다. 중소기업중앙회가 2026년 6월 소상공인 500곳을 조사한 결과 디지털 이용 방식 1위가 소프트웨어 구독(45.0%)이었고, 월 구독료를 모른다는 응답이 37.2%였다. 명세서를 모르는 상태에서 자작을 시작하면 비용은 줄지 않는다. SaaS 관리도구 Zylo의 2026년 지수에서 라이선스 미사용률은 46%였다. 대기업 중심 표본이라는 단서는 있다.

둘째, 끊는다. 쓰지 않는 좌석과 중복 기능부터 해지한다. 셋째, 만든다. 검산 가능한 것만 만든다. 넷째, 맡긴다. 급여·세무처럼 법령 데이터가 필요한 영역은 전문 서비스에 둔다.

현장에서는 이미 일어나고 있다

한국지능정보사회진흥원의 「2024 기업정보화통계집」(사업체 158,165곳)에 따르면 종업원 10~49인 기업의 클라우드 이용률은 73%, ERP 이용률은 52.7%다. 도구는 이미 깔려 있다. 문제는 그 위에 또 무엇을 얹느냐다.

가인지컨설팅그룹 김경민 대표는 "현장에서 만나는 언더백 기업의 대표들이 요즘 가장 자주 묻는 것이 직접 만들어도 되느냐는 질문인데, 되묻는 질문은 하나"라며 "지금 내는 구독료가 얼마인지 말할 수 있느냐는 것이다. 그 숫자를 모르는 상태에서 만들기부터 시작하면, 줄어드는 비용 없이 관리할 대상만 늘어난다"고 말했다.

김 대표는 "이번 실험에서 가장 무서웠던 장면은 도구가 틀렸을 때가 아니라, 틀렸는데 아무 말도 하지 않았을 때였다"며 "경영자가 자작 도구에서 확인해야 할 것은 결과가 맞는지가 아니라, 틀렸을 때 알려주는 장치가 있는지다"라고 덧붙였다.

이 실험의 한계

숫자를 과장하지 않기 위해 한계를 적는다. 이번 실험은 1회, 3종, 가상 샘플로 수행됐다. 표본이 작고 반복 검증을 거치지 않았으므로 일반화된 실패율로 읽어서는 안 된다. 소요 시간도 제작 경과 시간일 뿐 요구사항 정리·검증·배포 시간은 빠져 있다. 더 숙련된 제작자라면 오류가 줄었을 수 있다.

그럼에도 이 실험이 말하는 것은 분명하다. 오류의 수가 아니라 오류의 성격이다. 22건 모두 도구가 침묵한 상태에서 발생했다. 화면은 정상이었고 숫자는 깔끔했다. 사람이 손으로 세지 않았으면 전부 그대로 쓰였을 것이다.

비용 쪽에서도 같은 구조가 확인된다. SaaS 가격은 오르고 있다. 구매대행 기업 Vertice의 지수는 2026년 6월 기준 연 16.4% 상승을 제시한다. 다만 산정 방법론이 공개되지 않았고 같은 페이지의 FAQ와도 수치가 어긋나 참고치로만 봐야 한다. 가격이 오르는 것은 사실이지만, 그 압력이 곧 자작의 근거가 되지는 않는다.

경영자가 당장 점검할 네 가지

①구독 명세서를 한 장으로 만든다. 도구명, 좌석 수, 1인당 단가, 결제 주체, 마지막 로그인일. 다섯 칸이면 충분하다. 월 구독료를 모른다는 응답이 37.2%라는 조사 결과는, 이 한 장이 없다는 뜻이다.

②좌석과 중복 기능을 끊는다. 90일 미사용 좌석과 기능이 겹치는 도구부터 정리한다. 자작보다 먼저 와야 하는 순서다.

③자작 가능 여부를 검산 기준으로 가른다. 결과를 다른 방법으로 다시 셀 수 있는 업무만 만든다. 급여·세무·근태처럼 법령 데이터가 필요한 영역은 제외한다.

④만든 도구에는 반드시 검산 담당을 붙인다. 도구가 틀렸을 때 알려주지 않는다는 것이 이번 실험의 핵심 발견이다. 알려주지 않는 도구는 사람이 대신 봐야 한다. 그 공수를 계산에 넣지 않으면 절감액은 장부에만 존재한다.

글 | 이평화 기자

※ 본 글은 《가인지 레포트》 2026년 10월 15일자 「구독료 명세서를 다시 꺼내십시오」(25면)의 자체 실험 결과를 재구성한 것이다. 실험은 2026년 10월 15일 가상 샘플로 수행됐으며 고객사·임직원 데이터는 사용하지 않았다. 법령 인용은 법제처 국가법령정보센터 원문을 확인했으나, 실제 급여·세무 적용에는 세무사·노무사의 확인이 필요하다.