기억이 아니라 접근의 문제입니다 — 파일을 넣어도 답이 틀리는 이유와 연결 전 점검 리스트
"우리 회사 규정집 기준으로 답해줘." "지난달 제안서를 바탕으로 고객 답변을 만들어줘." "내부 매뉴얼에서 환불 기준을 찾아줘." 이렇게 시켰는데 ChatGPT가 엉뚱한 답을 내놓거나 "모른다"고 한 적이 있으실 겁니다.
문제는 질문을 잘못 던져서가 아닙니다. ChatGPT는 기본적으로 우리 회사 내부 문서에 접근하지 못합니다. 이 글에서는 왜 그런지, 파일을 넣어도 왜 답이 틀리는지, 그리고 내부 문서를 AI에 연결하기 전 무엇부터 점검해야 하는지를 정리합니다.
ChatGPT는 인터넷에 공개된 자료와 학습해 둔 일반 지식(대규모 언어 모델(LLM)이 무엇인지)을 바탕으로 답합니다. 반면 사내 규정집, 계약서, 업무 매뉴얼, 회의록, 제안서, 고객 응대 기록은 외부에 공개되지 않습니다. ChatGPT 입장에서는 이런 문서가 "세상에 없는 자료"나 마찬가지입니다.
비유하면 이렇습니다. 똑똑한 신입사원이 회의실에 앉아 있지만 아직 사내 드라이브 접근 권한을 못 받은 상태입니다. 일반적인 설명은 막힘없이 하지만 폴더 안 최신 규정이나 고객별 예외 조건은 볼 수 없습니다. 그래서 내부 기준을 묻는 순간 답이 흐려집니다.
ChatGPT가 내부 문서를 "기억하지 못하는" 게 아니라 "접근하지 못하는" 겁니다. 이 차이를 알아야 해결 방향이 달라집니다. 기억의 문제라면 더 잘 설명해 주면 되지만 접근의 문제라면 문서를 찾아볼 수 있는 통로부터 만들어야 합니다.
많은 팀이 문서를 복사해 붙여넣거나 파일을 업로드해 답을 받아 봅니다. 짧은 문서 하나를 요약할 때는 분명 도움이 됩니다. 하지만 실제 업무로 들어가면 금세 한계가 드러납니다.
첫째, 문서가 많아질수록 필요한 대목을 정확히 못 찾습니다. 정책 문서·매뉴얼·FAQ·회의록이 수십 개로 늘면 "어느 문서의 어느 문단을 근거로 답할지"가 핵심이 됩니다. 한 번에 밀어 넣은 자료 더미에서는 이 판단이 잘 안 됩니다.
둘째, 최신 문서와 옛 문서가 섞이면 답이 흔들립니다. 사람도 최신 버전을 확인하지 않으면 실수합니다. AI도 같습니다. 출처·작성일·우선순위가 정리돼 있지 않으면 그럴듯하지만 틀린 답이 나옵니다.
셋째, 보안 문제가 생깁니다. 모든 내부 문서를 아무 기준 없이 외부 도구에 밀어 넣는 방식은 기업 환경에 맞지 않습니다. 어떤 문서를 연결할지, 누가 접근할지, 답변 근거를 어떻게 남길지에 대한 기준이 있어야 합니다.
구분 | 파일 업로드·복붙 | 검색 기반 연결 |
|---|---|---|
문서 규모 | 몇 개까지는 무난하지만 수십 개를 넘으면 한계 | 수백~수천 건에서 필요한 부분만 찾음 |
최신성 | 넣은 시점 자료로 고정, 버전 관리 어려움 | 원본이 갱신되면 최신 내용 반영 |
답변 근거 | 어느 문서 기반인지 확인 어려움 | 어떤 문서·문단을 근거로 했는지 표시 가능 |
보안·권한 | 문서 전체를 통째로 노출 | 문서·사용자별 접근 범위 통제 |
내부 문서 연결은 결국 AI 도입 설계의 한 갈래입니다. 어디서부터 손대야 할지 막막하다면 AX 컨설팅으로 기업 AI 도입을 어디서부터 설계할지 함께 확인해 보십시오.
기업이 원하는 AI는 말만 잘하는 챗봇이 아닙니다. 필요한 문서를 찾아보고 근거를 확인한 뒤 그 범위 안에서 답하는 AI입니다.
사람의 일하는 방식도 그렇습니다. 담당자는 질문을 받으면 먼저 사내 위키·매뉴얼·지난 제안서·계약 조건을 뒤집니다. 근거를 확인하고 나서야 답합니다. 이 과정은 생각보다 비용이 큽니다. 맥킨지 글로벌 인스티튜트(2012) 조사에 따르면 지식 근로자는 근무 시간의 약 20%, 즉 주당 하루치에 가까운 시간을 사내 정보를 찾고 담당자를 수소문하는 데 씁니다. AI가 이 탐색을 대신하려면 AI도 같은 순서로 문서를 찾아보고 답해야 합니다.
내부 문서를 AI에 "그냥 넣는" 게 아니라 AI가 필요한 문서를 찾아 읽고 답하도록 만드는 구조가 필요합니다. 그래야 정확도·최신성·보안을 함께 관리할 수 있습니다. 이미 ChatGPT를 업무에 활용하고 있다면 다음 단계는 우리 문서를 근거로 답하게 만드는 것입니다.
연결에 앞서 아래를 점검해 보십시오. 다섯 항목 중 셋 이상이 정리돼 있지 않다면 도구를 붙이기 전에 문서 환경부터 손볼 때입니다.
문서 위치 파악
규정·매뉴얼·제안서가 어디에(드라이브·위키·메일) 흩어져 있는지 목록으로 정리돼 있습니까
최신 버전 관리
같은 문서의 옛 버전과 최신본이 구분됩니까
접근 권한 정리
어떤 문서를 누가 볼 수 있는지 기준이 있습니까
보안 등급 구분
외부 도구에 연결해도 되는 문서와 안 되는 문서가 나뉩니까
답변 근거 표시
AI 답변에 어느 문서를 근거로 했는지 출처를 남기게 할 것입니까
여기서 등장하는 개념이 RAG입니다. RAG는 AI가 답하기 전에 회사 내부 문서나 데이터베이스를 먼저 찾아보고 그 내용을 근거로 답하게 만드는 방식입니다. 어렵게 들리지만 핵심은 단순합니다. 모든 걸 외우게 하는 대신 필요한 순간에 내부 자료를 찾아보게 하는 구조입니다. RAG의 원리와 도입 방법은 다음 글에서 이어서 다룹니다.
지식 근로자가 근무 시간의 약 20%를 정보 탐색에 쓴다는 조사 결과는, 뒤집으면 내부 문서를 제대로 연결했을 때 되찾을 수 있는 시간이기도 합니다. 다만 출발점은 도구 도입이 아니라 "우리 문서 환경이 연결할 준비가 됐는가"라는 진단입니다. NextGenAI의 무료 AI 도입 진단으로 어떤 문서부터 어떤 순서로 연결할지 우선순위를 확인해 보십시오.
아니요. ChatGPT는 기본적으로 회사 내부 문서에 접근하지 못합니다. 공개된 지식과 학습 데이터로만 답하기 때문에 내부 문서를 근거로 답하게 하려면 별도의 연결 구조가 필요합니다.
RELATED · 함께 읽으면 좋은 글
LLM이 정확히 뭔지, ChatGPT·검색엔진과 어떻게 다른지 5분 만에 정리했습니다. 기업이 어떤 업무부터, 어떤 4단계로 적용하면 되는지 체크리스트와 함께 짚습니다.
AX 컨설팅이 뭔지, DX와 어떻게 다른지, 진행 4단계·비용·기간까지 정리했습니다. 파일럿에서 멈춘 AI 도입을 전사 확산으로 잇는 실행 순서를 확인하세요.
반복 업무에 AI를 배치하는 가장 빠른 출발점
