AI가 사내 문서를 근거로 답하게 만드는 검색 증강 생성(RAG)의 개념·작동 4단계·도입 판단 기준.
기업에서 ChatGPT를 몇 번 써보면 한계가 금방 드러납니다. 일반적인 지식은 잘 답하지만 우리 회사의 계약서나 업무 매뉴얼, 고객 응대 이력, 내부 정책은 알지 못합니다. 그래서 "우리 사내 규정 기준으로 답해줘"라고 물으면 그럴듯하지만 틀린 답이 돌아오곤 합니다. RAG는 바로 이 문제를 줄이려고 나온 방식입니다.
"AI가 우리 문서를 근거로 답하게 하려면 뭐부터 해야 하나?", "환각은 RAG를 붙이면 사라지나?", "이거 우리 같은 회사도 만들 수 있나?" 이런 질문을 한 번이라도 해봤다면 이 글이 도움이 됩니다. 이 글에서는 RAG가 무엇인지, 기존 LLM과 어떻게 다른지, 어떤 단계로 작동하는지, 그리고 우리 회사에 맞는지 판단하는 기준까지 정리합니다.
RAG는 Retrieval-Augmented Generation의 약자입니다. 한국어로는 보통 "검색 증강 생성"이라고 부릅니다. 쉽게 말하면, AI가 답변을 만들기 전에 회사 문서나 데이터베이스에서 관련 자료를 먼저 찾고 그 내용을 근거로 답을 생성하는 구조입니다.
기존 LLM은 학습 당시에 익힌 지식만으로 답합니다. 반면 RAG는 외부 지식베이스를 함께 씁니다. AWS는 RAG를 LLM이 훈련 데이터 바깥의 권위 있는 지식 기반을 참조해 답변 품질을 높이는 방식이라고 설명합니다. Google Cloud도 RAG를 정보 검색 시스템과 생성형 LLM을 결합한 AI 프레임워크로 정의합니다.
RAG의 핵심은 AI가 아는 척하지 않게 만드는 것입니다. 모델의 기억에만 기대지 않고 답변 직전에 필요한 자료를 찾아 붙입니다. 왜 기본 AI가 우리 회사 문서를 못 읽는지 궁금하다면 ChatGPT가 사내 문서를 모르는 이유를 먼저 보면 이해가 빠릅니다.
가장 큰 차이는 지식의 출처입니다. 기존 LLM은 학습 시점에 고정된 내부 기억으로 답하고, RAG는 답변 시점에 최신 문서를 찾아 근거로 씁니다. 아래 표로 정리했습니다.
구분 | 기존 LLM | RAG |
|---|---|---|
지식 출처 | 학습 시점에 익힌 내부 기억 | 답변 시점에 검색한 외부 문서 |
최신성 | 학습 이후 정보는 반영 못 함 | 문서만 갱신하면 최신 반영 |
사내 지식 | 학습에 없으면 모름 | 사내 문서를 검색 대상으로 연결 |
근거 제시 | 출처 없이 문장만 생성 | 답변에 근거 문서를 함께 연결 |
틀릴 때 양상 | 그럴듯하게 지어냄 | 근거를 못 찾으면 확인 가능 |
내부 기억에 의존하는 방식과 외부 검색을 결합하는 방식의 차이는 재학습(파인튜닝) vs 검색 비교에서 더 자세히 다룹니다. 결론만 말하면, 사내 지식을 자주 갱신해야 하는 업무일수록 재학습보다 검색 방식이 유리합니다.
기업 AI 도입에서 가장 큰 벽은 성능이 아니라 신뢰입니다. 답이 아무리 빨라도 출처가 없거나 최신 정책을 반영하지 못하면 실무에 쓰기 어렵습니다. 인사팀이 "육아휴직 신청 절차 알려줘"라고 물었을 때 AI가 지난해 규정으로 답하면 그건 편의가 아니라 업무 리스크입니다.
RAG는 이 지점에서 값을 합니다. 사내 규정집, 제품 매뉴얼, 영업 제안서, 고객 문의 이력처럼 조직 안에 이미 쌓인 자료를 검색 대상으로 삼기 때문입니다. 답변에 근거 문서를 함께 걸어두면 실무자는 "왜 이런 답이 나왔는지"를 직접 확인하고 판단할 수 있습니다.
근거를 붙이는 효과는 수치로도 나타납니다. JMIR Cancer에 실린 2024년 연구에서는 정제된 근거 자료를 검색해 답하도록 한 GPT-4의 환각률이 0%였던 반면, 근거 없이 일반 검색에 맡긴 경우 6%까지 올랐습니다. RAG의 원 논문(Lewis 외, 2020)도 사전학습 모델의 내부 지식과 검색 가능한 외부 메모리를 결합하면 지식 집약적 작업에서 더 구체적이고 사실에 가까운 답을 만들 수 있다고 보고합니다.
다만 RAG가 환각을 완전히 없애지는 않습니다. 검색 결과가 부정확하거나 문서가 낡았거나 질문과 어긋난 문단을 가져오면 답도 흔들립니다. 실제로 정제되지 않은 사내 문서를 그대로 붙이면 환각이 5~15%까지 남는다는 2024년 업계 분석(K2view)도 있습니다. 그래서 RAG 프로젝트는 "챗봇 하나 만들기"가 아니라 "문서 품질·검색 품질·답변 품질을 함께 관리하는 업무 시스템 만들기"로 접근해야 합니다. AI 환각을 줄이는 법을 함께 보면 이 관리의 그림이 더 또렷해집니다.
RAG의 기본 흐름은 네 단계로 볼 수 있습니다. 각 단계에서 실무가 실제로 막히는 지점을 함께 짚겠습니다.
사내 문서, 데이터베이스, 웹페이지를 검색 대상으로 모읍니다. 많은 기업이 AI 모델이 아니라 여기서 먼저 막힙니다. 같은 규정의 2023년판과 2025년판이 섞여 있고 파일명이 "최종_진짜최종"으로 남아 있으면, 검색이 옛 문서를 근거로 끌어오면서 답 품질이 떨어집니다. 최신본과 중복 문서를 구분하는 일이 먼저입니다.
모은 문서를 작은 단위로 나누고(청킹) 각 조각을 벡터로 바꿉니다(임베딩). 너무 크게 자르면 필요한 문장을 찾기 어렵고 너무 작게 자르면 맥락이 사라집니다. 문단 크기와 함께 부서·작성일·접근 권한 같은 메타데이터를 어떻게 붙일지도 이 단계에서 설계합니다.
질문과 관련성이 높은 문서 조각을 찾습니다. 여기서 벡터 검색만 쓰는 게 정답은 아닙니다. 제품명, 계약번호, 규정명처럼 정확한 단어가 중요한 업무라면 키워드 검색을 함께 쓰는 하이브리드 검색이 더 잘 맞을 때가 많습니다.
검색된 근거를 바탕으로 답을 만들고 그 답을 검증합니다. 이때 기준은 "답이 자연스러운가"가 아니라 "근거 문서를 정확히 찾았는가", "답이 문서 내용과 일치하는가", "민감정보를 노출하지 않는가"입니다. 한 실무 사례에서는 초기 환각률 12%를 0.8%까지 낮췄지만 그 대부분이 모델 교체가 아니라 청킹과 검색 품질을 몇 달간 다듬은 결과였습니다. 넥스트젠AI의 AX 진단에서도 RAG 과제는 기술 가능성보다 데이터 준비도와 운영 책임 체계부터 점검합니다.
우리 회사에 RAG가 지금 필요한지는 아래 항목으로 가늠할 수 있습니다. 다음 중 3개 이상에 해당하면 검토를 시작할 때입니다.
직원들이 같은 질문의 답을 문서 여기저기서 찾느라 반복적으로 시간을 쓴다
규정·매뉴얼·제품 정보가 자주 바뀌어 최신본 관리가 늘 과제다
답변에 출처가 반드시 필요하다(법무·인사·고객지원 등)
사내 문서가 흩어져 있고 검색이 어렵다
ChatGPT를 써봤지만 사내 맥락을 몰라 실무 적용이 막혔다
고객 문의나 내부 문의가 반복적이고 답이 대체로 문서 안에 있다
RAG 프로젝트의 비용과 기간은 문서 상태와 범위에 크게 좌우됩니다. 대략적인 그림은 이렇습니다.
정확한 견적은 대상 문서의 양과 상태를 봐야 나옵니다. 그래서 대부분의 RAG 프로젝트는 전면 구축보다 작은 파일럿으로 준비도를 먼저 확인하는 편이 안전합니다.
RAG는 사내 지식 검색, 고객지원 상담 보조, 영업 제안서 검색, 법무·인사 규정 Q&A처럼 "답이 내부 문서에 있고, 그 문서를 근거로 설명해야 하는 업무"에 잘 맞습니다. 답변의 출처가 중요한 조직일수록 RAG의 가치가 커집니다.
반대로 데이터가 거의 없거나, 문서 품질이 낮거나, 업무 규칙이 자주 바뀌는데 관리 책임자가 없는 조직에는 지금 당장 맞지 않습니다. 이런 경우에는 RAG 구축보다 문서 정비, 권한 체계, 업데이트 프로세스를 먼저 잡아야 합니다. 잘 맞지 않는 경우를 솔직히 인정하는 이유는 분명합니다. RAG는 좋은 문서를 더 잘 쓰게 만드는 기술이지, 없는 지식을 자동으로 만들어내는 기술이 아니기 때문입니다.
RAG를 이해했다면 다음 질문은 "우리 회사도 만들 수 있나?"입니다. 답은 모델 성능이 아니라 준비도에 달려 있습니다. 어떤 문서를 연결할지, 누가 최신성을 관리할지, 어떤 질문을 허용할지, 답변 오류를 어떻게 평가할지를 정해야 합니다.
넥스트젠AI는 141개 기업의 AX 진단 경험을 바탕으로 RAG 구축에 앞서 데이터 준비도와 운영 책임 체계부터 점검합니다. 사내 문서를 연결하기 전 정해야 할 3가지를 먼저 확인하고 싶다면 관련 글을 참고하고, 우리 회사에 RAG가 맞는지 판단이 서지 않는다면 무료 AX 진단을 신청해 준비도부터 점검해 보세요.
파인튜닝은 모델을 회사 데이터로 다시 학습시켜 지식을 모델 안에 넣는 방식이고, RAG는 학습은 그대로 두고 답변 시점에 문서를 검색해 근거로 붙이는 방식입니다.
자주 바뀌는 규정·문서라면 매번 재학습하는 파인튜닝보다 문서만 갱신하면 되는 RAG가 유지 비용 면에서 유리합니다. 반대로 말투나 형식을 고정하고 싶을 때는 파인튜닝이 더 맞습니다.
RELATED · 함께 읽으면 좋은 글
ChatGPT가 사내 규정·매뉴얼을 모르는 이유는 기억이 아니라 접근입니다. 파일을 넣어도 답이 틀리는 원인과, 내부 문서를 AI에 연결하기 전 점검할 준비도 체크리스트까지 정리했습니다.
우리 회사 문서로 AI가 답하게 만들 수 있을까요? 기본 AI가 사내 데이터를 모르는 이유, 재학습과 검색(RAG) 방식 비교, 도입 전 점검 체크리스트까지 5분 만에 정리했습니다.
생성형 AI가 사내 문서를 모르는 이유부터 파일 업로드와 문서 연결 AI의 차이, 연결 전 정해야 할 범위·권한·근거 3가지와 도입 판단 체크리스트까지 정리했습니다.
