사내 문서 툴을 LLM 슬랙봇으로 통일시키기

재직중인 회사에서는 팀별로 다른 문서툴을 사용하고 있습니다.

Confluence, Notion, Google Drive (Docs, Spreadsheet, ...)

그래서 본인이 속해있는 조직이 아닌 문서를 확인해야될때 어디에 있는지, 어떻게 확인해야할지 잘 모르는 경우가 많습니다.

기간에 따라 다른 팀이 맡으면 같은 프로젝트인데도 다른 위치에 존재하게 됩니다. (초기에는 Confluence에 작성하다가 지금은 Notion에 작성)

 

인수인계가 제대로 되지 않은채 남겨진 문서도 많고, 상황이 이러하다보니 가이드 문서를 작성하기도 쉽지 않습니다.

실제로 문서 파편화로 인해 여러번 내부 논의가 있었지만, 별다른 개선은 이루어지지 않고 있는 상태입니다.

 

그래서 문서 전부 긁어다가 VectorDB에 넣고, 그걸 RAG로 사용하는 LLM을 슬랙봇에 붙여보기로 했습니다.

개발은 전부 Claude Code와 oh-my-claudecode 를 사용하였고, 저는 방향성 설계만 했습니다.

 

사이드 프로젝트 형태로 업무 외 시간에 진행한것이였기때문에 최대한 비용이 안나가게 구성을 했는데, 하루에 0.5~1달러 정도 나가는거같습니다.

 

주요 기술 스택

LLM (Groq)

- llama-3.3-70b / qwen3-32b: RAG 답변 생성, 쿼리 확장. 70b부터 사용하고 Rate limit 걸리면 32gb 사용

- llama-3.1-8b: 의도 분류

전부 Free plan

Slack 봇 서버

AWS EC2 t3.small: 약 15달러/월

Embedding Model

AWS Bedrock (Titan Embedding): 하루 약 0.3~1달러

Vector DB

Supabase pgvector: Free plan

데이터 수집 API

- Notion API: 무료

- Confluence API: 무료(Rate limit 존재)

- Google Drive(docs) API: 무료

 

특징

흐름: 사용자 질문 -> 의도 분류 -> 검색 -> 답변 생성

시스템 프롬프트에는 간단하게 회사 정보와 정적 데이터를 넣어주었습니다.

Google Drive 파일은 docx 뿐만 아니라 pptx, pdf, xlsx 등 텍스트로 변환할 수 있는건 전부 변환해서 넣게 했습니다.

매일 새벽 3시에 각 채널별로 수집 배치를 돌려 최근 수정 된 문서만 RAG에 업데이트하게 해놓았습니다.

Claude Code는 문서에 접근할 수 있으므로, 질문과 답 리스트를 채널별로 25개씩 임의 생성한 후 슬랙봇에 테스트하게 시켜 정확도를 향상시키는 방향으로 개선했습니다. 현재 테스트 정확도는 96.7%입니다.

 

RAG 데이터에는 출처도 남겨 사용자가 바로 문서를 열어볼 수 있게 답변에 링크도 첨부시켰구요.

 

에이전트는 아닙니다. 대화를 저장할 필요가 없고, 추후 어떤 필요하면 에이전트로 만들 생각입니다.

그래서 langchain 같은 프레임워크는 사용하지 않았습니다.

이 슬랙봇의 가장 우선적인 목표는 각자 사용하고 있는 문서 툴을 그대로 사용하면서, 원하는 자료를 편하게 조회할 수 있게 하는것이기 때문입니다.

추후 피드백을 받는다면 더 개선할 계획입니다.