로컬 LLM을 활용한 옵시디언 위키 구축 2: 옵시디언 위키 설계

들어가는 말

엄격한 비밀준수계약(NDA)이 요구되는 업무 환경과 개인적인 지식 관리를 명확히 분리해야 하는 현실적인 고민은 자연스럽게 데이터 유출 걱정이 없는 '나만의 로컬 LLM' 구축이라는 첫걸음으로 이어졌다. 이 세 편의 글들은 개인 장비에 최적의 AI 모델을 세팅하는 과정을 시작으로, 이를 지식 관리 도구인 '옵시디언(Obsidian)'과 결합해 스스로 일간 노트에서 엔티티(Entity)를 추출하고 관리하는 자동화된 위키 시스템을 설계한 경험을 다루게 된다. 나아가 이렇게 구축된 시스템이 어떻게 전혀 무관해 보이는 개념들을 엮어 깊이 있는 철학적 사유를 이끌어내고, 익숙했던 생각의 틀을 깨는 새로운 통찰의 시작점이 되어주었는지에 대한 소박한 지적 실험의 기록을 나누어 보려고 한다.

지속 가능한 지식 아키텍처를 고민하다

로컬 LLM 환경이 준비된 후, 다음 과제는 이를 내 생산성 시스템의 핵심인 '옵시디언(Obsidian)'과 어떻게 연결할 것인가였다. 옵시디언 위키 구축의 뼈대는 Karpathy의 LLM 위키 개념을 옵시디언에 적용한 Ar9av/obsidian-wiki 프로젝트와, LLM을 활용하기 위한 코어 파일 시스템인 CMDS System Files v4.9.0을 적절히 조합해 참고했다.

이 과정에서 세운 원칙은 명확했다. 노트 간의 상호 링크와 동기화 편의성을 위해 전체 볼트(Vault)는 하나로 단일하게 유지하되, 폴더 구조를 통해 내가 직접 기록하는 영역과 LLM이 개입하는 영역을 명확히 구분하는 것이었다. 단순히 생각을 정리하는 저장소를 넘어, 새로운 생각을 자극할 수 있는 지속 가능한 시스템이 필요했기 때문이다.

현재의 기록 방식과 그 한계: 10년 일기와 엔티티(Entity) 관리

현재 나의 일간 노트는 일종의 '10년 일기' 방식을 따르고 있다. 일반적인 'YYYY-MM-DD' 형태가 아니라 '01월_10일.md'와 같은 고정된 날짜 파일 안에 '## 2026년'처럼 연도별 제목을 달고 내용을 누적해 적어 내려간다. 이 방식은 과거의 같은 날 무슨 생각을 했는지 즉각적인 회고가 가능하고, 파일 개수도 366개로 일정하게 유지된다는 장점이 있다.

문제는 사람, 장소, 회사, 이벤트처럼 지속해서 추적하고 관리해야 하는 '엔티티(Entity)' 노트들이었다. 엔티티들은 별도의 디렉토리에 전용 템플릿을 써서 관리하는데, 시간이 흐르며 템플릿을 수정하다 보니 파일 간의 형식 불일치가 발생하기 시작했다. 게다가 일상에서 발생한 이슈나 생각들을 일간 노트에 자유롭게 적는 것은 편하지만, 그 내용을 일일이 연관된 엔티티 파일에 찾아가 업데이트하는 것은 무척 번거로워 누락되는 일이 잦았다.

LLM을 통한 자동화 워크플로우 설계

이러한 한계를 극복하기 위해 로컬 LLM을 시스템에 적극적으로 개입시켰다. LLM과 대화하며 뼈대와 지침을 구성했고, 내가 일간 노트에 글을 적어두면 LLM이 알아서 내용 중 엔티티를 추출하고 해당 엔티티 파일들을 찾아 업데이트하는 역할을 맡겼다.

이를 위한 자동화된 일간 작업 프로세스는 총 5단계로 구성된다.

  1. 최신 상태 동기화: Obsidian Headless Sync를 이용
  2. 노트들의 변경 내역 확인: 파일의 수정 일시와 hash를 이용해 구현
  3. 변경된 내용을 위키 내 적절한 엔티티에 통합
  4. 변경된 위키의 정합성 검증: 확립한 디렉토리 구조, 인덱스 파일 정합성 등 15가지 검사
  5. 최종 결과물 동기화

실제로 운영해 보니, 정해진 코드로 스크립트를 짜서 구동하는 것과 달리 LLM을 통한 작업이 위키의 정합성을 100% 완벽하게 보장하지는 않았다. 하지만 적절한 수준에서 실용성을 유지할 수만 있다면, 내가 직접 수동으로 관리하며 겪었던 스트레스와 누락을 획기적으로 줄여주기 때문에 큰 문제는 되지 않았다.

대화가 맥락이 되고 빈 곳을 찾아주는 시스템

이제 이 옵시디언 위키를 기반으로 대화를 하면, 그 대화의 맥락이 다시 위키에 통합되는 방식으로 위키가 성장할 수 있게 된다. 예를 들어, '위키 내용을 기반으로 해서 내가 MBTI 유형 중 어느 유형에 속하는지 이야기해 줘'라고 말을 하면, LLM이 여러 근거를 가지고 나름대로의 결론을 도출해 준다. 내가 적었던 일기가 이 판단의 근거가 되기 때문에 가장 개인적이면서 가장 정확한 판단일 수 있을 뿐만 아니라, 내가 미처 떠올리지 못했던 경험까지 끌어와서 이야기를 해 줄 수 있기 때문에 매우 신선한 경험이었다..

노트를 쓴다는 것은 의식적인 행위이기 때문에, 무의식 속에 있는 다양한 생각들은 명확하게 표현되지 않는 암묵지(Tacit Knowledge)로 남아 있는 경우가 많이 있다. 나 혼자 생각하고 운영하는 노트 시스템 속에 명시적으로 표현되지 않은 이런 부분을 끌어올리는 행위는, 정신분석학자 또는 상담가와 긴 시간 동안 만나면서 일정한 신뢰를 쌓은 후에야 가능할 법한 일이다. 그런데 이를 로컬 LLM과 대화하는 것만으로도 어느 정도 구현할 수 있다는 점이 이 시스템의 가장 흥미로운 지점 중 하나이다.

이렇게 매일의 기록을 스스로 정리하는 위키가 마련되었다. 다음 글에서는 이 위키에 쌓인 데이터와 LLM이 어떻게 나의 생각의 폭을 넓히고 새로운 맥락을 만들어주는지, 그 실제 활용 사례를 나누어보려 한다.

 
옵시디언 위키 시리즈

You may also like: