로컬 LLM을 활용한 옵시디언 위키 구축 1: 시스템 준비

들어가는 말
 
엄격한 비밀준수계약(NDA)이 요구되는 업무 환경과 개인적인 지식 관리를 명확히 분리해야 하는 현실적인 고민은 자연스럽게 데이터 유출 걱정이 없는 '나만의 로컬 LLM' 구축이라는 첫걸음으로 이어졌다. 이 세 편의 글들은 개인 장비에 최적의 AI 모델을 세팅하는 과정을 시작으로, 이를 지식 관리 도구인 '옵시디언(Obsidian)'과 결합해 스스로 일간 노트에서 엔티티(Entity)를 추출하고 관리하는 자동화된 위키 시스템을 설계한 경험을 다루게 된다. 나아가 이렇게 구축된 시스템이 어떻게 전혀 무관해 보이는 개념들을 엮어 깊이 있는 철학적 사유를 이끌어내고, 익숙했던 생각의 틀을 깨는 새로운 통찰의 시작점이 되어주었는지에 대한 소박한 지적 실험의 기록을 나누어 보려고 한다.
 
왜 로컬 LLM이어야만 했나?
 
요즘처럼 다양한 AI 도구를 쉽게 접할 수 있는 시기에, 굳이 개인적인 로컬(Local) 환경을 구축하게 된 데에는 현실적인 이유가 컸다. 현재 주로 제약사들의 데이터와 프로젝트를 다루고 있다 보니, 자연스럽게 가장 엄격한 비밀준수계약(NDA) 안에서 업무를 진행해야만 한다.
 
상황이 이렇다 보니 외부 클라우드 기반의 AI 도구들을 편하게 활용하기 조심스러웠고, 개인적인 지식 관리 영역과 보안이 중요한 업무 영역을 나누어 관리하는 것도 쉽지 않은 과제였다. 결국 데이터를 외부로 내보내지 않으면서도 실무에 참고할 수 있는 수준의 '로컬 LLM' 환경이 필요하다는 결론에 다다랐다.
 
하드웨어의 선택: 킥스타터에서 찾은 대안, Olares One
 
로컬에서 LLM을 구동하기 위해서는 어느 정도의 VRAM과 연산 능력이 필요했다. 적당한 장비를 찾던 중 킥스타터에서 'Olares One'이라는 프로젝트를 알게 되었다.
 
현재 공식 홈페이지에서는 $3,999에 판매되고 있지만, 나는 킥스타터 펀딩을 통해 $2,899에 장비를 구할 수 있었다. 이 기기는 인텔 울트라 9 275HX 프로세서와 96GB DDR5 메인 메모리, 그리고 24GB VRAM을 갖춘 엔비디아 RTX 5090 Mobile을 탑재하고 있다. 개인적인 AI 모델을 구동하기에 충분하고도 고마운 사양이라고 할 수 있다. 2026년 2월 20일에 도착해서 세팅을 했으니, 이제 대략 석달 넘게 사용을 하고 있는 셈이다.
 
소프트웨어 환경과 모델 선정: 내게 맞는 환경 찾기
 
Olares One의 운영체제는 오픈소스인 Olares이다. NAS보다는 self-hosted personal cloud를 목표로 하는 운영체제라고 볼 수 있다. 특히 Olares Market을 통해 여러 애플리케이션을 제공하는데, 일부를 제외하면 대부분 독립된 Docker 환경에서 구동된다. 민감한 데이터를 다루는 입장에서는 이러한 격리된 환경이 주는 안정성이 꽤 도움이 되었다.
 
에이전트 환경은 최근에 많은 사람들이 사용하는 OpenClaw를 설치하고, llm 모델로는 GPT-OSS, DeepSeek r1, Gemma4, Qwen3.6의 여러 변종 모델들을 차례로 테스트해 보았다. 이 길고 지루한 테스트 과정에서 그냥 돈 주고 쓰는 최고의 모델들을 쓰면 금방 문제가 해결될 것이라는 심리적인 유혹도 많이 받았다. 특히 Gemma4의 변종들을 사용할 때는, 이 테스트를 당장 그만두고 싶은 충동을 여러번 느끼기도 했다. 그러다가 Qwen3.6 모델들이 나오면서 에이전트로서도 꽤 쓸만한 수준에 이르렀다고 판단을 할 수 있었다. 이런 여러 시도 끝에 속도와 성능을 종합적으로 고려하여 내 환경에 가장 적합하다고 판단한 모델은 'Qwen3.6 27B BeeLlama One'이었다. 'Qwen3.6 35B A3B MTP' 모델이 대략 두 배의 속도와 나쁘지 않은 성능 때문에 끝까지 후보에 있었는데, 옵시디언 위키 구축과 점진적인 개선을 위해서는 그래도 27B dense 모델이 A3B MoE 모델에 비해 더 나은 성능을 가지고 있다는 점이 최종 결정의 이유가 됐다.
 
현재 설정에서 이 모델은 262k 수준의 넉넉한 컨텍스트를 지원하면서도, 초당 약 107 토큰(107 t/s)의 속도로 결과물을 생성해 준다. 이 정도면 옵시디언 위키의 텍스트를 처리하고 일상 업무를 보조하는 데 있어 큰 무리 없는 만족스러운 퍼포먼스라 생각한다.
 
이렇게 기본적인 하드웨어와 AI 모델 세팅을 마쳤다. 다음 글에서는 이 로컬 LLM 환경을 평소 사용하는 '옵시디언(Obsidian)'과 연결해 어떻게 위키 시스템으로 구성해 나갔는지 그 과정을 나누어보려 한다.
 
옵시디언 위키 시리즈

You may also like: