폐쇄망/내부망에서 로컬 LLM 서비스 구축 가이드 - Claude Code 에이전트 코딩
폐쇄망, 내부망, 망분리 환경에서 로컬 LLM 서버를 구축하고 Claude Code로 에이전트 코딩하는 방법. vLLM 기반 AI 서비스 구축 실전 가이드.
폐쇄망/내부망에서 로컬 LLM 서비스 구축 가이드 - Claude Code 에이전트 코딩
AI 업무 효율 향상과 망분리 환경 배포 전략에 대해 다룹니다. 이 시리즈는 증권사 내부망과 같은 인터넷 단절 환경에서 AI를 활용하는 실무 가이드를 제공합니다.
시리즈 1: 망분리 환경 AI 배포
망분리 제약 속에서 로컬 LLM을 구축하고 Claude Code, Mistral Vibe 같은 CLI 도구를 활용하는 방법을 다룹니다.
| 편 | 주제 | 내용 | 상태 |
|---|---|---|---|
| 1 | 목표 설정 | 망분리 제약, CLI 도구 활용 목표 | 완료 |
| 2 | 모델 선택과 메모리 | 벤치마크, 메모리 | 완료 |
| 3 | 속도와 MoE | 모델의 종류, 속도 | 완료 |
| 4 | 서빙 프레임워크 | SGLang, vLLM, Ollama, llama.cpp 등 비교 | 완료 |
| 5 | 양자화 | FP8, AWQ, GPTQ, GGUF 등 비교 | 완료 |
| 6 | Claude Code Router | Claude Code와 OpenRouter 연동 | 완료 |
| 7-1 | 실전 배포: 로드맵 | 하드웨어/소프트웨어 스택 설계 | 완료 |
| 7-2 | 실전 배포: Docker | Docker, NVIDIA Container Toolkit 설치 | 완료 |
| 7-3 | 실전 배포: vLLM으로 모델 서빙 | vLLM 이미지 다운로드 및 모델 서빙 | 완료 |
| 7-4 | 실전 배포: Open WebUI | Open WebUI로 웹 인터페이스 구축 | 완료 |
| 7-5 | 실전 배포: Mistral-Vibe | Mistral-Vibe CLI 도구 활용 | 완료 |
| 7-6 | 실전 배포: Qwen-Code | Qwen-Code CLI 도구 활용 | 완료 |
시리즈 2: AI 업무 효율 향상
배치 처리와 자동화를 통한 심화 활용법을 다룹니다.
This post is licensed under CC BY 4.0 by the author.
