Post

폐쇄망/내부망에서 로컬 LLM 서비스 구축 가이드 - Claude Code 에이전트 코딩

폐쇄망, 내부망, 망분리 환경에서 로컬 LLM 서버를 구축하고 Claude Code로 에이전트 코딩하는 방법. vLLM 기반 AI 서비스 구축 실전 가이드.

폐쇄망/내부망에서 로컬 LLM 서비스 구축 가이드 - Claude Code 에이전트 코딩

AI 업무 효율 향상과 망분리 환경 배포 전략에 대해 다룹니다. 이 시리즈는 증권사 내부망과 같은 인터넷 단절 환경에서 AI를 활용하는 실무 가이드를 제공합니다.

시리즈 1: 망분리 환경 AI 배포

망분리 제약 속에서 로컬 LLM을 구축하고 Claude Code, Mistral Vibe 같은 CLI 도구를 활용하는 방법을 다룹니다.

주제내용상태
1목표 설정망분리 제약, CLI 도구 활용 목표완료
2모델 선택과 메모리벤치마크, 메모리완료
3속도와 MoE모델의 종류, 속도완료
4서빙 프레임워크SGLang, vLLM, Ollama, llama.cpp 등 비교완료
5양자화FP8, AWQ, GPTQ, GGUF 등 비교완료
6Claude Code RouterClaude Code와 OpenRouter 연동완료
7-1실전 배포: 로드맵하드웨어/소프트웨어 스택 설계완료
7-2실전 배포: DockerDocker, NVIDIA Container Toolkit 설치완료
7-3실전 배포: vLLM으로 모델 서빙vLLM 이미지 다운로드 및 모델 서빙완료
7-4실전 배포: Open WebUIOpen WebUI로 웹 인터페이스 구축완료
7-5실전 배포: Mistral-VibeMistral-Vibe CLI 도구 활용완료
7-6실전 배포: Qwen-CodeQwen-Code CLI 도구 활용완료

시리즈 2: AI 업무 효율 향상

배치 처리와 자동화를 통한 심화 활용법을 다룹니다.


This post is licensed under CC BY 4.0 by the author.