146 로컬_LLM_이해

로컬 LLM 이해는 Ollama·LM Studio·llama.cpp를 활용해 클라우드 API 없이 언어모델을 실행하고 내부 업무용 AI 도구로 확장하는 과정이다.

0. 교육을 하는 이유와 궁극적인 목표

로컬 LLM 이해 교육의 궁극적인 목표는 학습자가 공개 언어모델을 자신의 PC 또는 내부 서버에서 실행하고, 모델 크기·양자화·메모리·속도·보안 조건을 판단하여 조직 환경에 맞는 로컬 AI 활용 전략을 세울 수 있게 하는 것이다. 민간 생성형 AI 엔지니어 과정처럼 설치, 모델 비교, 프롬프트 제어, API 호출, UI 연결, 보안 운영을 단계별 프로젝트로 구성한다.

참고한 유료형 교육 흐름

Ollama·LM Studio·llama.cpp 기반 로컬 모델 실행을 실습하는 유료 생성형 AI 과정 흐름
LangChain과 Ollama를 결합해 챗봇·RAG·에이전트를 구축하는 실무형 부트캠프 흐름
폐쇄망·내부망에서 민감 문서를 다루기 위해 로컬 추론과 보안 정책을 강조하는 기업 교육 방식
Streamlit·FastAPI·Open WebUI로 로컬 모델을 업무 도구화하는 포트폴리오 트랙

입문 · 1일

로컬 LLM 개념과 설치 입문

클라우드 API 없이 PC에서 언어모델을 실행하는 기본 구조를 이해한다.

구분	세부 내용	실천·실습 방법
목표 1	로컬 LLM 작동 구조를 설명한다	LLM, tokenizer, context window, quantization, GGUF, GPU/CPU 추론 개념을 카드형 구조도로 정리한다. Ollama와 LM Studio의 모델 실행 흐름을 비교하고 API형 서비스와 로컬형 서비스의 차이를 토론한다.
목표 2	첫 로컬 모델을 실행한다	Ollama로 llama3.2 또는 qwen 계열 경량 모델을 설치하고 터미널에서 대화를 실행한다. LM Studio에서 모델을 다운로드하고 로컬 서버 모드로 실행해 브라우저 채팅과 API endpoint를 확인한다.
목표 3	장비 요구사항을 판단한다	모델 크기별 RAM, VRAM, 저장공간, 응답속도를 기록하는 벤치마크 표를 만든다. 동일 프롬프트를 3개 모델에 입력해 속도, 품질, 한국어 응답 안정성을 비교한다.

사용 플랫폼	Ollama, LM Studio, llama.cpp, GGUF 모델, Windows Terminal, Python, Open WebUI
강사 스펙	로컬 LLM 설치, 모델 양자화 개념, PC 성능별 모델 선택 지도 경험 3년 이상
수업대상	생성형 AI 입문자, 교사·강사, 오프라인 AI 도구를 만들고 싶은 실무자
소요시간	4-6시간
준비물	노트북 또는 데스크탑, 16GB 이상 RAM 권장, Ollama/LM Studio 설치파일, 테스트 프롬프트 목록
산출물	로컬 LLM 실행 기록표, 모델별 성능 비교표, 로컬 채팅 화면 캡처
평가방법	개념이해 25%, 설치성공 30%, 모델비교 25%, 장비판단 10%, 참여도 10%

초급 · 3일

로컬 LLM 프롬프트·시스템 메시지 과정

로컬 모델의 응답 품질을 프롬프트와 설정값으로 제어한다.

구분	세부 내용	실천·실습 방법
목표 1	시스템 프롬프트를 설계한다	역할, 말투, 금지 범위, 출력 형식을 포함한 system prompt 템플릿을 작성한다. 동일 모델에서 일반 프롬프트와 시스템 프롬프트 적용 결과를 비교해 실패 유형을 기록한다.
목표 2	추론 파라미터를 조정한다	temperature, top_p, top_k, repeat penalty, num_ctx 값을 변경하며 응답 다양성과 안정성을 비교한다. 한국어 요약, 분류, 문서 작성 과제를 수행하고 설정값별 추천 조합을 만든다.
목표 3	로컬 API를 호출한다	Ollama REST API를 Python requests로 호출하고 JSON 응답 구조를 확인한다. 간단한 CLI 챗봇을 만들어 사용자 입력, 모델 응답, 대화 로그 저장을 구현한다.

사용 플랫폼	Python, Ollama REST API, LM Studio Local Server, requests, JSON, VS Code
강사 스펙	프롬프트 엔지니어링, 로컬 LLM API 호출, Python 기초 자동화 지도 경험 3년 이상
수업대상	Python 기초 가능자, AI 챗봇 제작 입문자, 기업 내부 실습 담당자
소요시간	12-18시간
준비물	Ollama 설치 PC, VS Code, 프롬프트 실험표, 샘플 업무 문장
산출물	시스템 프롬프트 템플릿, 파라미터 비교표, Python CLI 로컬 챗봇
평가방법	프롬프트설계 25%, 파라미터실험 25%, API호출 30%, 로그저장 10%, 발표 10%

초급 · 1주

로컬 LLM 앱 프로토타입 과정

로컬 모델을 UI와 연결해 내부용 AI 도구를 만든다.

구분	세부 내용	실천·실습 방법
목표 1	웹 UI를 구성한다	Streamlit으로 입력창, 모델 선택, 응답 영역, 대화 기록 영역을 만든다. Open WebUI를 설치해 로컬 모델 관리, 채팅방, 프롬프트 저장 기능을 체험한다.
목표 2	업무 템플릿 기능을 만든다	회의록 요약, 이메일 초안, 민원 답변, 교육자료 변환 등 템플릿 버튼을 구현한다. 사용자가 입력한 원문을 템플릿에 삽입하고 결과를 Markdown과 TXT로 저장한다.
목표 3	오류와 한계를 관리한다	응답 지연, 메모리 부족, 반복 답변, 잘못된 사실을 재현하고 원인을 분류한다. 모델 교체, 컨텍스트 길이 축소, 프롬프트 재작성 등 대응 절차를 운영표로 만든다.

사용 플랫폼	Python, Streamlit, Ollama, Open WebUI, Markdown, SQLite 또는 JSONL 로그
강사 스펙	Streamlit 앱 제작, 로컬 모델 운영, 오류 대응 및 사용자 가이드 작성 경험 4년 이상
수업대상	교육기관 AI 담당자, 사내 챗봇 제작팀, 노코드에서 코드로 확장하려는 실무자
소요시간	20-30시간
준비물	로컬 LLM 가능 PC, 업무 샘플 문서, Streamlit 개발환경, 테스트 사용자 시나리오
산출물	로컬 LLM 웹앱, 업무 템플릿 5종, 오류 대응 운영표
평가방법	UI구성 25%, 템플릿기능 30%, 저장기능 15%, 오류대응 20%, 발표 10%

중급 · 4주

로컬 LLM 운영·보안 설계 과정

내부 문서와 개인정보를 다루는 로컬 AI 운영 기준을 설계한다.

구분	세부 내용	실천·실습 방법
목표 1	보안 요구사항을 정의한다	클라우드 전송 금지 데이터, 내부 문서, 학생 정보, 고객 정보를 분류한다. 로컬 실행, 사내망 실행, 폐쇄망 실행 시나리오별 위험과 장비 조건을 비교한다.
목표 2	모델 관리 체계를 만든다	모델 파일 버전, 저장 위치, 라이선스, 다운로드 출처, 삭제 정책을 문서화한다. 사용자별 접근 권한, 대화 로그 보관 기간, 민감정보 마스킹 규칙을 설계한다.
목표 3	성능 운영 기준을 만든다	동시 사용자 수, 평균 응답시간, 최대 컨텍스트, 장애 복구 방식을 기준표로 정한다. Docker 또는 서비스 스크립트로 모델 서버 자동 실행과 재시작 절차를 실습한다.

사용 플랫폼	Ollama, Open WebUI, Docker, Windows Task Scheduler 또는 systemd, Nginx, Python logging
강사 스펙	로컬 AI 운영 설계, 개인정보 보호, Docker 기반 서비스 운영 경험 4년 이상
수업대상	기업 AI 관리자, 교육청·기관 시스템 담당자, 내부망 AI 구축 실무자
소요시간	40-60시간
준비물	테스트 서버 또는 고성능 PC, 내부 문서 샘플, 보안 정책 양식, Docker 환경
산출물	로컬 LLM 운영정책, 모델 관리대장, 보안 점검표, 자동실행 스크립트
평가방법	보안설계 25%, 모델관리 25%, 운영기준 25%, 자동화 15%, 발표 10%

심화 · 8주

로컬 LLM 서비스 구축 포트폴리오 과정

조직 단위로 사용할 수 있는 로컬 LLM 서비스를 설계·구현한다.

구분	세부 내용	실천·실습 방법
목표 1	서비스 아키텍처를 설계한다	단일 PC형, GPU 서버형, 사내망 API형 구조를 비교하고 최종 아키텍처를 선택한다. 사용자 인증, 파일 업로드, 모델 라우팅, 로그 저장, 관리자 화면을 포함한 구성도를 만든다.
목표 2	모델별 역할 분담을 구현한다	요약용, 질의응답용, 코딩보조용, 한국어 응답용 모델을 작업별로 분리한다. 라우팅 규칙을 만들어 입력 유형에 따라 다른 로컬 모델 또는 프롬프트 템플릿을 호출한다.
목표 3	최종 도입 제안서를 작성한다	장비 비용, 운영 인력, 보안 이점, 한계, 교육 계획을 포함한 도입 제안서를 작성한다. 최종 발표에서 실제 로컬 서비스 시연, 장애 대응, 모델 교체 계획을 함께 설명한다.

사용 플랫폼	Python, FastAPI, Ollama, Open WebUI, Docker Compose, SQLite/PostgreSQL, Nginx, GitHub
강사 스펙	로컬 LLM 서비스 설계, FastAPI 연동, 조직 도입 컨설팅 및 운영 문서화 경험 5년 이상
수업대상	AI 강사, 기업 AI 리더, 스타트업 개발팀, 폐쇄망 AI 구축 프로젝트팀
소요시간	80-120시간
준비물	GPU 서버 또는 고성능 워크스테이션, 테스트 사용자 계정, 도입 제안서 템플릿, GitHub 저장소
산출물	로컬 LLM 서비스 프로토타입, 아키텍처 문서, 도입 제안서, 운영 매뉴얼
평가방법	아키텍처 25%, 구현완성도 30%, 운영문서 20%, 제안서 15%, 발표 10%