Ollama와 RAG를 활용한 PDF 기반 챗봇 개발이번 포스트에서는 Python으로 Ollama와 RAG(검색 증강 생성)를 결합하여 PDF 문서를 기반으로 한 챗봇을 만드는 방법을 소개하겠습니다.전반적인 프로세스는 아래와 같습니다.PDF 문서 로드텍스트를 청킹(chunking)벡터 데이터베이스에 저장사용자의 질문에 따라 관련 내용을 검색 후 답변진행하기 앞서 Ollama 의 설치가 필요하므로 설치가 되어있지 않은 분들은 아래 게시글을 참고해 주세요.https://god-logger.tistory.com/204 [로컬 LLM 설치 가이드] 내 PC에 나만의 LLM AI 설치하기본 포스팅은 개발 지식이 없으신 분들을 타겟하여 작성하였습니다. 참고 바랍니다.코딩 몰라도 괜찮아요!개발 지식이 없어도, 단계별..
본 포스팅은 개발 지식이 없으신 분들을 타겟하여 작성하였습니다. 참고 바랍니다.코딩 몰라도 괜찮아요!개발 지식이 없어도, 단계별로 따라 하기만 하면 로컬 PC에서 나만의 인공지능 모델을 실행할 수 있다면 믿으시겠나요?이번 블로그 글에서는 프로그래밍을 전혀 모르는 분들도 쉽게 따라 할 수 있는 방법으로, Ollama와 Chatbox를 활용해 Gemma 3(4B) 모델을 설치하는 과정을 소개합니다.복잡한 코드는 잊고, 설치만으로 AI를 경험해보세요!한번만 따라하시면, 아래 모델들을 PC에 설치하여 돌려보실 수 있습니다.Google - Gemma3 / Gemma2 ...China - Deekseek-r1LG - Exaone / Exaone DeepMeta - Llama 3.2 / Llama 3 ...Mistr..
Chatbox란?chatbox는 간단히 말해서 로컬 환경에서 AI 챗봇을 실행하고 대화할 수 있게 해주는 도구입니다. 복잡한 설정 없이도 쉽게 설치해서 사용할 수 있는 게 특징이죠. 특히 오픈소스 모델이나 로컬에서 돌리는 LLM(대규모 언어 모델)을 활용하고 싶을 때 유용하게 쓰입니다. 저 같은 경우는 주로 ollama라는 툴과 연동해서 로컬 LLM을 돌릴 때 chatbox를 사용합니다.이 조합이 정말 편리하더라고요. ChatBox는 브라우저기반의 실행도 가능하지만 클라이언트의 경우 윈도우,맥,우분투 등 어떤 환경에서도 가능합니다. Open-WebUI와의 비교 사실 처음엔 chatbox 대신 docker를 이용해 open-webui를 써봤습니다. open-webui는 UI가 정말 깔끔하고 보기 좋아서 첫..
로컬 PC에 llama 3.2 를 설치하는 법GGUF 파일 다운로드https://huggingface.co/Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M 에 접속하여 GGUF 파일을 다운로드 받는다.Q숫자는 양자화(Quantization) 수준을 의미한다.보통 숫자가 높을수록 용량도 크고 느리지만 정확도가 높고, 반대로 숫자가 낮을수록 용량이 작다.모델파일 다운로드명령어 실행ollama create llama3.2-bllossom-kor-3B -f Modelfilegguf 파일과 ModelFile을 한 폴더에 넣어준 후 해당 폴더에서 위 명령어를 실행한다. % ollama create llama3.2-bllossom-kor-3B -f Modelfilegather..
