ollama - llama 3.2 Bllossom 3B gguf 한국어 모델 로컬 설치

God Meta

로컬 PC에 llama 3.2 를 설치하는 법

GGUF 파일 다운로드

https://huggingface.co/Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M 에 접속하여 GGUF 파일을 다운로드 받는다.

gguf 파일을 다운로드

Q숫자는 양자화(Quantization) 수준을 의미한다.
보통 숫자가 높을수록 용량도 크고 느리지만 정확도가 높고, 반대로 숫자가 낮을수록 용량이 작다.

모델파일 다운로드

Modelfile

0.00MB

명령어 실행

ollama create llama3.2-bllossom-kor-3B -f Modelfile

gguf 파일과 ModelFile을 한 폴더에 넣어준 후 해당 폴더에서 위 명령어를 실행한다.

 % ollama create llama3.2-bllossom-kor-3B -f Modelfile
gathering model components 
gathering model components 
gathering model components 
gathering model components 
gathering model components 
gathering model components 
gathering model components 
gathering model components 
gathering model components 
gathering model components 
gathering model components 
gathering model components 
gathering model components 
gathering model components 
copying file sha256:389f380bbfbe77d9171937b3d166a26ccc3e04201f3d9fb0ca1b5e01b6787621 100% 
parsing GGUF 
using existing layer sha256:389f380bbfbe77d9171937b3d166a26ccc3e04201f3d9fb0ca1b5e01b6787621 
using existing layer sha256:966de95ca8a62200913e3f8bfbf84c8494536f1b94b49166851e76644e966396 
creating new layer sha256:a25a6d48d6611ea12c25544d43104f7a4bcc68da33459f80e9bd0b5835ce05a4 
using existing layer sha256:fefc914e46e6024467471837a48a24251db2c6f3f58395943da7bf9dc6f70fb6 
writing manifest 
success

리스트 확인

% ollama list                                        
NAME                               ID              SIZE      MODIFIED       
llama3.2-bllossom-kor-3B:latest    d3fe59969bb8    2.0 GB    36 seconds ago    
olmo2:13b                          6c279ebc980f    8.4 GB    19 hours ago      
llama3.2-vision:latest             085a1fdae525    7.9 GB    20 hours ago      
gemma2:9b                          ff02c3702f32    5.4 GB    33 hours ago      
gemma2:27b                         53261bc9c192    15 GB     34 hours ago      
llama3.2:latest                    a80c4f17acd5    2.0 GB    34 hours ago      
deepseek-r1:14b                    ea35dfe18182    9.0 GB    34 hours ago      
deepseek-r1:7b                     0a8c26691023    4.7 GB    35 hours ago

ollama 에서 해당 모델 실행

ollama run llama3.2-bllossom-kor-3B