AMD BC-250 ( bc250 ) AI 활용 3 - LLM llama.cpp (Steam OS)

서론

사실 기존 바자이트에서의 llama.cpp 사용 글을 작성했었습니다.

당연히 비슷하게 하면 되겠지 하고 해 봤는데 이번에 Steam OS에서 llama.cpp를 통한 llm 사용을 시도하면서 꽤나 다양하게 막히는 부분이 있음을 확인했습니다.

분명 Steam OS 에서도 llama.cpp를 구동하시는 분들이 있으실 거라 생각이 들어 세팅방법을 공유드리고자 합니다. 

환경

• Steam OS

사전 설치

SteamOS는 arch linux 기반이라 패키지 설치에 pacman 을 사용합니다. 

steamos에서 시스템 관련 수동 설정을 못하게 readonly 처리된 부분을 비활성화시켜주고 작업은 시작합니다. 

sudo steamos-readonly disable

많은 시행착오를 거치며 설치해야할 부분들을 모아봤습니다. 

sudo pacman -Syu base-devel gcc gcc-libs cmake openmp

sudo pacman -S vulkan-headers vulkan-html-docs

sudo pacman -Syu --needed spirv-headers spirv-tools

sudo pacman -S git base-devel cmake openssl

위 4줄정도 일단 실행해 주시고 설치작업에 들어가겠습니다.

SteamOS에서 다양한 패키지 설치

스팀 OS 환경에서 stdint.h, stdio.h, features.h, arpa/inet.h 등 리눅스의 가장 기초적인 C/C++ 표준 헤더 파일들을 전부 찾지 못하는 현상이 있어 깨진 표준 라이브러리를 강제로 덮어주는 처리를 진행하고 cmake를 진행하겠습니다.

# 1. 아치 리눅스 키링 업데이트
sudo pacman -Sy archlinux-keyring

# 2. 깨진 표준 라이브러리 강제 덮어쓰기 설치
sudo pacman -S --overwrite "*" glibc linux-api-headers base-devel

설치 

llama cpp code를 clone 받고, 폴더들을 생성해 줍니다.

cd ~
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
mkdir build
cd build

이제 cmake를 통해 상위 디렉터리에 있는 CMakeLists.txt를 기준으로 빌설정을 생성합니다.

cmake .. -DGGML_VULKAN=ON

이때 -DGGML_VULKAN=ON 을 꼭 넣어줘야 합니다. ggml라이브러리를 Vulkan 백엔드 지원을 포함해서 빌드하라는 설정입니다.

메이크가 잘 안돼서 그전에 키링 업데이트부터 진행합니다.

이제 만들어진 설정들을 make 진행하도록 하겠습니다. 

make -j$(nproc)  # 사용 가능한 모든 코어 사용

이제 build/bin 폴더가 생김을 확인할 수 있습니다.

 

모델 다운로드

#bin폴더 들어가기
cd ./bin 

# gemma4 e4b Q8 모델 (40cu | generation 44~50 t/s) 
./llama-cli -hf unsloth/gemma-4-E4B-it-GGUF:Q8_0

# gemma4 12b Q6 모델 (40cu | prompt: 80 t/s, generation 24~25 t/s)
./llama-cli -hf unsloth/gemma-4-12b-it-GGUF:Q6_K

# qwen 3.5 9b Q8 모델 (40cu | prompt: 80 t/s, generation 24~25 t/s)
./llama-cli -hf unsloth/Qwen3.5-9B-GGUF:Q8_0

서버 구동

./llama-server

 

나머지 사용법은 이전에 작성한 아래 문서에서 확인해 주시기 바랍니다.

https://god-logger.tistory.com/244

AMD BC-250 ( bc250 ) AI 활용 2 - LLM llama.cpp

 

 

BC-250 관련 글

AMD BC-250 ( bc250 ) 스팀 머신 활용 - Bazzite 설치 : https://god-logger.tistory.com/242 

AMD BC-250 ( bc250 ) 스팀 머신 활용 - Bazzite 설치

 

AMD BC-250 ( bc250 ) 구매 / 기본 세팅 : https://god-logger.tistory.com/239

AMD BC-250 ( bc250 ) 구매 / 기본 세팅

 

AMD BC-250 ( bc250 ) 커스텀 바이오스 설정 : https://god-logger.tistory.com/240

AMD BC-250 ( bc250 ) 커스텀 바이오스 설정

 

AMD BC-250 ( bc250 ) AI 활용 - ComfyUI : https://god-logger.tistory.com/241

AMD BC-250 ( bc250 ) AI 활용 - ComfyUI

 

AMD BC-250 ( bc250 ) 스팀머신 활용 2 (Steam OS) 설치 - https://god-logger.tistory.com/275

AMD BC-250 ( bc250 ) 공식 Steam OS 스팀OS 설치

 

Steam OS 각종 설정 한방 킷 - https://god-logger.tistory.com/277

AMD BC-250 ( bc250 ) Steam OS 한방 툴킷 ( 40 CU Unlock 등 )