내 컴퓨터에 AI 띄우는 법…올라마와 LM 스튜디오

설치하고 명령 한 줄이면 된다.

무료로 공개된 AI 모델을 고르는 방법은 앞선 무료 오픈웨이트 모델 분석 기사에서 다뤘고, 이번에는 그 모델을 실제로 내 컴퓨터에 띄우는 순서다. 도구는 둘이면 충분한데 하나는 명령어로 쓰고 다른 하나는 화면으로 쓰니, 명령어가 부담스럽다면 뒤쪽만 봐도 된다. 다만 처음 쓰는 사람이 거의 예외 없이 걸리는 함정이 셋 있어서 그것까지 함께 짚는다.

시작하기 전에 확인할 것

따로 준비할 것은 저장 공간과 메모리 두 가지뿐이다.

모델 파일이 작게는 4GB에서 크게는 20GB를 넘으니 디스크에 그만한 여유가 있어야 하고, 여러 개를 받아볼 생각이라면 넉넉히 잡는 편이 낫다.

그래픽카드가 없어도 돌아간다. 다만 그래픽 메모리 안에 모델이 통째로 들어가면 훨씬 빠르고, 안 들어가면 일반 램과 나눠 쓰면서 눈에 띄게 느려진다. 램 8GB짜리 노트북에서도 작은 모델은 대화가 되는 수준으로는 돈다. 어느 급까지 감당되는지는 앞선 기사의 사양별 용량표를 보면 된다. 대략 그래픽 메모리가 8GB면 소형, 16GB면 중형, 24GB면 30B급까지 올라간다.

올라마 설치하기

올라마(Ollama)는 명령어로 쓰는 도구다. 창이 따로 뜨지 않고 터미널에서 글자로만 주고받는 방식이라 처음에는 낯설지만, 실제로 외울 명령은 대여섯 개뿐이다. 설치 파일은 공식 사이트에서 받는다.

윈도우, 맥, 리눅스를 모두 지원한다. 윈도우는 설치 프로그램을 실행하면 고를 것이 거의 없이 끝나고, 다 되면 작업표시줄 오른쪽 아래에 아이콘이 상주한다. 명령어 경로도 알아서 등록되므로 따로 설정할 것은 없다.

설치가 끝났으면 터미널을 연다. 윈도우는 시작 메뉴에서 명령 프롬프트나 파워셸을 찾으면 되고, 맥은 스팟라이트에서 터미널을 부르면 된다. 검은 화면에 글자만 뜨는 창인데 여기에 명령을 한 줄씩 치는 것이 전부다.

첫 모델을 받아 대화해보기

이제 모델을 받을 차례다. 명령은 한 줄이고, 어떤 모델을 받을지는 이 줄 뒤에 적는다.

$ ollama run gemma4:e2b-it-qat
# 로컬에 없는 모델이면 자동 다운로드(약 4.3GB) 후 즉시 대화 세션 진입

이 한 줄이 내려받기와 실행을 같이 한다. 없는 모델이면 알아서 받아오고 이미 있으면 바로 띄우므로, 처음이든 두 번째든 같은 명령을 쓰면 된다. 4GB 남짓이라 인터넷 속도에 따라 몇 분 걸리고 그동안 진행률이 화면에 찍힌다. 받기가 끝나면 커서가 깜빡이면서 입력을 기다린다. 아무 말이나 한국어로 걸어보면 답이 돌아온다. 대화를 끝내려면 이렇게 치는데, 창을 그냥 닫아도 되지만 이 명령으로 나오는 편이 깔끔하다.

>>> /bye
# 대화 세션을 정상 종료하고 운영체제 터미널 프롬프트로 복귀

여기까지 왔으면 내 컴퓨터에서 AI가 돌아간 것이다. 회사 서버를 거치지 않으니 인터넷을 끊어도 대화가 이어지고, 무엇을 물었는지가 밖으로 나가지도 않는다. 자주 쓰는 명령은 몇 개 안 된다. 외울 필요는 없고 필요할 때 찾아 쓰면 된다.

함정 하나, 같은 모델인데 크기가 두 배 다르다

앞에서 gemma4:e2b가 아니라 gemma4:e2b-it-qat를 받으라고 한 이유가 있다. 콜론 뒤에 붙는 것을 태그라고 부른다. 같은 모델이라도 태그에 따라 다른 파일을 받는데, 기본 태그가 가장 작은 파일이 아니다. 젬마 4 E2B 실측이다.

-it-qat가 붙은 쪽이 절반 크기다. 학습 단계에서부터 압축을 염두에 두고 만든 판본이라 같은 4비트라도 더 작게 나오면서 품질은 크게 안 깎인다. 한 체급 위인 E4B도 마찬가지여서, 기본 태그가 9.6GB인데 QAT판은 6.1GB다. 그냥 ollama run gemma4:e2b라고 치면 7.2GB를 받는다. 램 8GB짜리 노트북을 염두에 두고 4GB짜리를 기대했다면 여기서 어긋난다.

장비가 넉넉하지 않다면 태그 뒤에 -it-qat를 붙여 메모리 점유를 절반 가까이 줄이는 것이 가장 효율적이다.

모델 이름은 어떻게 읽나

올라마에는 자주 쓰는 모델이 미리 등록돼 있어서 긴 주소를 적을 필요가 없다. 주요 모델은 이렇게 부른다.

태그를 안 붙이면 그 모델의 기본 판본을 받고, 크기를 정하고 싶으면 gemma4:12b처럼 뒤에 붙인다. 같은 이름이라도 12B와 31B는 성능도 요구 사양도 완전히 다른 모델이니 여기서 체급을 고르는 셈이다. 파일 이름에 붙은 q4, q8, bf16 같은 꼬리표는 숫자 하나를 얼마나 촘촘하게 저장했는지를 뜻한다. 숫자가 작을수록 파일이 작아지고 품질은 조금씩 떨어지는데, 4비트까지는 성능 하락이 거의 없다고 여러 곳에서 확인됐다. 특별한 이유가 없으면 4비트를 고르면 된다.

함정 둘, 긴 글을 넣었는데 앞부분을 잊는다

모델 설명에는 26만 토큰이니 100만 토큰이니 하는 숫자가 붙어 있다. 한 번에 얼마나 긴 글을 다룰 수 있는지를 뜻한다.

그런데 올라마로 돌리면 기본값이 4096이다. 모델이 아무리 긴 글을 감당하도록 만들어졌어도 설정을 그대로 두면 그 언저리에서 잘린다. 긴 문서를 통째로 붙여 넣었는데 앞부분을 기억 못 하거나 엉뚱한 답을 한다면 대개 이것 때문이다. 고치는 방법은 환경변수를 하나 만들어 값을 넣는 것이다. 컴퓨터가 프로그램에 넘겨주는 설정값이라고 보면 된다.

# [Windows] 시스템 설정 > 환경 변수 편집 > 사용자 계정 변수에 추가
OLLAMA_CONTEXT_LENGTH=32768

# [macOS / Linux] ~/.zshrc 또는 ~/.bashrc 파일에 추가
$ export OLLAMA_CONTEXT_LENGTH=32768

윈도우에서는 올라마를 완전히 끄고 설정에서 환경 변수 편집으로 들어가 계정 변수에 추가한 뒤 앱을 다시 켜야 적용된다. 길게 잡을수록 메모리를 더 먹으므로 무작정 늘리지는 않고, 다루려는 문서 길이에 맞춰 잡는 편이 낫다.

명령어가 싫으면 어떻게 하나

명령어가 부담스럽다면 LM 스튜디오(LM Studio)가 있다. 검색부터 대화까지 전부 화면으로 한다.

애플(Apple) 실리콘 맥과 윈도우, 리눅스를 지원한다. 이 제품은 최근 이름과 판번호가 함께 바뀌어서, 예전에 0.3 버전대로 불리던 것이 지금은 바이오닉(Bionic) 1.x 버전대다. 검색해서 나오는 옛 설명과 화면이 조금 다를 수 있는데 모델을 받아 돌리는 기능 자체는 그대로이고 자동화 기능이 얹혔다. 설치하고 열면 왼쪽에 탭이 늘어서 있다. 화면은 크게 네 곳으로 나뉘고, 처음에는 두 곳만 알면 된다.

Discover 탭에서 검색하면 허깅페이스(Hugging Face)에 올라온 모델을 그대로 뒤진다. 키워드로 찾아도 되고 주소를 통째로 붙여넣어도 되는데, 같은 모델의 여러 판본이 목록으로 뜨는 대목이 앞서 말한 태그와 같은 얘기다. 파일 크기가 같이 표시되니 자기 장비에 맞는 것을 고르면 된다. 설정은 My Models 탭에서 한다. 모델 옆 톱니바퀴를 누르면 그래픽 메모리에 몇 층을 올릴지, 컨텍스트를 얼마로 잡을지, 가속 기능을 켤지가 한 화면에 나온다. 여기서 정한 값이 그 모델의 기본값으로 남으므로 한 번만 맞춰두면 된다.

LM 스튜디오도 터미널에서 쓸 수 있다. lms라는 명령이 앱에 함께 깔리므로 따로 받을 것은 없는데, 다만 앱을 최소 한 번은 실행해야 인식된다. 설치만 하고 한 번도 안 열었다면 명령을 못 찾는다는 말이 나온다. 그래도 안 잡히면 아래를 한 번 돌린다.

$ npx lmstudio install-cli
# lms 명령어가 터미널에서 즉시 인식되지 않을 때 전역 등록 실행

lms get으로 모델을 받고 lms load로 설정까지 지정해 띄운다. --gpu는 0에서 1 사이 비율이나 max, off를 받고, --context-length로 길이를 정한다. 앞서 화면에서 만지던 값을 그대로 명령으로 주는 셈이다.

$ lms get gemma4
$ lms load gemma4 --gpu max --context-length 32768
# 그래픽 메모리에 100% 오프로드하고 컨텍스트를 32K로 지정하여 로드

--estimate-only를 붙이면 실제로 올리지 않고 필요한 메모리만 계산해서 보여준다. 내 장비가 그 모델을 감당할지 미리 재보는 데 쓴다.

허깅페이스에서 직접 가져오기

올라마 목록에 없는 모델도 쓸 수 있다. 모델이 올라와 있는 저장소 주소를 그대로 적으면 되는데, 공개된 모델 대부분이 허깅페이스라는 곳에 모여 있다.

$ ollama run hf.co/<사용자명>/<저장소명>
# 별도 설정 없이 허깅페이스에 등록된 기본 4비트 양자화 판본 자동 다운로드

이렇게만 쓰면 4비트 판본을 받는다. 다른 판본을 원하면 콜론 뒤에 붙인다.

$ ollama run hf.co/unsloth/Qwen3.8-27B-GGUF:Q3_K_XL
# Unsloth Q3_K_XL 3비트 경량 판본(13GB)을 지정하여 빠듯한 장비에서 구동

큐원 3.8 27B 하나에만 판본이 24종 올라와 있다. 3비트로 조이면 13GB, 2비트면 10GB까지 내려가므로 장비가 빠듯할 때 한 체급 큰 모델을 억지로 올려보는 방법이 된다. 다만 2비트 이하로 내려갔을 때 품질이 얼마나 깎이는지는 어느 회사도 공개하지 않았으니, 중요한 작업에 쓸 생각이라면 답을 한번 검증해보는 편이 좋다.

함정 셋, 가속 파일이 따로 온다

같은 모델을 같은 그래픽카드에서 돌렸는데 속도가 몇 배씩 차이 나는 경우가 있다. 뮤즈 글리머가 그렇다.

이 모델에는 속도를 올려주는 보조 파일이 따로 있는데, 기본 태그로 받으면 딸려오지 않는다. 태그 이름에 그 차이가 드러난다.

두 태그의 2GB 차이가 그 보조 파일이다. 엔비디아(Nvidia) 계열과 애플 계열로 나뉘어 있으니 자기 그래픽카드에 맞는 것을 골라야 하고, 이름 안에 nvfp4나 mlx 같은 표시로 구분된다. 다만 이 파일을 붙였을 때 속도가 얼마나 오르는지, 답의 품질이 그대로인지는 아직 확실하지 않다. 만든 쪽은 품질이 같다고 하고, 별도로 시험해본 곳에서는 정확도가 떨어졌다는 결과가 나왔다. 켜서 쓸 생각이라면 자기 작업으로 한 번 확인해보는 편이 좋다.

저장 공간이 모자랄 때

모델을 몇 개 받다 보면 디스크가 금방 찬다. 20GB짜리를 서너 개만 받아도 60GB가 넘으니, 어디에 쌓이는지부터 알아두는 편이 낫다.

안 쓰는 모델은 명령으로 지우는데, 파일 탐색기에서 직접 지워도 되지만 목록이 어긋날 수 있어 권하지 않는다.

$ ollama rm gemma4:e2b
# 불필요한 모델 파일을 디스크에서 완전히 삭제하여 저장 공간 확보

C드라이브가 좁다면 저장 위치를 통째로 옮길 수 있다.

환경변수 OLLAMA_MODELS에 원하는 경로를 넣어두면 그다음부터 받는 모델이 거기 쌓이므로, 용량이 넉넉한 드라이브를 미리 지정해두는 편이 낫다.

다른 프로그램에 연결하기

받아둔 모델은 대화창에서만 쓰는 게 아니다.

올라마를 서버로 켜두면 다른 프로그램이 여기에 붙어서 그 모델을 갖다 쓴다.

$ ollama serve
# 기본 포트(http://127.0.0.1:11434)로 다른 프로그램 연동용 로컬 서버 개방

코딩 도구에 곧바로 물려주는 명령도 따로 있는데, 유료 서비스를 쓰던 자리에 내 모델을 끼워 넣는 셈이다.

$ ollama launch claude --model qwen3.8
# 유료 API 대신 로컬 큐원 3.8 모델을 코딩 에이전트 백엔드로 직결

공식 문서에 올라온 연결 대상은 클로드(Claude) 코드, 오픈코드, 딥시크 하네스, VS Code, 오픈클로, 헤르메스 에이전트다. LM 스튜디오도 같은 방식의 서버 기능을 제공하므로, 외부 서비스를 쓰던 프로그램에서 주소만 내 컴퓨터로 바꿔주면 그대로 붙는다. 장비가 감당 못 하는 큰 모델은 회사 서버를 빌려 쓸 수도 있다. 계정을 만들어 로그인하면 같은 명령 체계로 부를 수 있다.

$ ollama signin
$ ollama run gemma4:cloud
# 계정 인증 후 로컬 GPU 한계를 넘는 대형 모델을 원격 서버에서 실행

안 되면 어디를 봐야 하나

메모리가 부족하다는 말이 나오면 더 작은 판본을 받거나 컨텍스트를 줄인다. 태그에 -it-qat를 붙이는 것만으로 해결되는 경우가 많고, 그래도 안 되면 한 체급 아래 모델로 내려간다. 속도가 기대에 못 미치면 그래픽 메모리에 모델이 다 올라갔는지부터 본다. 일부만 올라가고 나머지가 일반 램에 남으면 속도가 확 떨어지는데, LM 스튜디오는 톱니바퀴 설정에서 몇 층을 올릴지 직접 정할 수 있다.

받은 파일이 생각보다 크다면 태그를 다시 본다. 기본 태그가 가장 작은 판본이 아니라는 점을 잊기 쉽다. 이미지를 넣었는데 못 읽으면 그 모델이 이미지를 지원하는지부터 확인한다. 지원하는 모델이라면 명령 뒤에 파일 경로를 붙여주면 되고, 지원하지 않는 모델은 아무리 넣어도 글자만 읽는다.

결국 세 단계면 끝난다

설치하고, 모델을 부르고, 대화를 시작하면 거기서 끝이다.

1. 도구를 설치하고(올라마 또는 LM 스튜디오)
2. 내 컴퓨터 사양에 맞는 경량 태그(-it-qat 등)로 모델을 받아
3. 터미널이나 채팅창에서 곧바로 질문을 던지는 것.

나머지 환경변수 설정이나 외부 도구 연동은 쓰다가 필요한 순간에 하나씩 찾아봐도 늦지 않다. 내 데이터가 외부로 나가지 않는 나만의 AI 환경을 구축하는 일은 생각보다 훨씬 단순하다.