올라마 사용법, 내 그래픽카드로 로컬 AI(Ollama)를 돌려 봤습니다

ChatGPT 같은 AI를 내 PC 안에서만 돌려 보고 싶다면 올라마(Ollama)부터 깔아 보세요. 무료이고, 올라마 사용법은 설치 파일 하나와 명령 한 줄이면 시작됩니다. 저는 2.5GB짜리 작은 모델(qwen3:4b)에 한국어로 질문해 봤습니다. 처음 불러오는 데 23초쯤 걸렸고, 그 뒤로는 그래픽카드가 초당 약 116토큰을 뽑아냈습니다. 대답은 짧지만 쓸 만했습니다. 다만 대답 앞에 영어로 된 「생각하는 과정」이 길게 먼저 나왔습니다.

올라마에는 채팅 창이 있는 앱도 함께 깔립니다. 그런데 제가 시험한 샌드박스에서는 아이콘을 아무리 눌러도 그 창이 열리지 않았습니다. 그래서 이 글은 어느 PC에서나 똑같이 되는 명령 창 방법으로 갑니다. 올라마 0.40.16, RX 9070 XT가 꽂힌 PC의 윈도우 샌드박스에서 11월 12일에 해 봤습니다. 디스크는 프로그램에 약 3.1GB, 모델 하나에 2.3~2.5GB를 썼습니다.

내 PC에 깔리나: 윈도우 22H2와 그래픽카드 드라이버

공식 문서 기준으로 윈도우 10 22H2 이상(Home·Pro)이면 깔 수 있습니다. 관리자 권한은 필요 없습니다. 프로그램만 4GB 이상 빈 공간이 있어야 합니다. 모델은 따로 받으니 C드라이브에 여유가 10GB쯤은 있는 편이 마음 편합니다.

그래픽카드가 있으면 빠르고, 없어도 CPU와 램으로 돌아갑니다. 공식 문서가 밝힌 조건은 이렇습니다.

• 지포스(엔비디아): 드라이버 551.61 이상(윈도우 문서 기준)
• 라데온(AMD): Vulkan을 지원하는 라데온 드라이버. 윈도우용 ROCm 지원 목록에는 RX 7900 XTX·7900 XT·7900 GRE·7800 XT·7700 XT·7600 XT·7600과 PRO W7900~W7500만 올라 있습니다(ROCm v7 드라이버 필요). 목록에 없는 카드도 Vulkan으로 돌 수 있습니다(시험 PC는 목록에 없는데도 ROCm으로 잡혔습니다. 아래 「제 PC에서 본 것」)
• 그래픽카드가 없거나 못 쓰면: 모델이 램에 올라가 CPU로 돕니다. 보통 훨씬 느립니다(이번에 재지는 않았습니다)

내 그래픽카드를 실제로 쓰는지는 설치 뒤에 명령 하나로 확인합니다. 아래 「그래픽카드를 쓰는지 보는 법」에 정리했습니다.

OllamaSetup.exe 받아서 깔기

공식 사이트 다운로드 페이지에서 「Download manually」를 누르면 OllamaSetup.exe를 받습니다. 시험 때 받은 파일은 1,857,663,944바이트(약 1.73GB)였고, 내려받는 데 43초 걸렸습니다. 파일 지문(SHA256)은 GitHub 공식 릴리스에 적힌 값과 같았고, 디지털 서명은 「Ollama Inc.」 이름으로 정상이었습니다. 받은 곳이 공식 사이트가 아니면 이 이름부터 확인하세요(파일 속성 › 디지털 서명 탭).

⬇ 올라마 공식 다운로드 (ollama.com)

설치 화면에는 Install과 Cancel 단추뿐이고 사용권 동의 체크 칸도 없습니다. Install을 누르면 1분쯤 걸려 끝나고, 프로그램은 C:\Users\사용자이름\AppData\Local\Programs\Ollama에 깔립니다. 설치를 마친 폴더 크기는 3.12GB였습니다.

설치가 끝났는데 아무 창도 안 떠요

시험 때도 설치가 끝난 뒤 아무 창이 뜨지 않았습니다. 고장이 아닙니다. 올라마는 화면 오른쪽 아래 작업 표시줄 알림 영역에서 조용히 돌고 있습니다. 시계 옆 ^(숨겨진 아이콘 표시)를 누르면 라마(동물) 얼굴 아이콘이 보입니다. 이 아이콘이 있으면 올라마가 켜져 있는 것입니다.

첫 모델 받아서 한국어로 물어보기

설치가 끝나면 명령 프롬프트 창을 새로 엽니다(시작 › cmd). 설치 전에 열어 둔 창에서는 「’ollama’은(는) 내부 또는 외부 명령… 아닙니다」가 떴습니다. 설치 프로그램이 사용자 PATH에 올라마 폴더를 넣는데, 이미 열려 있던 창은 그 사실을 모르기 때문입니다. 새 창에서는 바로 됐습니다.

새 창에 아래 한 줄을 넣습니다. 처음이면 모델을 받은 뒤 바로 대화가 시작됩니다.

ollama run qwen3:4b

qwen3:4b는 2.5GB짜리 작은 모델로, 100개가 넘는 언어를 지원합니다(올라마 모델 페이지 기준 · 한국어를 따로 꼽지는 않음). 이 모델을 받는 데 42초 걸렸습니다. >>> 표시가 나오면 질문을 그냥 한국어로 치면 됩니다.

「컴퓨터가 갑자기 느려졌을 때 먼저 확인할 것 세 가지를 짧게 알려 줘.」라고 물었더니 「1. CPU 사용량 2. 메모리 사용량 3. 디스크 용량」이라고 답했습니다. 「윈도우 업데이트 후 소리가 안 날 때 확인할 것 세 가지를 한국어로 짧게」라고 묻자 「음향 드라이버 정상 설치 확인, 음향 서비스 실행 중 확인, 출력 장치 올바른 선택 확인」이라고 답했습니다. 방향은 맞지만 아주 짧고, 그대로 믿고 따라 할 수준의 설명은 아닙니다. 작은 모델은 그럴듯하게 틀린 말도 하니, 중요한 일은 공식 문서로 다시 확인하세요.

대답 앞에 영어 문장이 길게 먼저 나오는 것은 이 모델의 「생각 모드」입니다. 끄는 옵션(--think=false)을 붙여서도 해 봤는데, 시험한 판에서는 영어 생각 과정이 그대로 나온 뒤 대답이 이어졌습니다. 기다리면 한국어 대답이 나오니 놀라지 않아도 됩니다. 대화를 끝낼 때는 /bye를 칩니다.

그래픽카드를 쓰는지 보는 법

대화 중이거나 끝낸 지 5분이 안 됐을 때, 다른 명령 창에서 아래를 칩니다. 올라마는 모델을 기본 5분 동안 메모리에 올려 둡니다.

ollama ps

볼 곳은 PROCESSOR 칸 하나입니다. 공식 문서가 밝힌 뜻은 이렇습니다.

100% CPU가 뜨면 먼저 그래픽카드 드라이버를 최신으로 올려 보세요. 드라이버가 꼬였다면 그래픽카드 드라이버를 지우고 새로 까는 순서대로 해 보세요. 「48%/52% CPU/GPU」처럼 나뉘어 뜨면 모델이 그래픽카드 메모리에 다 안 들어간 것입니다. 더 작은 모델을 쓰면 100% GPU로 바뀔 수 있습니다.

내 그래픽카드에는 어느 크기까지 들어가나

먼저 내 그래픽카드 메모리를 봅니다. 작업 관리자(Ctrl+Shift+Esc) › 성능 › GPU를 누르면 「전용 GPU 메모리」 칸에 나옵니다. 그다음 모델 크기를 비교합니다. 올라마 모델 페이지에 적힌 파일 크기는 이렇습니다.

실제로는 파일 크기보다 메모리를 더 쓸 수 있습니다. 시험에서도 2.5GB짜리 qwen3:4b가 ollama ps에는 7.6GB로 잡혔습니다(아래 「제 PC에서 본 것」). 그러니 그래픽카드 메모리가 파일 크기보다 넉넉한 모델부터 고르세요. 공식 표가 따로 없어서, 크기를 정했으면 ollama ps로 100% GPU인지 직접 확인하는 것이 가장 확실합니다. llama3.2는 공식 지원 언어에 한국어가 없습니다.

제 PC에서 본 것 한 가지

시험 PC의 RX 9070 XT는 공식 윈도우 ROCm 목록에 없는 카드인데, 올라마 기록 파일(server.log)에는 ROCm으로 잡혔다고 나왔습니다. 공식 목록에 없는 카드라서, 샌드박스가 아닌 실제 윈도우에서는 ROCm 대신 Vulkan으로 잡힐 수도 있습니다. 이 부분은 확인하지 못했습니다. 어느 쪽이든 ollama ps에 GPU가 뜨면 그래픽카드를 쓰는 것입니다. 또 샌드박스라서인지 그래픽카드가 두 장으로 잡혀 메모리가 실제(16GB)의 두 배로 계산됐습니다. 그 때문에 대화 길이(컨텍스트)가 32768로 크게 잡혔습니다. ollama ps의 크기는 모델 파일(2.5GB)보다 큰 7.6GB로 나왔습니다. 공식 문서 기준으로 그래픽카드 메모리가 24GiB 미만이면 기본 대화 길이는 4k이니, 보통 PC에서는 이 숫자가 더 작게 나올 것입니다.

올라마 사용법: 자주 쓰는 명령 5개

시험에서 ollama stop qwen3:4b를 치자 ollama ps 목록이 비었습니다. ollama rm qwen3:4b를 치자 「deleted ‘qwen3:4b’」가 뜨고 모델 폴더가 0GB로 비었습니다.

모델은 어디에 쌓이나, C드라이브가 모자라면

받은 모델은 C:\Users\사용자이름\.ollama\models에 쌓입니다. qwen3:4b 하나를 받았을 때 이 폴더가 2.33GB였습니다(ollama ls에는 2.5 GB로 표시). 큰 모델을 여러 개 받으면 금방 수십 GB가 됩니다.

모델을 다른 드라이브에 두려면 공식 문서 순서대로 저장 위치를 바꿉니다. 이 부분은 이번에 시험하지 않았고, 이미 받은 모델이 저절로 옮겨지는지도 확인하지 못했습니다.

1. 1알림 영역의 올라마 아이콘을 눌러 올라마를 끝냅니다(Quit).
2. 2설정(윈도우 11)이나 제어판(윈도우 10)에서 「환경 변수」를 검색해 계정용 환경 변수 편집 창(영문 이름 Edit environment variables for your account)을 엽니다.
3. 3사용자 변수에 이름 OLLAMA_MODELS, 값 D:\ollama-models처럼 옮길 폴더를 넣고 확인을 누릅니다.
4. 4시작 메뉴에서 올라마를 다시 실행합니다.

지우는 법: 모델부터 지우고 제거하세요

올라마는 설정 › 앱 › 설치된 앱(윈도우 11 기준)에서 지웁니다. 모델 폴더 위치(OLLAMA_MODELS)를 바꿨다면 제거 프로그램이 받아 둔 모델을 지우지 않습니다(올라마 윈도우 공식 문서). 기본 위치일 때는 이번에 확인하지 못했습니다. 그러니 지우기 전에 ollama rm 모델로 모델부터 지우고, 제거한 뒤 .ollama 폴더가 남았으면 직접 지우세요.

돈이 드는 건 클라우드 모델뿐

내 PC에서 모델을 돌리는 것은 전부 무료입니다. 올라마 프로그램은 MIT 사용권입니다. 공식 요금 페이지에도 「Running models on your own hardware is always unlimited.」라고 적혀 있습니다. 위의 시험은 가입도 로그인도 없이 했습니다.

돈이 드는 것은 클라우드 모델입니다. 모델 페이지에서 cloud가 붙은 태그(예: gemma4:cloud)는 내 PC가 아니라 올라마 서버에서 돕니다. 내 그래픽카드로는 못 돌리는 큰 모델이 급히 필요할 때 쓰는 것입니다. 요금은 기본료 없이 쓴 만큼(토큰당) 내는 방식(Pay as you go)과, 한 달 20달러에 매달 60달러어치 사용 크레딧이 들어 있는 Pro 등이 있습니다(2026년 11월 12일 공식 요금 페이지 기준). 이때는 질문이 밖으로 나간다는 점을 기억하세요. 내 PC에서 돌릴 때는 올라마가 질문과 자료를 보지 않습니다. 클라우드 모델을 쓸 때는 서비스를 위해 질문과 대답을 처리하되 저장·기록하지 않고 학습에도 쓰지 않는다고 합니다(올라마 공식 FAQ). 클라우드를 아예 끄려면 사용자 환경 변수 OLLAMA_NO_CLOUD를 1로 넣고 올라마를 다시 켜면 됩니다. 끄면 클라우드 모델과 웹 검색은 못 씁니다.

모델의 사용권은 모델마다 다릅니다. qwen3와 gemma4는 Apache 2.0이고, llama3.2는 메타의 자체 사용권입니다. 회사 일에 쓸 생각이면 모델 페이지의 License 항목을 확인하세요.

이번 시험에서 못 본 것

Windows 샌드박스(호스트 윈도우 11, Ryzen 9 7950X3D, RX 9070 XT, 샌드박스에 준 램 4GB)에 공식 사이트에서 받은 올라마 0.40.16을 깔아 시험했습니다. 다음은 해 보지 않았습니다.

• 올라마 앱의 채팅 창(샌드박스에서는 아이콘을 눌러도 창이 열리지 않았습니다)
• 지포스 그래픽카드, 그래픽카드 없는 PC(100% CPU일 때 속도), 샌드박스가 아닌 실제 윈도우
• 인터넷을 끊은 채로 대화, 모델 폴더 옮기기, gemma4 등 다른 모델

정리하면 올라마 사용법은 세 가지만 기억하면 됩니다. 새 명령 창에서 ollama run으로 묻고, ollama ps로 그래픽카드를 확인하고, 다 쓴 모델은 ollama rm으로 지웁니다. 내 PC 그래픽카드로 돌리는 무료 AI 도구는 사진 쪽에도 있습니다. 흐린 사진을 키우는 Upscayl 시험기도 함께 보세요.

자주 묻는 질문