안녕하세요, 코딩은 못 하지만 IT가 너무 궁금한 비개발자 루카(Luka)입니다. 요즘 AI 열풍이 정말 뜨겁잖아요? 클라우드 기반 AI 서비스는 많이 써봤지만, '내 PC에서 AI를 직접 돌릴 수 있다는데, 그게 뭘까? 비개발자도 가능할까?' 하는 궁금증이 꼬리에 꼬리를 물어서 결국 직접 파고들어 봤습니다!

thumbnail

제가 찾은 답은 바로 'Ollama'였습니다. 이게 뭔지, 왜 비개발자에게 한 줄기 빛이 되는지, 그리고 제가 직접 해보고 느낀 점들을 솔직하게 공유해 드릴게요.

왜 '내 PC에' AI를 띄워야 할까? (로컬 LLM의 매력)

사실 처음에는 '굳이 왜?'라는 생각이 들었어요. 챗GPT나 클로드 같은 서비스가 있는데 말이죠. 그런데 파고들수록 로컬 LLM(Large Language Model)의 매력이 명확하게 다가왔습니다.

  1. 프라이버시와 보안: 이게 가장 컸습니다. 민감한 정보나 개인적인 아이디어를 AI와 공유할 때, 이 데이터가 어딘가 클라우드 서버에 저장되거나 학습에 사용될까 봐 찜찜할 때가 많잖아요? 로컬 LLM은 모든 데이터 처리가 내 컴퓨터 안에서 이루어지기 때문에, 정보 유출 걱정 없이 안심하고 사용할 수 있습니다.
  2. 비용 절감: 클라우드 기반 AI API를 쓰다 보면 토큰 사용량에 따라 비용이 발생합니다. 처음엔 적지만, 자주 쓰다 보면 무시할 수 없는 금액이 되기도 하죠. 내 PC에서 돌리면 이런 API 비용이 전혀 들지 않습니다.
  3. 오프라인 사용 가능: 인터넷이 연결되지 않는 환경에서도 AI를 사용할 수 있습니다. 비행기 안이나 네트워크가 불안정한 곳에서도 나만의 AI 비서가 항상 옆에 있는 셈이죠.
  4. 커스터마이징의 가능성 (비록 제가 할 줄은 몰라도!): 언젠가는 내가 가진 특정 데이터셋으로 AI를 학습시켜 나만의 특화된 AI를 만들 수 있다는 점도 매력적이었어요. 물론 이건 제가 당장 할 수 있는 영역은 아니지만, 가능성이 있다는 것만으로도 두근거렸습니다.

솔직히 이전에는 이런 로컬 LLM 구축이 개발자들만의 영역이고, 복잡한 코딩과 고성능 GPU가 필수라고 생각했어요. 그런데 Ollama를 만나고 그 편견이 완전히 깨졌습니다.

Ollama, 비개발자에게 한 줄기 빛이 되다!

Ollama는 정말 신기한 도구입니다. 복잡한 파이썬 환경 설정이나 Docker 컨테이너 같은 거 없이, 그냥 일반 애플리케이션처럼 다운로드해서 설치하고 몇 가지 간단한 명령어를 입력하는 것만으로 LLM을 내 PC에서 실행할 수 있게 해줘요. 제가 찾아보니 Ollama는 복잡한 LLM 실행 환경을 추상화하여, 일반 사용자가 쉽게 접근할 수 있도록 도와주는 일종의 '런타임' 같은 개념이더라고요.

Ollama의 가장 큰 장점은 다음과 같습니다.

  • 쉬운 설치: macOS, Windows, Linux 등 주요 운영체제를 모두 지원하며, 설치 파일만 받으면 끝!
  • 간편한 모델 관리: ollama pull 명령어로 원하는 모델을 쉽게 다운로드하고, ollama run으로 바로 실행할 수 있습니다. 모델 버전 관리나 삭제도 간단합니다.
  • 다양한 모델 지원: Llama 2, Mistral, Gemma, Phi-2 등 시중에 인기 있는 다양한 오픈소스 LLM을 손쉽게 사용할 수 있습니다.
  • 하드웨어 추상화: CPU와 GPU 사용을 자동으로 최적화하여 (가능하다면) 성능을 끌어올려 줍니다. 제가 개발자는 아니지만, 이런 복잡한 백엔드를 알아서 처리해준다는 게 정말 편리하다고 느꼈습니다.

공식 문서 기준, Ollama를 통해 Llama 2 7B 모델을 실행하려면 최소 8GB RAM이 권장되며, 더 안정적인 성능을 위해서는 12GB 정도가 확보되어야 한다고 명시되어 있습니다. 작은 모델인 Gemma 2B는 6GB RAM으로도 충분히 실행 가능하다고 해요. 제 노트북은 16GB RAM이라 일단 안심하고 시작할 수 있었습니다.

루카의 Ollama 설치 & 첫 실행기 (따라하기 가이드)

자, 이제 제가 직접 Ollama를 설치하고 첫 LLM을 실행해본 과정을 공유해 드릴게요. 정말 제가 했으니 여러분도 할 수 있습니다!

1단계: Ollama 다운로드 및 설치

가장 먼저 Ollama 공식 웹사이트(ollama.com)에 접속했습니다. 운영체제에 맞는 파일을 다운로드하면 되는데, 저는 Windows 사용자라서 Windows 버전을 받았습니다. 설치 과정은 일반적인 프로그램 설치와 동일했습니다. 다음, 다음, 완료!

2단계: 첫 모델 다운로드 및 실행 (feat. 터미널과의 첫 만남)

설치가 완료되면, 이제 AI 모델을 다운로드하고 실행해야 합니다. 여기부터는 '터미널'이라는 다소 생소한 검은 화면을 마주해야 합니다. 하지만 걱정 마세요! 딱 두 줄만 따라 치면 됩니다.

  1. 터미널(명령 프롬프트) 실행: Windows 검색창에 'cmd' 또는 '명령 프롬프트'라고 입력하여 실행합니다.

  2. 모델 다운로드: 저는 가장 보편적으로 많이 쓰이는 'llama2' 모델을 다운로드해보기로 했습니다. 터미널에 아래 명령어를 입력하고 엔터를 눌렀습니다.

    bash ollama pull llama2 이 명령어를 입력하면 llama2 모델을 다운로드하기 시작합니다. 제가 다운로드했을 때 Llama 2 7B 모델은 약 3.8GB 정도였고, 제 인터넷 환경에서는 5분 정도 걸렸던 것 같아요. 진행 상황이 %로 표시되어서 기다리는 동안 답답하지 않았습니다.

  3. 모델 실행: 다운로드가 완료되면 바로 모델을 실행할 수 있습니다. 터미널에 아래 명령어를 입력하고 엔터를 눌렀습니다.

    bash ollama run llama2 성공적으로 실행되면 ">>>" 프롬프트가 나타납니다. 이제 여기에 질문을 입력하면 Llama 2 모델이 답변을 해줍니다! "안녕하세요!"라고 입력해보니, 잠시 뒤에 "안녕하세요! 무엇을 도와드릴까요?"라고 답변이 나오는 순간, 정말 감격스러웠습니다. 제 PC에서 직접 AI가 답을 하다니! 코딩 한 줄 모르는 저도 해냈다는 생각에 뿌듯했습니다.

모델은 왜 이렇게 다양할까? LLM 모델 비교 (feat. 루카의 탐구)

Ollama로 다양한 모델을 쉽게 써볼 수 있다는 사실을 알고 나서, '도대체 모델마다 뭐가 다르지?' 하는 궁금증이 폭발했습니다. 제가 비개발자 시선에서 찾아보고 비교해본 인기 LLM 모델 몇 가지를 정리해봤습니다.

모델 이름 주요 특징 (비개발자 눈높이) 권장 사양 (RAM) 예상 파일 크기 루카의 한 줄 평가
Llama 2 (7B) Meta에서 개발, 가장 보편적이고 안정적임. 8GB 이상 약 3.8 GB 마치 챗GPT 베이직 버전처럼 무난해요!
Mistral (7B) 프랑스 Mistral AI에서 개발, Llama 2보다 작고 빠르면서도 성능 좋다고 유명. 8GB 이상 약 4.1 GB Llama 2보다 똑똑하고 빠르게 느껴졌어요.
Gemma (2B) Google에서 개발, 가장 가볍고 빠름. 6GB 이상 약 1.5 GB 제일 가볍고 빠릿해서 테스트용으로 최고!
Phi-2 Microsoft에서 개발, 소규모 모델인데도 논리적 추론이 좋다고 함. 4GB 이상 약 1.6 GB 작은 모델인데도 꽤 똑똑해서 놀랐어요.

(참고: 위 표의 사양 및 파일 크기는 모델의 양자화(quantization) 버전에 따라 달라질 수 있으며, 7B는 70억 개의 매개변수를 의미합니다. 제가 찾아보니 Mistral 7B 모델은 Llama 2 7B보다 파일 크기가 아주 미세하게 더 크지만, 효율성 덕분에 더 빠릿하게 느껴질 때가 많다고 합니다.)

이 표를 보니, 각 모델이 가진 특징과 최적화된 사용처가 있다는 것을 알 수 있었습니다. 제 노트북 사양과 사용 목적에 맞춰 여러 모델을 테스트해보고 가장 잘 맞는 걸 찾을 수 있다는 게 정말 좋았습니다.

비개발자가 헷갈리기 쉬운 부분 (루카도 헤맸던 순간들)

제가 직접 해보면서 '아, 이거 비개발자는 여기서 헷갈리겠다!' 싶었던 부분들을 짚어보고, 해결법도 알려드릴게요.

1. "터미널이 대체 뭐야?" & 명령어 입력의 중요성

  • 제가 헷갈린 점: '터미널', '명령 프롬프트', '콘솔'... 용어부터 낯설고, 검은 화면에 글씨만 뜨니 뭔가 어려운 해킹 프로그램 같았습니다. 마우스로 클릭하는 게 익숙한데, 키보드로만 조작해야 한다는 것도 생소했고요.
  • 해결법: 터미널은 쉽게 말해 '텍스트로 컴퓨터에게 명령을 내리는 창'입니다. 윈도우의 '실행' 창과 비슷하지만, 더 많은 기능을 수행할 수 있죠. 우리가 마우스로 아이콘을 클릭해서 프로그램을 실행하는 것과 똑같은 작업을, 키보드로 특정 명령어를 입력해서 한다고 생각하면 편합니다. Ollama는 CLI(Command Line Interface) 도구라서 터미널을 사용하는 것이 기본입니다. ollama pull이나 ollama run 같은 명령어는 'Ollama 프로그램에게 ~해라'라고 지시하는 말이라고 이해하시면 됩니다. 틀려도 컴퓨터가 고장 나지 않으니, 일단 과감하게 입력해보는 게 중요해요!

2. 모델 용량이 생각보다 커요! 저장 공간 관리

  • 제가 헷갈린 점: Llama 2 7B 모델이 3.8GB라는 말을 들었을 때, '꽤 크네?' 싶었지만, 여러 모델을 다운로드하기 시작하니 하드디스크 용량이 금방 줄어드는 걸 보고 놀랐습니다. '이거 계속 쌓이면 어떡하지?' 걱정이 되더라고요.

  • 해결법: LLM 모델 파일은 생각보다 용량이 큽니다. 여러 모델을 테스트해보고 싶다면 충분한 저장 공간을 확보해두는 것이 좋습니다. 그리고 더 이상 사용하지 않는 모델은 언제든지 삭제할 수 있습니다. 터미널에 아래 명령어를 입력하면 됩니다.

    bash ollama rm llama2 이 명령어를 입력하면 llama2 모델이 내 컴퓨터에서 완전히 삭제됩니다. 물론 나중에 필요하면 다시 ollama pull llama2 명령어로 다운로드할 수 있으니 부담 없이 정리할 수 있습니다. 현재 다운로드된 모델 목록을 보려면 ollama list 명령어를 사용하면 됩니다.

3. GPU 없으면 안 되는 거 아니었나요? CPU로도 가능한가요?

  • 제가 헷갈린 점: 예전부터 AI는 '엔비디아 GPU'가 필수라는 인식이 강했어요. 제 노트북에는 엄청난 고성능 GPU가 없는데, 그럼 Ollama를 못 쓰는 건가? 하는 걱정이 있었습니다.
  • 해결법: 결론부터 말하면 CPU만으로도 충분히 Ollama를 사용할 수 있습니다! 물론 GPU가 있다면 훨씬 빠르고 효율적인 연산이 가능합니다. 제가 찾아본 바에 따르면, NVIDIA RTX 3060 같은 중급 GPU가 있다면 Llama 2 7B 모델을 초당 약 15~20 토큰 속도로 생성할 수 있습니다. 반면, 제 노트북 CPU (i7-11세대)로는 동일 모델을 초당 2~3 토큰 정도의 속도로 생성했습니다. 확실히 속도 차이가 큽니다. 하지만, 비개발자인 저처럼 간단한 질문을 던지고 답변을 받는 용도라면 CPU만으로도 충분히 기다릴 만합니다. Ollama가 자동으로 시스템의 GPU 사용 가능 여부를 판단하고, 가능한 경우 GPU를 활용하도록 설정해주기 때문에 사용자가 별도로 복잡한 설정을 할 필요가 없습니다. CPU로 돌려도 충분히 만족스러운 경험을 할 수 있으니, GPU 유무 때문에 망설일 필요는 전혀 없습니다!

Ollama와 함께라면, 나만의 AI 비서 어렵지 않아요!

Ollama를 직접 설치하고 로컬 LLM을 실행해보면서, IT 기술에 대한 막연한 두려움이 많이 줄어들었습니다. 코딩 지식이 없어도, 복잡한 서버 관리 지식이 없어도 이렇게 강력한 AI를 내 손안에 들여올 수 있다는 것이 정말 놀라웠어요.

이제 저는 Ollama로 문득 떠오르는 아이디어를 즉시 물어보거나, 긴 글을 요약하거나, 간단한 영작문 교정을 받는 등 다양한 용도로 활용하고 있습니다. 개인 데이터 보안 걱정 없이 나만의 AI 비서를 활용하는 경험은 정말 매력적입니다.

저처럼 비개발자도 충분히 이해하고 활용할 수 있다는 걸 직접 경험했으니, 여러분도 망설이지 말고 Ollama의 세계에 도전해보세요! 내 PC에서 나만의 AI를 만나는 특별한 경험, 꼭 한번 해보시길 추천합니다!

핵심 요약

  • Ollama는 복잡한 설정 없이 로컬 LLM을 손쉽게 구축하고 실행할 수 있도록 도와주는 도구입니다.
  • 데이터 프라이버시 보호, 비용 절감, 오프라인 사용 가능이 로컬 LLM의 가장 큰 장점입니다.
  • 비개발자도 간단한 터미널 명령어 몇 가지만으로 다양한 AI 모델을 설치하고 활용할 수 있습니다.

자주 묻는 질문 (FAQ)

Q1. Ollama는 어떤 모델들을 지원하나요? A1. Ollama는 Llama 2, Mistral, Gemma, Phi-2 등 시중에 인기 있는 다양한 오픈소스 LLM 모델들을 지원합니다. 공식 웹사이트(ollama.com/library)에서 현재 지원하는 전체 모델 목록을 확인할 수 있습니다.

Q2. 제 컴퓨터 사양이 좋아야만 Ollama를 쓸 수 있나요? A2. 아니요, 반드시 최고 사양일 필요는 없습니다. 작은 모델(예: Gemma 2B)은 8GB RAM으로도 충분히 실행 가능하며, CPU만으로도 작동합니다. 더 큰 모델은 16GB 이상의 RAM과 GPU가 있다면 더 빠른 성능을 경험할 수 있지만, 필수 조건은 아닙니다.

Q3. Ollama는 무료인가요? A3. 네, Ollama 소프트웨어는 무료로 다운로드하여 사용할 수 있습니다. 또한, Ollama가 지원하는 대부분의 LLM 모델들도 오픈소스 라이선스로 제공되어 무료로 사용할 수 있습니다.