Ollama ile Bilgisayarınızda Tamamen Çevrimdışı Yapay Zekâ Çalıştırma: Adım Adım Kurulum

Şirketinizin gizli sözleşmelerini, mali tablolarını veya kişisel günlüklerinizi bulut tabanlı bir yapay zekâya emanet ederken içiniz rahat mı? OpenAI veya Google sunucularına giden her kelimenin gelecekte modelleri eğitmek için kullanılabileceği şüphesi, dünya genelinde dev bir yerel yapay zekâ (Local AI) dalgası başlattı. İşte bu hareketin merkezindeki kahraman: Ollama.

Ollama, karmaşık Python kütüphaneleri, CUDA sürücüleri veya Docker derlemeleriyle uğraşmadan; tek bir komutla kendi bilgisayarınızda çevrimdışı yapay zekâ çalıştırmanızı sağlar.

---

Neden Yerel LLM ve Neden Ollama?

• %100 Veri Gizliliği: Tek bir bayt bile bilgisayarınızdan dışarı çıkmaz. KVKK ve kurumsal gizlilik kurallarına tam uyumludur.
• Sıfır Maliyet: Ne aylık abonelik faturası ne de token ücreti vardır. Donanımınız elverdiği sürece sınırsız soru sorabilirsiniz.
• İnternetsiz Çalışma: Uçakta, dağ başında veya internet kesintisinde kesintisiz asistanlık yapar.

---

3 Adımda Kolay Kurulum Kılavuzu

1. Adım: Ollama’yı İndirin

Resmi web sitesi olan ollama.com adresine gidin. Windows, macOS veya Linux için uygun kurulum dosyasını indirin ve standart bir program gibi yükleyin. Kurulum bittiğinde Ollama sistem tepsisinde sessizce arka plan servisi olarak çalışmaya başlar.

2. Adım: İlk Modelinizi Çalıştırın

Terminalinizi açın (Windows’ta PowerShell veya CMD, Mac/Linux’ta Terminal) ve şu komutu yazıp Enter’a basın:

ollama run llama3.1

Bu komut, Meta’nın popüler 8 milyar parametreli Llama 3.1 modelini (yaklaşık 4.7 GB) otomatik olarak indirir ve anında terminal içinde interaktif bir sohbet başlatır. Sorunuzu yazın ve saniyeler içinde gelen cevabın tadını çıkarın!

3. Adım: İhtiyacınıza Göre Doğru Modeli Seçin

Ollama model kütüphanesinde farklı uzmanlıklara sahip yüzlerce açık kaynak model mevcuttur:

Komut	Model Adı	Boyut	En İyi Kullanım Alanı
ollama run llama3.1	Meta Llama 3.1 (8B)	~4.7 GB	Genel sohbet, Türkçe metin yazımı, özetleme
ollama run qwen2.5-coder:7b	Qwen 2.5 Coder	~4.5 GB	Kusursuz kod yazma, hata ayıklama ve refactoring
ollama run deepseek-r1:8b	DeepSeek R1 Muhakeme	~4.9 GB	Matematik, mantık problemleri, düşünce zinciri
ollama run mistral-nemo	Mistral Nemo (12B)	~7.1 GB	Çok dilli destek ve uzun döküman analizi

---

ChatGPT Benzeri Görsel Arayüz: Open WebUI Kurulumu

Terminalden sohbet etmek geliştiriciler için harikadır; ancak son kullanıcılar ChatGPT benzeri güzel bir web paneli ister. Bunun en pratik yolu Open WebUI kullanmaktır.

Eğer bilgisayarınızda Docker yüklüyse tek komutla çalıştırın:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Ardından tarayıcınızdan http://localhost:3000 adresini açın. PDF yükleyebilir, sohbet geçmişinizi saklayabilir ve indirdiğiniz tüm yerel modeller arasında tek tıkla geçiş yapabilirsiniz.

---

Python ile Kendi Kodunuza Bağlama

Ollama arka planda yerel 11434 portundan çalışan bir REST API sunar. Python projelerinizde kullanmak çocuk oyuncağıdır:

import ollama

response = ollama.chat(model='llama3.1', messages=[
  {'role': 'user', 'content': 'Python ile hızlı sıralama (quicksort) algoritmasını açıkla.'},
])

print(response['message']['content'])

---

Sonuç

Yapay zekâ artık büyük teknoloji tekellerinin sunucularına hapsolmuş bir imtiyaz değildir. Ollama ile kendi donanımınızın efendisi olun; verilerinizi koruyun ve sınırsız yapay zekâ gücünü masanızın üstünde çalıştırın.