Ofis İçinde Çalışan Model: KOBİ’nin Lokal AI Rehberi

Neden lokal, neden şimdi?

Bulut API’leri kullanışlıdır ama iki sorunu birlikte taşır: her istek için token ücreti ve verinin bir başkasının sunucusuna gitmesi. Müşteri sözleşmeleri, finansal kayıtlar veya sağlık verisiyle çalışan bir KOBİ için ikinci madde kritik hale gelir.

Açık ağırlıklı modellerin olgunlaşması ve kuantalama tekniklerinin yayılması, küçük bir ekibin kendi donanımında “yeterince iyi” bir model çalıştırmasını mümkün kıldı. Lokal AI, kusursuz değil; mahrem ve öngörülebilir maliyetli.

Ollama ve llama.cpp nasıl oturuyor?

llama.cpp, modelleri GGUF adı verilen kuantalanmış bir formatta CPU ve ekran kartında çalıştıran motor. Ollama ise bu motorun üzerine “kur, indir, komut satırından çağır” rahatlığını ekleyen bir katman; tek komutla modeli indirip yerel bir uç nokta sunar.

İkisini birlikte düşünün: llama.cpp çekirdekte verimliliği sağlar, Ollama ise teknik olmayan birinin bile kullanabileceği bir arayüz ve uygulama programlama arayüzü sunar. Böylece basit bir iç sohbet uygulaması ya da belge özetleme aracı ofis ağı içinde döner.

Beş kişilik ekip senaryosu

Diyelim ki beş kişilik bir ajanssınız. Ortalama bir masaüstü ya da dizüstü, 16 GB bellek ve giriş seviyesi bir ekran kartı, 7 ila 8 milyar parametreli kuantalanmış bir modeli çalıştırmaya yeter. Ekip aynı uca bağlanır, dosyalar dışarı çıkmaz.

Bu kurulum gerçek bir üretim hattı değil ama iç işler için yeterli. Toplantı notlarını özetlemek, sözleşme taslağını taramak, e-posta taslakları üretmek gibi işlerde lokal model iş görür; karmaşık ve çok adımlı görevlerde ise kalite düşer.

Gizlilik mi kalite mi?

Takas net: bulut API’leri en büyük modellere erişim verir ve bakım yükünü taşır; karşılığında verinizi emanet edersiniz ve kullanınca ödersiniz. Lokal model veriyi tutar ve öngörülebilir maliyetlidir; karşılığında daha küçük modelle daha az parlak yanıt alırsınız.

Bazı KOBİ’ler ikisini karıştırır: hassas veriyi lokal modelde işler, genel ve gizli olmayan işleri buluta gönderir. Önemli olan hangi verinin hangi tarafa gideceğine yazılı bir kural olarak karar vermek.

Donanım gereksinimleri

Lokal model seçiminde belirleyici olan bellektir. Kuantalanmış model yaklaşık olarak belleğe sığmalı; model büyüdükçe ya daha çok bellek ya da daha ağır kuantalama gerekir. Aşağıdaki liste gerçekçi bir başlangıç haritası sunar.

Eşikler sabit kurallar değil, pratik başlangıç noktalarıdır. Bağlam uzunluğu ve eşzamanlı kullanıcı sayısını artırdıkça aynı bütçe daha fazla kaynak ister.

• 7-8 milyarlık kuantalanmış model: 16 GB bellek, giriş seviyesi ekran kartı
• 13 milyara yakın model: 32 GB bellek veya 12 GB üzeri ekran kartı
• Uzun bağlam ve çok kullanıcı: daha hızlı bellek ve serin bir soğutma
• CPU-only çalışma: ucuz ama yanıt süresi belirgin biçimde yavaş
• Kurulum: Ollama ile tek komut, ardından yerel uygulama programlama arayüzü

Sık sorulan sorular

Kaynakça

1. How to Use llama.cpp to Run LLaMA Models LocallyCodecademy
2. The Complete Developer’s Guide to Running LLMs LocallySitePoint
3. Empowering Local AI: Exploring Ollama and Llama.cppInfraLovers