KVKK ve Veri Gizliliği İçin Local LLM Kullanımı

Türkiye'de kişisel verilerin korunmasını düzenleyen KVKK ve Avrupa'daki GDPR gibi yasalar, verilerin hangi ülkede işlendiği ve nasıl saklandığı konusunda katı kurallar getiriyor. Bulut tabanlı yapay zeka hizmetleri, kullanıcı verilerini yurt dışındaki sunuculara gönderdiği için ek izin süreçleri ve veri ihraç riskleri ortaya çıkar. Bu nedenle kurumlar, verilerini içeride tutabilecek local LLM çözümlerine yöneliyor.

Local LLM'lerin avantajları

2026'da local LLM ekosistemi olgunlaşmış durumda. Yerel modellerin öne çıkan avantajları şöyle:

• Veri kontrolü: Prompt'larınız ve verileriniz üçüncü taraf bir sunucuya gönderilmez; bu da KVKK ve GDPR uyum gerekliliklerini karşılamayı kolaylaştırır. Tek başına yeterli değildir; erişim kontrolü, log yönetimi ve veri saklama/silme politikalarıyla birlikte düşünülmelidir.
• Ücret baskısı yok: Bulut temelli API'lerde her token başına ücret ödersiniz; yerel modellerde bu maliyet ortadan kalkar.
• Çevrimdışı çalışma: İnternet bağlantısı olmadan yazı yazabilir, kod inceleyebilir ve doküman analiz edebilirsiniz.
• Düşük gecikme: Ağ turu olmadığı için yanıt süresi kısalır.
• Tam kontrol: Model ve parametreleri seçebilir, quantization seçenekleriyle performans/kalite dengesi kurabilir ve kendi RAG veya araç çağırma iş akışlarınızı oluşturabilirsiniz.

Bu avantajlar, KVKK kapsamındaki şirketlerin kişisel veriyi yurt dışına aktarmadan yapay zeka kullanmasını kolaylaştırır; uyum süreci yine de erişim kontrolü, log yönetimi ve veri saklama politikalarıyla bütünlüklü kurulduğunda sağlanır. Yerel kurulum sayesinde verinin işlendiği yer bellidir; gerektiğinde silinmesi ve denetlenmesi daha kolaydır.

Başlıca Local LLM araçları

Ollama: en hızlı başlangıç

Ollama, komut satırı üzerinden bir komutla model indirip çalıştırmanıza olanak tanır. Tercih edilme nedenleri şunlardır: minimal kurulum, kolay model değişimi, Windows/macOS/Linux desteği ve yerel API entegrasyonu. Örneğin ollama run llama4:scout komutu ile Llama 4 Scout modelini (17B aktif parametreli MoE) çalıştırabilirsiniz. Ollama, hem kişisel kullanım hem de geliştirme için uygun bir seçenek olup, komut satırıyla programatik çağrılar yapılmasına imkan verir.

LM Studio: görsel arayüz ve sunucu modu

CLI'ye alışkın olmayan kullanıcılar için LM Studio pratik bir masaüstü uygulamasıdır. Modelleri keşfetme, indirme, sohbet etme ve sıcaklık veya maksimum token gibi ayarları görsel olarak değiştirme imkanı sunar. Uygulama içinde API sunucusunu açarak diğer uygulamalarınızdan çağrı yapabilirsiniz. LM Studio macOS, Windows ve Linux'ta açık modelleri destekler ve ücretsizdir. Sunucu kurulumlarında ise GUI'ye ihtiyaç duymadan lms komut satırı aracı ve llmster daemon paketiyle headless çalıştırılabilir; bu sayede CI ortamlarında veya iç sunucularda servis olarak ayağa kaldırılabilir.

Text-Generation WebUI: esnek ve zengin özellikler

Text-Generation WebUI (oobabooga/textgen) adlı açık kaynak uygulama, masaüstünde veya tarayıcı üzerinden çalışabilen güçlü bir arayüzdür. Öne çıkan özellikleri:

• Açık kaynak ve varsayılan kurulumda offline çalışır; resmi dokümantasyonuna göre telemetri veya uzaktan güncelleme bulundurmaz.
• Çoklu arka uç desteği (llama.cpp, Transformers, ExLlamaV3, TensorRT-LLM) ve model değişiminde yeniden başlatma gerektirmez.
• OpenAI/Anthropic uyumlu API sağlar; araç çağırma (tool calling) desteği mevcuttur.
• Görsel mod ile görsel ekleyip analiz yapabilir; dosya yükleyerek PDF veya DOCX üzerinden konuşabilirsiniz.
• Model eğitimi (LoRA), görsel üretimi ve uzantı desteği gibi ileri seviye özellikler içerir.

Kullanımı kolay taşınabilir paketleri sayesinde indirip zip'i açarak doğrudan çalıştırabilirsiniz.

GPT4All: yerel sohbet asistanı

Nomic AI'nin GPT4All uygulaması; Windows, macOS ve Linux üzerinde açık kaynak modellerle yerel sohbet sunar. Resmi sayfada "GPT4All, bulut gerektirmeden yüksek performanslı yapay zekayı cihazınızda çalıştırır; verileriniz asla makinenizi terk etmez" ifadesi yer alır. Uygulama, LocalDocs özelliğiyle kendi dokümanlarınız üzerinde arama ve sohbet yapmanıza izin verir. Binlerce modeli desteklemesi ve basit kurulumuyla geliştiriciler ve ekipler için kullanışlıdır.

LocalAI: OpenAI API uyumlu sunucu

LocalAI, uygulamalarını OpenAI API'ye bağlamış geliştiriciler için yerel ve bulut dışı bir alternatif sunar. Tercih edilme nedenleri şu şekilde özetlenir: birden fazla çalışma zamanı ve model mimarisi desteği, Docker ilk yaklaşımı ve OpenAI API uyumluluğu. Konteynerden çalıştırmak için örnek komut:

docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

LocalAI özellikle kurumsal iç araçlar ve API entegrasyonları için uygundur.

Jan: tam offline asistan deneyimi

Jan, ChatGPT'ye alternatif olarak geliştirilmiş açık kaynak bir masaüstü asistandır. Resmi sitesinde "Kişisel zeka sadece size cevap verir" sloganıyla tanıtılır. Açık kaynak felsefesine vurgu yapan platform; kullanıcıların açık modeller arasından seçim yapmasına veya dış API'lere bağlanmasına olanak tanır. Bu sayede bulut bağlantısı olmadan tam ekran bir sohbet deneyimi elde edebilirsiniz.

Uygulama önerileri ve güvenlik

• Model boyutu seçimi: Llama 4 Scout (17B aktif / 109B toplam, MoE) veya Qwen3 8B gibi orta ölçekli modeller günlük kullanım için yeterli performans sunar. Daha düşük donanım için Qwen3 1.7B, Qwen3 0.6B veya 270M parametreli Gemma 3 270M gibi küçük modeller tercih edilebilir; bu modeller Raspberry Pi seviyesindeki cihazlarda bile çalışabilir.
• Donanım altyapısı: GPU bellek kapasitesi model seçiminde kritiktir; quantize edilmiş (4-bit, 8-bit) modeller, bellek ihtiyacını düşürür ancak doğruluk bir miktar azalabilir. LLM'ler CPU'da da çalışabilir ancak yanıt süresi artar.
• KVKK uyumu: Yerel kurulum bile olsa sistem yöneticileri erişim kontrolü, ağ güvenliği ve log yönetimi gibi önlemlerle kişisel verilerin yetkisiz erişimini engellemelidir. Veri saklama ve silme politikaları oluşturulmalıdır.

iletiMerkezi tarafında nasıl uyguluyoruz

iletiMerkezi olarak müşterilerimizin SMS gönderim verilerini, OTP kayıtlarını ve İYS izin loglarını Türkiye'deki sunucularda tutuyoruz. SMS API'si üzerinden geçen mesaj içeriği üçüncü taraf bulut servislerine aktarılmaz; bu, KVKK kapsamında özellikle finans, sağlık ve kamu sektörü müşterilerimiz için kritik bir gereksinim. Local LLM yaklaşımının arkasındaki mantık aynı: kişisel veriyi işleyen sistem, verinin yetki alanından çıkmamalı. Eğer bir SaaS ekibiyseniz ve LLM tabanlı destek veya onboarding akışlarını OTP, bildirim katmanıyla birleştirmeyi düşünüyorsanız, iletiMerkezi MCP Server ile yerel LLM istemcinizden doğrudan SMS gönderebilir, panele veri sızdırmadan entegrasyon kurabilirsiniz.

Sonuç

Local LLM'ler, KVKK ve GDPR çerçevesinde verileri kurum içinde tutmak isteyen şirketler için güçlü bir araçtır; doğru süreçlerle (erişim kontrolü, log yönetimi, veri saklama/silme politikaları) birlikte kurgulandığında uyum gerekliliklerini karşılamayı kolaylaştırır. Ollama, LM Studio, Text-Generation WebUI, GPT4All, LocalAI ve Jan gibi araçlar sayesinde geliştiriciler ve SaaS ekipleri kolayca model indirip çalıştırabilir; API'ler ile entegrasyon kurabilir ve verilerin şirket dışına çıkmasını engelleyebilir.