On-premise yapay zeka: bulut mu, şirket içi mi?

On-premise yapay zeka nedir?

On-premise (şirket içi) yapay zeka, dil modelinin, vektör dizininin, belgelerin ve kayıtların tamamen kurumun kendi sunucularında çalıştığı kurulum modelidir. Sorular ve belgeler dışarıdaki bir servise gönderilmez; sistem gerekirse internet bağlantısı olmadan çalışabilir.

"Yerel LLM" ifadesi de sık kullanılır; ancak bu genellikle yalnızca modelin bir bilgisayarda çalıştırılmasını anlatır. On-premise bir kurumsal yapay zekâ sistemi ise modelin yanında belge bağlayıcılarını, yetkilendirmeyi, denetim kayıtlarını ve işletme süreçlerini de kapsar.

Üç kurulum modeli

Ne zaman on-premise tercih edilmeli?

• Düzenlemeye tabi sektörler: Bankacılık, sigorta, sağlık ve kamu gibi alanlarda verinin nerede işlendiği sıkı kurallara bağlıdır.
• Yurt dışına aktarımdan kaçınmak: Kişisel veri içeren belgelerle çalışılıyorsa, verinin şirket dışına hiç çıkmaması KVKK uyumunu büyük ölçüde sadeleştirir.
• Kapalı ağlar: Üretim tesisleri ya da internete kapalı (air-gapped) ağlarda çalışan birimler için tek seçenektir.
• Yüksek ve öngörülebilir kullanım: Kullanım arttıkça bulut API maliyeti de artar; sabit donanım maliyeti ise yüksek hacimde avantajlı hâle gelebilir.
• Bağımsızlık: Model sürümünü siz belirlersiniz; sağlayıcının fiyat, politika ya da servis değişikliklerinden etkilenmezsiniz.

On-premise'in zorlukları

Doğru kararı verebilmek için bedelleri de açıkça konuşmak gerekir:

• Donanım yatırımı: Dil modelleri veri merkezi sınıfı GPU'lara ihtiyaç duyar.
• İşletme yükü: Sunucuların izlenmesi, yedeklenmesi ve güncellenmesi gerekir.
• Model güncellemeleri: Yeni model sürümleri test edilip kontrollü biçimde devreye alınmalıdır.
• Uzmanlık: Model seçimi, Türkçe başarımının ölçülmesi ve RAG ayarları deneyim ister.

Hazır donanımlı (tak-çalıştır) çözümler ve yönetilen kurulum hizmetleri, bu yükün önemli bir kısmını üstlenebilir.

Açık ağırlıklı modeller neden önemli?

On-premise kurulumu mümkün kılan, ağırlıkları indirilip kendi donanımınızda çalıştırılabilen açık ağırlıklı (open-weight) modellerdir. Llama, Mistral, Qwen ve Gemma gibi model aileleri bu gruptadır. Bu modellerle hangi sürümün çalıştığını bilir, dosyaların bütünlüğünü özet değerleriyle (hash) doğrulayabilir ve kapalı bir servise bağımlı kalmazsınız. Model seçerken lisans koşullarını ve Türkçe başarımını mutlaka kendi belgelerinizle test edin.

Donanım ihtiyacı neye göre belirlenir?

Tek bir doğru cevap yoktur; ihtiyacı şu değişkenler belirler:

• Model boyutu: Parametre sayısı arttıkça gereken GPU belleği de artar.
• Eşzamanlı kullanıcı sayısı: Aynı anda kaç kişinin soru sorduğu, toplam kullanıcı sayısından daha belirleyicidir.
• Bağlam uzunluğu: Cevaba ne kadar belge parçası eklendiği, bellek ve hız ihtiyacını etkiler.
• Belge hacmi: Vektör dizininin büyüklüğü, depolama ve arama altyapısını belirler.

Sağlıklı bir yaklaşım, gerçek kullanım senaryolarıyla küçük bir pilot yapıp ölçümlere göre donanımı boyutlandırmaktır.

Kurulum adımları

1. Keşif: Kullanım alanları, kullanıcı sayısı ve güvenlik gereksinimleri netleştirilir.
2. Veri envanteri: Bağlanacak sistemler ve mevcut erişim yetkileri çıkarılır.
3. Boyutlandırma: Model ve donanım, ölçümlere göre seçilir.
4. Kurulum ve bağlantı: Sistem kurulur, belge kaynakları yetkileriyle birlikte bağlanır.
5. Test: Türkçe doğruluk, yetki filtreleri ve internetsiz çalışma bilgi güvenliği ekibiyle birlikte doğrulanır.
6. Pilot ve yaygınlaştırma: Sınırlı bir kullanıcı grubuyla başlanır, ölçümlere göre genişletilir.

Toplam sahip olma maliyeti nasıl hesaplanır?

Bulut ile şirket içi kurulumu yalnızca ilk faturaya bakarak karşılaştırmak yanıltıcıdır. Üç yıllık bir dönem için şu kalemleri yan yana koyun:

Kullanım arttıkça bulut maliyeti doğrusal olarak artarken, şirket içi kurulumda aynı donanım kapasitesi dolana kadar ek maliyet oluşmaz. Bu yüzden karşılaştırmayı, pilot döneminde ölçtüğünüz gerçek kullanım verisiyle yapmak en sağlıklısıdır.

Güvenli bir on-premise mimaride neler olmalı?

• Ağ ayrımı: Yapay zekâ sunucusu ayrı bir ağ bölümünde çalışmalı; yalnızca gerekli iç sistemlere erişebilmeli ve dışarıya giden bağlantısı kapatılabilmelidir.
• Kimlik ve yetki: Kullanıcılar şirket hesaplarıyla oturum açmalı; belge yetkileri Active Directory grupları ve kaynak sistem izinleriyle her sorguda uygulanmalıdır.
• Şifreleme: Kullanıcı ile sunucu arasındaki trafik ve depolanan veriler şifrelenmelidir.
• Denetim kaydı: Sorular, kullanılan kaynaklar ve yönetici işlemleri kaydedilmeli; kayıtlar şirketin güvenlik izleme sistemine (SIEM) aktarılabilmelidir.
• Kontrollü güncelleme: Model ve yazılım güncellemeleri imzalı paketlerle, test edildikten sonra ve onayla yüklenmelidir.

Hibrit yaklaşım mümkün mü?

Evet. Bazı kurumlar hassas belgelerle çalışan kullanımları şirket içinde tutarken, kişisel veri ya da gizli bilgi içermeyen genel işler için bulut araçlarını kullanır. Bu durumda hangi verinin hangi ortama gidebileceğini tanımlayan net bir kullanım politikası şarttır.

Sık sorulan sorular

On-premise yapay zeka internet bağlantısı olmadan çalışır mı?

Evet. Model, vektör dizini ve belgeler aynı iç ağda çalıştığında sistemin internete ihtiyacı yoktur. Güncellemeler de çevrimdışı paketlerle yüklenebilir.

Şirket içi modeller bulut modelleri kadar iyi mi?

En büyük bulut modelleri genel bilgi ve karmaşık akıl yürütmede hâlâ öndedir. Ancak şirket belgelerine dayalı soru-cevap gibi RAG ile desteklenen işlerde, iyi seçilmiş açık ağırlıklı modeller çoğu kurumsal ihtiyacı karşılar. Kararı, kendi belgelerinizle yapacağınız bir karşılaştırmaya dayandırın.

Kurulum ne kadar sürer?

Kapsama göre değişir. Süreyi en çok belirleyen şey donanım değil; bağlanacak sistemlerin sayısı, yetkilerin testi ve pilot sürecidir.

Sonuç

Verisi hassas, sektörü düzenlemeye tabi ya da kullanımı yüksek olan kurumlar için on-premise yapay zeka, güvenlik ile verimliliği bir arada sunan bir seçenektir. Kararı verirken yalnızca ilk yatırımı değil, veri güvenliği, uyum ve uzun vadeli kullanım maliyetini birlikte değerlendirin. Konunun genel çerçevesi için kurumsal yapay zeka rehberimize göz atabilirsiniz.