Kurum İçi Güvenli Yapay Zeka (Offline LLM) Nasıl Kurulur?

Kurum içi (on-premise) ya da offline LLM, büyük dil modelinin kurumun kendi sunucularında, kendi ağı içinde çalıştırılmasıdır. Bulut tabanlı yapay zeka servislerinden farkı, verinin hiçbir aşamada kurum dışına çıkmamasıdır. Bir çalışan modele soru sorduğunda, sözleşme metni veya müşteri bilgisi gibi hassas veriler dış bir sağlayıcının sunucusuna gitmez; tamamen kurumun denetimindeki donanımda işlenir. “Offline” ifadesi, sistemin internet bağlantısı olmadan da (air-gapped kurulumda tamamen izole şekilde) çalışabileceğini belirtir. Bu model, yerli ve açık kaynak dil modellerinin yaygınlaşmasıyla artık devlet kurumlarından KOBİ’lere kadar uygulanabilir hale gelmiştir. Kurum, kendi seçtiği modeli kendi altyapısına kurarak hem veri egemenliğini korur hem de yapay zekanın gücünden tam olarak yararlanır.

Neden kurum içi yapay zeka? (KVKK ve veri egemenliği)

Bulut tabanlı yapay zeka servisleri kullanışlı olsa da, gönderilen verinin yurt dışındaki sunucularda işlenmesi ciddi bir uyum sorunu yaratır. KVKK kapsamında kişisel verinin yurt dışına aktarımı belirli koşullara bağlıdır ve birçok kurum için bu süreç hukuken risklidir.

Kişisel Verileri Koruma Kurumu, 2024’te yayımladığı “Yapay Zeka Alanında Kişisel Verilerin Korunmasına Dair Tavsiyeler” ve 2025’teki “15 Soruda Üretken Yapay Zeka” rehberleriyle bu konuda kurumlara yön gösterdi. Her iki rehber de veri minimizasyonu, amaçla sınırlılık ve veri güvenliğine vurgu yapar.

Kurum içi LLM, bu gereksinimleri yapısal olarak karşılar:

• Veri kurumda kalır. Sorgular ve yanıtlar dış sunucuya gitmez, üçüncü tarafların eğitim verisine karışmaz.
• Veri egemenliği sağlanır. Hangi verinin nerede işlendiği tamamen kurum denetimindedir.
• Sektörel uyum kolaylaşır. Bankacılık, sağlık, kamu ve savunma gibi düzenlemeye tabi sektörlerde air-gapped kurulum tercih edilebilir.
• Maliyet öngörülebilir. Sorgu başına ücret yerine, sahip olunan donanımla sabit bir işletim maliyeti oluşur.

Hangi model seçilir? (Yerli ve açık kaynak modeller)

Kurum içi kurulumun en kritik kararı doğru modeli seçmektir. Türkiye’de geliştirilen ve Türkçeye özel optimize edilmiş seçenekler bu noktada öne çıkar.

Bilge, TÜBİTAK öncülüğünde geliştirilen ve devlet destekli bir Türkçe büyük dil modeli olarak konumlanır. Kamu kurumlarının yapay zeka ihtiyaçlarına yönelik bir altyapı hedefi taşır.

Kumru, VNGRS tarafından geliştirilen Türkçe odaklı bir dil modelidir. Kumru-2B sürümü açık kaynak olarak Hugging Face üzerinden erişilebilir ve kurum içi (on-premise) ortamlara kurulabilir. Açık kaynak olması, modeli kendi donanımınıza indirip internet bağlantısı olmadan çalıştırabilmeniz anlamına gelir; bu da offline ve air-gapped senaryolar için ideal bir özelliktir.

Bunların yanında uluslararası açık ağırlıklı modeller (örneğin açık kaynak lisanslı genel amaçlı LLM aileleri) de kurum içine kurulabilir. Model seçiminde dikkat edilecek başlıklar:

• Lisans: Ticari kullanıma ve değiştirmeye izin veriyor mu?
• Türkçe yeterliliği: Türkçe metinlerde doğruluk ve akıcılık seviyesi.
• Model boyutu: Daha büyük modeller daha güçlüdür ama daha fazla donanım ister.
• Açık ağırlık: Modelin ağırlıklarını indirip kendi sunucunuzda çalıştırabiliyor olmanız şarttır.

Donanım gereksinimi nedir?

Kurum içi LLM çalıştırmanın temel maliyet kalemi GPU’dur. Modelin boyutu, eş zamanlı kullanıcı sayısı ve istenen yanıt hızı donanım ihtiyacını belirler.

Genel ilkeler:

• Küçük modeller (birkaç milyar parametre seviyesi) tek bir kurumsal GPU ile çalışabilir; pilot uygulamalar ve sınırlı kullanıcı için uygundur.
• Orta ve büyük modeller daha yüksek bellekli GPU’lar veya birden fazla GPU’nun birlikte çalıştığı yapılandırmalar gerektirir.
• Eş zamanlı kullanıcı sayısı arttıkça işlem kapasitesini artırmak için ek GPU’lar veya kuyruk yönetimi devreye girer.
• Bellek (VRAM) kapasitesi, modelin sığabilmesi için kritik faktördür; niceleme (quantization) teknikleriyle daha küçük donanımda daha büyük modeller çalıştırılabilir.

Doğru yaklaşım, kurumun gerçek kullanım senaryosunu önce bir pilotta ölçmek, ardından donanımı bu ölçüme göre boyutlandırmaktır. Aşırı büyük donanım gereksiz maliyet, yetersiz donanım ise kötü kullanıcı deneyimi yaratır.

Kurulum adımları nelerdir?

Kurum içi güvenli yapay zeka kurulumu kabaca şu aşamalardan oluşur:

1. İhtiyaç ve senaryo analizi. Hangi departmanlar, hangi kullanım durumları (doküman özetleme, müşteri desteği, iç bilgi tabanı sorgulama) için yapay zeka kullanacak belirlenir.
2. Model seçimi. Lisans, Türkçe yeterliliği ve boyut kriterlerine göre uygun açık/yerli model seçilir.
3. Donanım planlaması. Seçilen model ve kullanıcı sayısına uygun GPU altyapısı planlanır; bulut, kurum içi sunucu veya hibrit seçenekler değerlendirilir.
4. İzole ortam kurulumu. Model, kurumun ağında izole bir ortama (gerekirse air-gapped) konuşlandırılır.
5. Çalıştırma katmanı. Modeli servis eden bir çıkarım (inference) sunucusu ve uygulama arayüzü kurulur.
6. Kurumsal veriyle zenginleştirme. RAG (Retrieval-Augmented Generation) ile kurumun kendi dokümanları modele bağlanır; böylece yanıtlar kurum bilgisine dayanır, veri dışarı çıkmaz.
7. Erişim ve kimlik entegrasyonu. Kurumsal kimlik altyapısı (örneğin tek oturum açma) ile kullanıcı erişimi denetlenir.
8. Test, izleme ve bakım. Doğruluk, hız ve güvenlik test edilir; sürekli izleme ve güncelleme süreci kurulur.

Güvenli erişim nasıl sağlanır?

Kurum içi LLM’in güvenliği yalnızca verinin dışarı çıkmamasıyla bitmez; sisteme kimin, neye erişebileceği de denetlenmelidir.

• Kurumsal kimlikle erişim. Kullanıcılar mevcut kurumsal hesaplarıyla (tek oturum açma / SSO) sisteme girer.
• Rol bazlı yetkilendirme. Departman veya görev bazında hangi verilere ve hangi yeteneklere erişilebileceği sınırlanır.
• Loglama ve denetim izi. Kim ne zaman ne sorguladı, denetlenebilir biçimde kaydedilir.
• Ağ izolasyonu. Sistem dış ağdan ayrılır; air-gapped kurulumda internet bağlantısı tamamen kaldırılabilir.
• Veri sızıntısı önleme. Modele girdi ve çıktı katmanlarında hassas veri filtreleme uygulanabilir.

Sık Sorulan Sorular

Offline LLM gerçekten internet olmadan çalışır mı? Evet. Model ağırlıkları bir kez kurumun sunucusuna indirildikten sonra, çıkarım işlemi için internet bağlantısına ihtiyaç duymaz. Air-gapped kurulumda sistem dış ağdan tamamen izole edilebilir.

Kurum içi yapay zeka bulut servislerinden daha mı pahalı? Başlangıçta donanım yatırımı gerektirir, ancak sorgu başına ücret olmadığı için yüksek hacimli kullanımda toplam maliyet öngörülebilir ve çoğu zaman daha düşük olur. Asıl kazanç ise veri güvenliği ve uyumdur.

KVKK uyumu için kurum içi LLM şart mı? Şart değildir, ancak kişisel verinin yurt dışına aktarımını ortadan kaldırdığı için uyumu yapısal olarak çok kolaylaştırır. Düzenlemeye tabi sektörlerde güçlü bir tercih nedenidir.

Yerli model mi yoksa uluslararası açık model mi seçmeliyiz? Türkçe ağırlıklı kullanım için yerli ve Türkçeye optimize modeller avantajlıdır. Karar; lisans, Türkçe yeterliliği, model boyutu ve kullanım senaryosuna göre verilmelidir.

C3T ile güvenli kurum içi yapay zeka

C3T, yapay zeka alanında bir entegratör olarak konumlanır: kendi modelini geliştirmez, kurumun seçtiği yerli veya açık kaynak modeli kurumun altyapısına güvenli biçimde kurar. Çözüm offline ve air-gapped olarak konuşlandırılabilir; veri kurumun dışına çıkmaz. Model seçiminden donanım planlamasına, izole kurulumdan kurumsal kimlikle güvenli erişime kadar tüm süreç tek elden yürütülür.

Kurum içi yapay zeka altyapınızı planlamak ve güvenli kurulum seçeneklerini değerlendirmek için yerinde yapay zeka çözümlerimizi inceleyin.