Yapay Zekâ Nasıl Kullanılır? #2 — Şirket Verinizle Çalışan Yapay Zekâ

Modeli kendi verinizle çalıştırmanın iki yolu vardır. Getirme, yazılı bilgiyi (sözleşme, prosedür, katalog) aranabilir hâle getirip soruya göre ilgili parçaları modele vermektir. Araç çağırma ise modelin canlı sisteminize soru sormasıdır. İkisi farklı problemleri çözer ve çoğu kurumda birlikte kullanılır.

Ayrımı şöyle test edin: sorunun cevabı bir belgede yazıyorsa getirme, bir ekranda görünüyorsa araç çağırma gerekir. "Garanti süresi kaç yıl?" belgede yazar. "Bu müşterinin garantisi ne zaman bitiyor?" ekranda görünür. Aynı konu, iki farklı yöntem.

Getirme beş adımdan oluşur: belgeler parçalara ayrılır, her parça sayısal bir temsile çevrilir, soru geldiğinde anlamca en yakın parçalar bulunur, bulunanlar önem sırasına dizilir ve yalnızca en iyileri modele verilir. Model cevabı kendi ezberinden değil, o parçalardan kurar.

1. 01

   1. Parçalama

   Belgeler bütün hâlde değil, birkaç yüz kelimelik parçalara bölünür. Parça çok büyükse alakasız bilgi de gelir ve cevap bulanıklaşır; çok küçükse cümle bağlamından kopar. Bölme noktasını başlıklara göre seçmek, sabit uzunluğa göre bölmekten belirgin biçimde iyi sonuç verir.

2. 02

   2. Gömme (embedding)

   Her parça, anlamını temsil eden bir sayı dizisine çevrilir. Yakın anlamlı metinler bu uzayda birbirine yakın düşer. Böylece "fatura kesme süresi" araması, içinde o kelimeler geçmese bile "belge düzenleme süresi" yazan parçayı bulabilir.

3. 03

   3. Arama

   Soru da aynı biçimde sayıya çevrilir ve en yakın parçalar bulunur. Yalnızca anlam araması yetmez; ürün kodu ya da madde numarası gibi tam eşleşme gereken durumlar için klasik kelime araması da çalıştırılıp ikisi birleştirilir. Buna melez arama denir ve pratikte gözle görülür fark yaratır.

4. 04

   4. Yeniden sıralama

   Bulunan otuz parça doğrudan modele verilmez. Daha küçük bir model bunları soruya uygunluğuna göre yeniden sıralar ve yalnızca en iyi birkaçı geçer. Bu adım atlandığında model, alakasız parçaların arasında doğru cevabı kaçırır.

5. 05

   5. Cevaplama

   Model, seçilen parçalar ve soru ile birlikte çalıştırılır. Talimat nettir: cevabı yalnızca verilen parçalardan kur, bulamazsan bulamadığını söyle, hangi parçadan aldığını belirt. Kaynak gösterme zorunluluğu, uydurmayı en çok azaltan tek kuraldır.

Getirme projelerinde zamanın büyük kısmı yazılım kurmakla değil, belgeleri kullanılabilir hâle getirmekle geçer. Dağınık, çelişkili ve sürümü belirsiz bir belge havuzu, en iyi kurulumu bile işe yaramaz hâle getirir. Sistem yanlış cevap vermez — belgeleriniz zaten yanlıştır, o da onu okur.

Bu listeye bakınca akla gelen soru şu olur: "Belgeleri zaten düzeltsem, yapay zekâya gerek kalır mı?" Kısmen haklı bir soru. Ama fark şurada: düzenli bir belge havuzu bile aranmadan işe yaramaz. Yapay zekâ, düzeni değil erişimi çözer. Düzeni siz kurarsınız, erişimi o sağlar.

Araç çağırmada modele yapabileceği işlemler tanımlanır: neyi sorabilir, hangi parametrelerle, ne dönecek. Model soruyu anlayıp uygun aracı seçer, çağırır, dönen gerçek veriyle cevabını kurar. Ezberden konuşmaz; okuduğu kaydı anlatır.

Araç adı   : stok_sorgula
Ne yapar   : Bir ürünün belirli bir depodaki güncel adedini döner
Parametre  : urun_kodu (zorunlu), depo_kodu (isteğe bağlı)
Döner      : { urun, depo, adet, son_guncelleme }
Yetki      : Çağıran kullanıcının o depoyu görme yetkisi olmalı

Kullanıcı : "Beykent'te 9012 numaralı üründen kaç tane var?"
Model     : stok_sorgula(urun_kodu="9012", depo_kodu="BEYKENT")
Sistem    : { adet: 14, son_guncelleme: "bugün 14:20" }
Model     : "Beykent deposunda 14 adet görünüyor,
             bugün 14:20 itibarıyla."

Dikkat edilecek nokta, cevabın sonundaki zaman damgasıdır. Araç çağıran bir sistemin en değerli özelliği güncel veriyi vermesi değil, verinin ne kadar güncel olduğunu da söyleyebilmesidir. "14 adet var" ile "bugün 14:20 itibarıyla 14 adet var" arasında, karar veren kişi açısından ciddi fark vardır.

Her iş için ajan gerekmez. Adımları belli, sırası değişmeyen işlerde sabit bir akış hem daha ucuz hem daha öngörülebilir çalışır. Ajan; hangi adımın gerekeceği baştan bilinemeyen, dallanan işlerde anlamlıdır.

Yetki modele değil, modeli çağıran kişiye bağlanmalıdır. Aksi hâlde sistem, sohbet üzerinden herkese her veriyi açan bir kapıya dönüşür. Doğru kurulumda model, o an konuşan kullanıcının zaten görebileceğinden fazlasını göremez.

1. Kullanıcıyı kesin olarak tanıyın. Tanınmayan bir numara ya da hesap hiçbir veriye ulaşamamalı.
2. Yetkiyi araç katmanında uygulayın. Modele "bunu gösterme" demek yetmez; araç zaten döndürmemelidir.
3. Okuma ve yazmayı ayırın. Okuma yetkisi geniş olabilir, yazma dar ve onaylı olmalıdır.
4. Riskli işlemleri onaya bağlayın: iptal, iade, fiyat değişikliği, toplu güncelleme.
5. Her çağrıyı kaydedin: kim, ne zaman, hangi araç, hangi parametre, ne döndü.
6. Getirme havuzunu da yetkiye göre bölün. Belge arama, veritabanı kadar hassas bir kapıdır.

Bir ek önlem daha var: modele giden metinde kişisel veriyi maskelemek. Soru "Ahmet Yılmaz'ın siparişi nerede?" ise, model tarafına "MÜŞTERİ-7'nin siparişi nerede?" gitmesi ve cevap dönerken adın yerine konması mümkündür. Bu, dışarıdaki bir hizmete gönderilen veriyi ciddi biçimde azaltır ve çoğu kurumda kurulumu düşünüldüğünden kolaydır.

"İyi çalışıyor" ölçüm değildir. Ölçüm, önceden hazırlanmış soru–doğru cevap listesinin (altın set) düzenli olarak çalıştırılması ve sonucun sayıyla karşılaştırılmasıdır. Altın set olmadan yapılan her değişiklik, iyileştirme mi bozma mı olduğu bilinmeden yapılır.

1. Gerçek kullanıcılardan 40-60 soru toplayın (uydurma soru yazmayın)
2. Her sorunun doğru cevabını ve dayandığı belgeyi elle yazın
3. Zorluk dağılımını koruyun:
   · kolay (tek belgede açıkça yazan)          ~%50
   · orta  (iki belgeyi birleştirmek gerekiyor) ~%30
   · zor   (belgede yok — 'bilmiyorum' doğru cevap) ~%20
4. Her değişiklikten sonra setin tamamını çalıştırın
5. Üç sayıyı kaydedin:
   · doğru cevap oranı
   · doğru kaynağı gösterme oranı
   · bilmediğinde 'bilmiyorum' diyebilme oranı

Üçüncü sayı en çok ihmal edilenidir ve en önemlisidir. Cevabı bilmediğinde uyduran bir sistem, doğru cevap oranı yüksek olsa bile güvenilmezdir; çünkü kullanıcı hangi cevaba güveneceğini bilemez. Bu yüzden altın setin beşte biri, cevabı belgelerde bulunmayan sorulardan oluşmalıdır.

Kurumsal yapay zekâ maliyeti tek kalem değildir. Model kullanımı çoğu zaman en küçük kalemdir; asıl gider belge hazırlığı, entegrasyon işçiliği ve sürekli bakımdır. Bütçeyi yalnızca model ücreti üzerinden kuran projeler ikinci ayda tıkanır.

Token maliyetini düşürmenin en etkili yolu, modele gönderilen metni kısaltmaktır. Otuz parça yerine seçilmiş beş parça göndermek, hem ucuzlatır hem doğruluğu artırır. Bu ikisinin aynı yönde gitmesi bu işin sevindirici tarafıdır: iyi kurulum genellikle daha ucuz kurulumdur.

Sıra önemlidir. Belge tarafı araç tarafından önce kurulur, çünkü daha ucuz, daha az risklidir ve ekibin sisteme güvenmesini sağlar. Araç çağırma, güven kurulduktan sonra eklenir.

1. 01

   1. ay — Belge ve sorular

   En çok sorulan yirmi soruyu ve bu sorulara cevap veren belgeleri belirleyin. Belgeleri düzeltin, sürüm ve tarih ekleyin. Altın setin ilk hâlini yazın. Bu ayın sonunda henüz hiçbir şey kurulmamış olabilir; sorun değil.

2. 02

   2. ay — Getirme kurulumu

   Belge havuzunu aranabilir hâle getirin, kaynak gösteren bir cevap ekranı kurun ve yalnızca bir ekibe açın. Altın seti haftada bir çalıştırın. Bu ay ölçülecek tek şey, cevapların doğru kaynağı gösterip göstermediğidir.

3. 03

   3. ay — İlk araç

   Tek bir okuma aracı ekleyin — tercihen en sık sorulan canlı veri. Yetkiyi kullanıcıya bağlayın, çağrı kaydını açın. Yazma yetkisi bu aşamada hâlâ yok.

4. 04

   Sonrası — Yazma ve genişleme

   Okuma tarafı üç ay sorunsuz çalıştıysa, insan onaylı tek bir yazma işlemi ekleyin. Genişlemeyi kullanım verisi yönlendirsin: hangi soru çok geliyorsa bir sonraki araç odur.

Bu sıralamanın tek amacı teknik değil. İlk aylarda kurulan şey ekibin güvenidir. Kaynak gösteren, bilmediğinde bilmediğini söyleyen bir sistem üç ay boyunca doğru çalışırsa, dördüncü ayda ona sistem yazma yetkisi vermek tartışılabilir hâle gelir. Ters sıra denendiğinde ilk hatalı kayıtta proje kapanır.

Bu yapının çalışan bir örneğini kendi operasyonumuzda kullanıyoruz: OpsMind, WhatsApp'tan gelen mesajı okuyup ESA'daki gerçek kayda bakıyor, yetkiyi konuşan kişiye bağlıyor ve yaptığı işi aynı sohbette yazıyor. Hangi araçlara eriştiği ve sınırların nasıl çizildiği OpsMind sayfasında ayrıntılı anlatılıyor.