Yapay Sinir Ağları Neden Uzun Diyalogları Unutur? Bağlam, Bellek ve Attention Açıklaması

Yapay sinir ağlarının bağlamı, dil modeli yeni bir yanıt oluştururken hangi bilgileri dikkate alabileceğini belirler. Konuşma kısa olduğunda, model genellikle yeni mesajları öncekiyle iyi ilişkilendirir. Ancak diyalog uzadıkça, model ayrıntıları kaçırabilir, eski talimatları karıştırabilir veya sanki sohbetin bir kısmı hiç olmamış gibi yanıt verebilir.

Bağlam, Bellek ve Attention: Farklı Görevler

Bu durumun nedeni, yapay sinir ağının "kötü bir hafızası" olması değildir. Bağlam, bellek ve Attention mekanizması farklı görevler üstlenir. Modern LLM'lerin neden uzun konuşmalarda zorlandığını anlamak için, modelin her yanıt öncesi hangi veriyi aldığına ve diyalog geçmişiyle nasıl çalıştığına bakmak gerekir.

Yapay Sinir Ağında Bağlam Nedir, Model Diyaloğu Nasıl "Hatırlar"?

İnsanlar konuşurken önceki replikleri hafızasına dayanarak hatırlar. Fakat bir dil modeli farklı çalışır. Yanıt üretirken ona belirli miktarda bilgi verilir: kullanıcı mesajları, önceki yanıtlar, sistem talimatları ve bazen ek veriler. Bunların tamamı mevcut bağlamı oluşturur.

Uzun bir sohbeti, modelin yeni bir yanıt üretmeden önce aldığı büyük bir metin belgesi gibi düşünebiliriz. Model, içindeki dizileri analiz eder ve bir sonraki token'ın ne olması gerektiğini tahmin eder.

Burada model, mesajları insan gibi okumaz. Metin önce token'lara - kısa kelimeler, kelime parçaları, noktalama işaretleri veya başka karakter dizileri - bölünür. Modelin temel çalışma birimi bu token'lardır.

Örneğin, konuşmanın başında kullanıcı "Sadece Python örnekleri kullan" dediyse, bu talimat bağlamda bulunur ve sonraki yanıtları etkiler. Model, bu kuralı yeni istekle birlikte aldığı sürece dikkate alabilir.

Bu yüzden "yapay sinir ağı mesajı hatırladı" ifadesi teknik olarak çoğu zaman yanlıştır. Çoğu durumda, model ayrı bir bellekte olguyu saklamaz; önceki replik yeniden, yeni yanıt oluşturulurken mevcut verilere dahil olur.

Bağlam ve Gerçek Bellek Arasındaki Fark

Bağlam, doğrudan istek işlenirken vardır. İçindeyse, model onu yanıtında potansiyel olarak kullanabilir. Artık modele aktarılmayan bilgiye, standart bağlam mekanizmasıyla erişilemez.

Yapay sinir ağında bellek ayrı şekilde organize edilebilir. Örneğin, dil modeli etrafındaki sistem bir bilgiyi saklayıp, gerektiğinde sonraki isteklerde yeniden ekleyebilir. Model için bu bilgi yine bağlamın parçası olur; ancak güncel sohbetten değil, harici bir depodan alınır.

• Bağlam: Modelin şu anda gördüğü veri.
• Bellek: Farklı istekler veya konuşmalar arasında bilgi saklama mekanizması.
• Model parametreleri: Eğitim sırasında öğrenilen bilgiler ve kalıplar.

Bu mekanizmalar kolayca karıştırılabilir; çünkü kullanıcı için sonuç aynıdır: Yapay sinir ağı, önceden söylenenleri dikkate alarak yanıt verir. Ancak teknik olarak aynı etki farklı yollarla sağlanabilir.

Bir başka önemli özellik: Gerekli bilgi bağlamda olsa bile, model bunu her zaman doğru şekilde kullanmaz. Uzun konuşmalarda yüzlerce olgu, talimat ve konu aynı anda bulunabilir. Model, hangilerinin mevcut yanıt için önemli olduğuna karar vermek zorundadır.

İşte burada bir sınır ortaya çıkar: Bağlam penceresinin boyutu.

Bağlam Penceresi: Bir Diyaloğa Ne Kadar Bilgi Sığar?

Bağlam penceresi, modelin tek bir istekte işleyebileceği veri miktarının üst sınırıdır. Son kullanıcı mesajı, sohbet geçmişi, önceki yanıtlar, sistem talimatları ve ek bilgiler bu pencereye dahil edilir.

Pencere boyutu token cinsindendir. Yani, "100 mesajı hatırlıyor" denemez: Bir mesaj iki kelimeden, diğeri sayfalarca metinden oluşabilir. Konuşma uzadıkça, bağlam kapasitesi daha hızlı tükenir.

Model, on binlerce token'lık bağlam penceresini destekleyebilir. Sohbet bu limiti aşmadıkça, tüm konuşma modele aktarılabilir. Diyalog çok büyürse, sistem eski mesajları çıkarmak, özetlemek veya yalnızca en alakalı parçaları seçmek zorunda kalır.

Bu yüzden kullanıcı bazen, modelin sohbetin başındaki bilgileri aniden dikkate almadığını fark eder. Eski mesajlar yeni bağlama dahil edilmemiş olabilir.

Ancak pencereyi doldurmak tek sorun değildir. Tüm konuşma sığsa bile, modelin onunla çalışma kalitesi düşebilir. Geniş bağlam, isimler, talepler, örnekler, düzeltmeler ve modelin önceki çıkarımlarından oluşan çok sayıda nesne içerir. Bilgi arttıkça, modelin güncel soruya uygun detayları ayıklaması zorlaşır.

Mesela, sohbetin başında "belirli bir formatı kullanma" isteği olabilir. Onlarca mesaj sonra yeni talimatlar ve örnekler gelir. İlk talimat hâlâ bağlamda olsa da, son mesajlarla doğrudan ilişkili bilgiler daha etkili olur.

Bu nedenle, geniş bağlam penceresi mükemmel bellek anlamına gelmez. Sadece modele potansiyel olarak daha fazla bilgi sunar.

Pratikte, bağlamı sonsuz büyütmenin de sakıncaları vardır: Uzun dizilerin işlenmesi daha fazla işlem gücü ve bellek gerektirir. Veri arttıkça işleme maliyeti yükselir; daha fazla bilgi, her zaman daha iyi kalite anlamına gelmez.

Dahası, eski mesajlar parazite yol açabilir. Uzun diyaloglarda, geçersiz talepler, düzeltilmiş bilgiler veya aynı görevin birkaç sürümü kalabilir. Model, geçerli olanı ayırmak zorundadır.

Sonuçta, uzun konuşma problemi iki bölümden oluşur: Önce, modele aktarılabilecek maksimum token sınırı vardır. Ama daha bu sınıra ulaşmadan, eldeki metin yığını içinden doğru bilgiyi bulmak gerekir.

Bu noktada, modern dil modeli mimarisi Attention mekanizmasını kullanır.

Attention Nasıl Çalışır ve Dil Modeline Neden Gereklidir?

Model uzun bir bağlam aldığında, sadece tüm token'lara erişmesi yeterli değildir. Metnin hangi bölümlerinin birbiriyle ilişkili olduğunu ve yeni yanıt oluştururken hangilerine odaklanılması gerektiğini anlaması gerekir. Bunu Attention mekanizması sağlar.

"Attention" kelimesi "dikkat" anlamına gelir, ancak model birkaç cümleyi seçip diğerlerini tamamen görmezden gelmez. Model, dizideki elemanlar arasındaki ilişkileri hesaplar ve bazı token'ların işlenmesinde diğerlerinin ne kadar önemli olduğunu belirler.

Örneğin "Dizüstü bilgisayar açılmadı çünkü bataryası tamamen boşalmıştı" cümlesinde, modelin "batarya" ve "dizüstü bilgisayar" arasındaki ilişkiyi kurması gerekir. Uzun bir sohbette, ilgili bilgi binlerce token önce olabilir.

Kullanıcı başta Linux kullandığını belirtip, çok sonra çalışan süreçleri görmek için bir komut sorduğunda, önceki bilgi modele doğru yanıtı bulmada yardımcı olur. Attention, bağlamdaki bu tür bağıntıların dikkate alınmasını sağlar.

Özetle, Attention şöyle işler: Metin öğeleri arasındaki bağlantı gücünü hesaplar, ardından bu bağlantıları içsel metin temsili oluştururken kullanır. Böylece bir kelimenin veya cümlenin anlamı, çevresine göre belirlenir.

Modern dil modelleri, bu mekanizmayı paralel ve çok katmanlı şekilde kullanır. Bazı bağlantılar grameri, bazıları ise isimleri, nesneleri, anlam ilişkilerini veya kullanıcı yönergelerini izler. Böylece, token dizisinden yanıt tahmini için gereken temsili oluşturur.

Daha fazla teknik açıklama için Yapay Sinir Ağları Nasıl Çalışır: Temel Prensipler ve Günlük Kullanım başlıklı makaleye göz atabilirsiniz.

Attention Kendi Başına Bellek Değildir

Unutmamak gerekir ki, Attention başlı başına bir bellek değildir. Modelin geleceğe yönelik olguları kaydettiği ayrı bir depo oluşturmaz. Sadece, istek işlenirken mevcut olan bağlamla çalışır.

Eski bir mesaj bağlam penceresinin dışında kaldıysa, Attention onu geri getiremez. Gerekli bilgi bağlamda olsa bile, bu her zaman yanıtı eşit şekilde etkileyeceği anlamına gelmez.

Attention Neden Her Detayı Garanti Etmez?

On binlerce token'lık bir diyalog düşünelim. Başta kullanıcı önemli bir koşul belirtti, sonra konu birkaç kez değişti, ek kısıtlamalar ve örnekler eklendi. İlk talimat hâlâ bağlamda olsa da, şimdi çok daha fazla bilgiyle rekabet etmekte.

Model, eski talimatlara "mutlaka uy" şeklinde sabit bir statü atamaz. İşleme sırasında, bağlam elemanları arasında birçok bağlantı oluşur ve belirli bir parçanın etkisi tüm dizinin yapısına bağlıdır.

Sorun özellikle, diyalogda birbiriyle çelişen veya benzer birkaç bilgi varsa öne çıkar. Kullanıcı önce bir parametre seçer, sonra alternatifini tartışır, en sonunda ilk karara döner. Üç parça da bağlamda olabilir. Model, bunları bulmakla kalmayıp, kronolojiyi ve güncel olanı doğru anlamalıdır.

Benzer şekilde, metin içinde gömülü bilgiler de vardır. Araştırmalar, modellerin uzun bağlamda bilgileri konumuna göre dengesiz kullandığını gösteriyor. Bazen baştaki ve sondaki veriler, ortadaki önemli bir gerçekten daha fazla dikkate alınır.

Bu yüzden bağlam penceresini büyütmek, yapay sinir ağını kusursuz bir hafızaya dönüştürmez. Sadece aynı anda daha fazla bilgi sunar. Sonrasında ise doğru parçayı bulup, mevcut istekle ilişkilendirip, çelişkili ya da eski verilerle karıştırmamak gerekir.

Tüm bunlar, modelin teknik sınırdan önce bile hata yapmaya başlamasını açıklar.

Yapay Sinir Ağları Neden Uzun Diyaloglarda Unutur ve Karışır?

Model, önceki mesajları dikkate almayı bıraktığında kullanıcı bunu "unutma" olarak algılar. Pratikte bunun birkaç nedeni olabilir: Bazıları bağlam penceresinin fiziksel sınırıyla, bazıları ise tüm sohbet hâlâ sığıyor olsa bile ortaya çıkar.

En bariz senaryo, bağlamın dolmasıdır. Diyalog büyüdükçe token sayısı limite ulaşır, tüm geçmiş aynı anda modele aktarılamaz. Sistem, eski bilgileri çıkarmak, özetlemek veya en alakalı parçaları seçmek zorundadır.

Bundan sonra, model bazı ilk mesajları gerçekten göremez. Silinen kısımda önemli bir talimat, isim, sayı veya karar varsa, model sanki o konuşma hiç olmamış gibi yanıt verebilir.

Daha az belirgin bir sorun ise, bilgi bağlamda kalsa bile zayıf şekilde kullanılmasıdır. Konuşma uzadıkça, rekabet eden sinyaller artar. Eski talepler yenileriyle yan yana gelir, bir konu diğerini takip eder, kullanıcı öncekini düzeltir, model de yanıtlar üretir. Sonuçta, gerekli bilgi büyük metinler arasında kaybolabilir.

Örneğin, kullanıcı önce 100.000 TL'lik bir bilgisayar ister, sonra donanım detaylarını tartışır, onlarca mesaj sonra bütçeyi 130.000 TL'ye çıkarır. Sonra tekrar fiyata dönülürse, model hangi sınırın geçerli olduğunu doğru anlamalıdır.

Benzer sorun, çelişkili talimatlarla da yaşanır: İlk başta ayrıntılı açıklama istenir, sonra ise "kısa cevap" istenir. İkisi de bağlamda mevcutsa, sistem bunları bulmakla kalmayıp, hangisinin daha yeni olduğunu ve daha ağır basması gerektiğini anlamalıdır.

Bilginin konumu da ek zorluk yaratır. Çok uzun dizilerde, model bağlamın her bölümündeki bilgiyi eşit verimle kullanmaz. Büyük metin yığını içinde kaybolan bir koşul, daha güncel veya belirgin bilgilerden daha az etkili olabilir.

"Yapay sinir ağı bağlamı kaybetti" ifadesi, birden fazla durumu anlatabilir: Eski mesaj bağlam penceresinden çıkmış, mevcut soruyla zayıf ilişkili ya da çelişkili bilgiler arasında kaybolmuş olabilir.

Bir başka hata kaynağı da, konuşma sırasında doğrulukların zamanla bozulmasıdır. Modelin önceki yanıtları da bağlama eklenir. Model bir şartı ilk başta yanlış anlarsa ve kullanıcı bunu düzeltmezse, sonraki yanıtlar artık bu yanlış anlayışa dayanır.

Böylece bir zincir oluşur: Başta küçük bir hata yanlış varsayıma neden olur, bu sonraki mesajlarda kullanılır ve bir süre sonra konuşmanın nerede saptığı belli olmaz.

Daha fazla ayrıntı için Büyük Dil Modellerinin Sınırları ve Hataları: LLM'ler Neden Yanılır? başlıklı makaleye göz atabilirsiniz.

Uzun diyalogların sorunları, özellikle programlama, büyük belge düzenleme, proje analizi veya çok adımlı planlamada belirgindir. Tutulması gereken koşullar arttıkça, doğru bilginin yanlış değerlendirilme olasılığı yükselir.

Bağlam penceresinin büyütülmesi ise kısmi bir çözümdür. Model yüz binlerce token işleyebilse de, bilgi arama sorunu ortadan kalkmaz - veri daha da çoğalır.

Bu nedenle modern yapay zekâ sistemleri, iyi hafıza için tüm geçmişi sürekli modele vermek yerine, önemli bilgileri ayrı saklayıp yalnızca gerektiğinde bağlama ekleme yaklaşımını tercih etmektedir.

Yapay Sinir Ağı Belleği ve Uzun Bağlam: Modern Sistemlerde Çözüm Yolları

Bağlam penceresini sadece büyütmek, modele daha fazla geçmiş mesajı gösterir. Ancak bu yaklaşımın sınırı vardır: Veri uzadıkça işlem maliyeti artar ve önemli detayları bulmak zorlaşır. Bu yüzden modern yapay zekâ sistemleri, hem uzun bağlamı hem de ayrı bellek mekanizmalarını birlikte kullanır.

Kullanıcı uygulamalarında yapay sinir ağı belleği, genellikle dil modelinin etrafındaki ek bir katmandır. Sistem, önemli olguları, ayarları veya önceki konuşma sonuçlarını saklayıp, gerektiğinde modele yeniden aktarabilir.

Örneğin, proje ayarlarıyla ilgili yüzlerce mesajı tutmak yerine, kullanılan programlama dili, seçilen mimari, proje kısıtlamaları ve kullanıcı tercihleri gibi birkaç önemli bilgi ayrı kaydedilir. Konu tekrar gündeme gelince, bu bilgiler yeni bağlama eklenir.

Model için bu bilgiler, teknik olarak yine normal giriş verisidir. Fark, sistemin yararlı bilgiyi önceden seçmesinde ve modelin her seferinde tüm geçmişi analiz etmesine gerek bırakmamasındadır.

Yaygın Yaklaşımlar

• İlgili Parçaların Aranması: Eski mesajlar veya belgeler ayrı saklanır. Yeni istekte, sistem bunlardan hangilerinin güncel soruyla ilişkili olduğunu belirler. Seçilen parçalar, kullanıcı mesajıyla birlikte bağlama eklenir. Böylece, model bağlam penceresinin çok ötesindeki bilgiyle de çalışabilir.
• Geçmişin Özetlenmesi: Onlarca eski mesaj yerine, konuşmanın kısa bir özeti tutulur: Ne görüşüldü, hangi kararlar alındı, hangi koşullar geçerli. Model, her teknik ayrıntıyı değil, önemli noktaların özetini alır. Ancak özetleme, bazen önemli detayların kaybolmasına neden olabilir.
• Uzun Süreli Bellek: Farklı diyaloglar arasında bilgi saklama. Kullanıcı tercihleri, devam eden projeler veya başka önemli veri daha sonra kullanılmak üzere kayıt altına alınır. Ancak bu da, modelin tüm geçmişi değil, yalnızca seçilmiş bilgileri almasını sağlar.

Böyle bir yaklaşımın avantajı, sistemin tam olarak ihtiyaç duyulan bilgiyi belirleyip, modele daha "temiz" ve kısa bir bağlam sunabilmesidir. Azalmış gereksiz talimat, rastgele tartışma ve çelişkili veri ile modelin performansı artar.

Ancak sorun tamamen çözülmez. Bellek yanlış bilgiyi saklayabilir, arama alakasız parça döndürebilir, özetleme önemli bir ayrıntıyı kaçırabilir. Bilgi modele iletildikten sonra, doğru yorumlanması gerekir.

Bu nedenle, modern bellekli sistemler de bazen unutabilir, karıştırabilir veya hatalı detaylar verebilir. Fakat artık sorun sadece pencere boyutu değil, bilgi seçiminin kalitesidir.

Gelecekte en güvenilir sistemler, "her şeyi hatırlama"ya çalışmak yerine, o an gerçekten neyi hatırlaması gerektiğini etkili şekilde seçebilenler olacaktır.

SSS

1. ChatGPT ve diğer yapay sinir ağları neden önceki mesajları unutuyor?

   Nedeni, bağlam penceresinin sınırı veya büyük miktarda metin arasında gerekli bilginin zayıf şekilde dikkate alınması olabilir. Bazı sistemlerde eski mesajlar ayrıca özetlenir veya bağlamdan çıkarılır, bu yüzden model yeni yanıt üretirken onları alamaz.

2. Bir yapay sinir ağı kaç mesajı hatırlayabilir?

   Sabit mesaj limiti yoktur. Bağlam token cinsindendir ve mesaj uzunlukları çok farklı olabilir. Yüz kısa mesajdan oluşan bir sohbet, birkaç uzun belge veya kod parçasından oluşan diyalogdan daha az bağlam kaplayabilir.

3. Bağlam penceresi dolunca ne olur?

   Tüm geçmişi aynı anda modele vermek mümkün olmaz. Sistemin tasarımına göre, eski mesajlar çıkarılır, özetlenir veya en alakalı bölümler seçilir. Bağlama eklenmeyen bilgi, model için doğrudan erişilemez olur.

4. Yapay sinir ağı belleği ile bağlam arasındaki fark nedir?

   Bağlam, modelin mevcut istekte doğrudan aldığı bilgidir. Bellek ise ayrı tutulur ve farklı istekler veya konuşmalar arasında kullanılabilir. Modelin saklanan hatıraları kullanabilmesi için sistemin bunları tekrar güncel bağlama eklemesi gerekir.

5. Büyük bağlam penceresi unutma sorununu tamamen çözer mi?

   Hayır. Modelin daha fazla bilgi almasını sağlar, ancak her ayrıntının bulunup doğru yorumlanacağını garanti etmez. Bağlam büyüdükçe, eski, benzer ve rekabet halindeki bilgiler de artar.

Sonuç

Yapay sinir ağları uzun diyalogları, insan hafızası gibi sınırlı bir kapasiteyle değil, mevcut yanıtı oluştururken erişebildiği belirli bilgiyle işler. Bağlam, modelin şu anda kullanabileceği veriyi tanımlar. Bağlam penceresi bu verinin maksimum miktarını sınırlar. Attention ise metnin farklı bölümleri arasındaki ilişkileri kurup, hangilerinin mevcut yanıt için önemli olduğunu belirler.

Bellek ise farklı çalışır. Sistem, yararlı bilgileri ayrı saklayıp gerektiğinde modele geri verebilir. Bu nedenle, modern yapay zekâ servisleri; büyük bağlam penceresi, geçmişte arama, kısa özetler ve tekil olguların uzun süreli saklanmasını bir arada kullanır.

Uygulamada, devasa bağlam penceresi, modelin her repliği hatasız hatırlayacağı anlamına gelmez. Sohbet uzadıkça, önemli olan, erişilebilir metin miktarı değil, sistemin bu yığın içinde doğru bilgiyi bulabilme yetisidir. Gelecekte yapay zekâ belleğinin gelişimi, milyonlarca token'ı aynı anda okuyabilmekten çok, gerçekten önemli olan veriyi tam zamanında seçebilmeye odaklanacaktır.