Transformer Mimarisi: Modern LLM'lerin Temelindeki Devrim

Transformer mimarisi, günümüzün büyük dil modellerinin büyük çoğunluğunun temelini oluşturur. Transformer'lar sayesinde sistemler metin üretebiliyor, soruları yanıtlayabiliyor, belgeleri analiz edebiliyor, kod yazabiliyor ve uzun bağlamlarla çalışabiliyor. Transformer'ın eski yaklaşımlardan en büyük farkı ise dikkat (attention) mekanizmasıdır: Model, metnin farklı bölümleri arasındaki ilişkileri değerlendirip, hangi bilginin mevcut görev için daha önemli olduğunu belirleyebilir.

Transformer Nedir ve Sinir Ağlarını Nasıl Değiştirdi?

Transformer, dikkat mekanizması sayesinde veri dizilerini işlemek üzere tasarlanmış bir sinir ağı mimarisidir. Metin söz konusu olduğunda, bu diziler token'lardır: kelimeler, kelime parçaları, işaretler ve modelin girişi parçaladığı diğer öğeler.

Transformer'lar ortaya çıkmadan önce, ardışık verileri işlerken yaygın olarak tekrarlayan sinir ağları (RNN) ve onların gelişmiş versiyonları olan LSTM ve GRU kullanılıyordu. Bunlar, metni sırayla işlerdi: önce ilk öğe, sonra ikinci, üçüncü ve böyle devam ederdi. Önceki öğeler hakkındaki bilgi, ağın iç durumu aracılığıyla bir sonraki adıma aktarılırdı.

Bu yaklaşım metnin doğasına uygun olsa da, önemli bir kısıtlaması vardı: Hesaplamaların da sıralı olarak yapılması gerekiyordu. Yani bir öğe işlenmeden bir sonrakine geçilemiyordu. Bu, modern GPU'larda paralel eğitim yapmayı zorlaştırıyor ve uzun dizilerin işlenme süresini artırıyordu.

Ayrıca, tekrarlayan ağların metnin uzaktaki öğeleri arasındaki bilgiyi koruması zordu. Örneğin, önemli bir kelime uzun bir cümlenin başındaysa, ilişkili ifade ise sonundaysa, model bu bağımlılığı kaybedebilirdi.

Transformer ise farklı çalışır. Sıralı iç durum aktarımı yerine, Attention mekanizmasıyla dizi öğeleri arasındaki ilişkileri analiz eder. Her token, diğer token'lardan doğrudan bilgi alabilir; aralarındaki mesafe önemli değildir.

Örnek: "Yazılımcı dizüstü bilgisayarı açtı çünkü o kodu kontrol etmek istedi." Burada "o" zamirinin hangi nesneye atıfta bulunduğunu anlamak için Transformer'ın dikkat mekanizması, "o" ile "yazılımcı" arasındaki ilişkiyi bulabilir.

Transformer, kelimenin tam anlamıyla insan gibi dil bilgisini anlamaz. Sayısal temsillerle çalışır ve öğeler arasındaki istatistiksel ilişkileri öğrenir. Ancak Attention sayesinde bu ilişkileri çok daha verimli yakalayabilir.

Transformer'ın bir diğer avantajı ise eğitim sırasında çok sayıda öğeyi paralel işleyebilmesidir. Modern hızlandırıcılar, bu mimarinin temelini oluşturan büyük matris işlemlerine çok uygundur. Bu yüzden Transformer'lar kolayca ölçeklenebilir: katman sayısı, parametre miktarı ve eğitim verisi artırılabilir.

Sonuç olarak, Transformer sadece yeni bir sinir ağı mimarisi değil, çok büyük modeller oluşturmak için pratik bir temel haline geldi. Modern LLM'ler, ardışık Transformer bloklarından oluşur ve metnin temsilini aşama aşama dönüştürerek daha karmaşık bağlamsal ilişkileri yakalar.

Transformer Mimarisi Nasıl Çalışır?

Transformer'ın nasıl çalıştığını anlamak için, onu aynı yapıdaki hesaplama bloklarının bir zinciri olarak hayal etmek faydalı olur. Model, girdi olarak sayılara çevrilmiş metni alır, bu verileri birkaç kez dikkat mekanizmasından ve sinirsel katmanlardan geçirir. Her aşamada metnin temsili netleşir; model, öğeler arasındaki ilişkileri belirler ve giderek daha anlamlı özellikler oluşturur.

Token'lar, Embedding'ler ve Pozisyon Bilgisi

Transformer, cümleyi düz metin olarak almaz. Önce token'lara - kelimeler, kelime parçaları, karakterler veya noktalama işaretleri gibi küçük parçalara - böler. Her token, sinir ağının çalışabileceği bir sayı kimliğine dönüştürülür.

Dil modellerinin neden token kullandığı ve token'ların kelimelerden nasıl farklı olduğu hakkında daha fazla bilgi için "Yapay Zeka Ağlarında Token Nedir ve Neden ChatGPT Token'ları Sayar?" başlıklı makalemizi inceleyebilirsiniz.

Tek başına kimlik yeterli değildir; her token'a ayrıca embedding - çok boyutlu bir sayı vektörü - atanır. Bu, öğenin iç temsilidir ve modelin doğrudan harf ya da kelimeyle değil, onların matematiksel özellikleriyle çalışmasını sağlar.

Ancak Transformer'ın özel bir durumu vardır: Tekrar eden ağların aksine, öğelerin sırasını kendi başına bilmez. Sadece embedding'ler verildiğinde, kelime sırası açık olmaz. Bu nedenle, temsilere pozisyon kodlaması eklenir.

Bu sayede model, "köpek adamı ısırdı" ve "adam köpeği ısırdı" gibi, kelime sırası anlamı tamamen değiştiren cümleleri ayırt edebilir.

Encoder ve Decoder: Mimarinin İki Ana Bölümü

Orijinal Transformer mimarisi, Encoder ve Decoder olmak üzere iki ana bölümden oluşur.

• Encoder girdi dizisini alır ve onun içsel temsilini oluşturur, öğeler arasındaki ilişkileri keşfeder. Birkaç encoder bloğu art arda yer alır.
• Decoder ise işlenmiş temsili alır ve çıktı dizisini oluşturur. Metin üretiminde önceden oluşturulmuş token'ları da dikkate alır.

Bu yapı, özellikle bir diziyi başka bir diziye dönüştürme görevlerinde (ör. makine çevirisi) çok kullanışlıdır. Modern dil modelleri ise her zaman iki bölümü birden kullanmaz; örneğin GPT ailesi çoğunlukla sadece decoder bloklarına dayanır.

Transformer Katmanlarında Veri Akışı

Her Transformer bloğu birkaç ana bileşenden oluşur. En önemlisi, Self-Attention mekanizmasıdır; her token, diğer tüm token'lardan bilgi alabilir. Sonrasında Feed-Forward Network (tam bağlantılı sinir ağı) gelir.

Ek olarak, residual bağlantılar (kalan bağlantılar) ve normalizasyon gibi yardımcı mekanizmalar da kullanılır. Bunlar, eğitimi stabil tutar ve bilgiyi korur.

Her Transformer bloğundan geçen token'lar, giriştekine göre daha fazla bağlamsal bilgi taşır. Sonuç bir sonraki bloğa geçer ve süreç tekrar eder. Ağ derinleştikçe, metnin temsili daha karmaşık ve bağlamsal hale gelir.

Dolayısıyla bir kelimenin model içindeki değeri sabit değildir. Aynı kelime, farklı bağlamlarda farklı temsillere sahip olur. Örneğin "fare" kelimesi, bilgisayar mı yoksa hayvan mı anlamında kullanıldığına göre, Transformer bloklarından sonra farklı bağlam özellikleri taşır.

Transformer'larda Dikkat Mekanizması: Attention Nasıl Çalışır?

Dikkat (Attention) mekanizması, modelin sıradaki hangi öğelerin birbirleri için önemli olduğunu belirlemesini sağlar. Transformer, tüm kelimeleri eşit değerlendirmek yerine token'lar arasındaki ilişkiyi hesaplar ve dikkatini bağlama göre yeniden dağıtır.

Bir kelimenin anlamı cümlenin başka bir bölümüne bağlıysa, Attention bu bağı doğrudan bulur. Bu sayede Transformer, uzak token'lar arasındaki ilişkileri de yakalayarak karmaşık cümlelerde başarılı olur.

Self-Attention Nedir?

Self-Attention, aynı dizinin öğelerinin birbiriyle karşılaştırılmasıdır. Her token, diğer token'ları analiz ederek yeni temsilinin oluşmasında hangilerinin daha önemli olduğunu belirler.

Örnek: "Banka, düzenleyici karardan sonra faiz oranını artırdı." Burada "oran" kelimesi, en çok "banka" ve "faiz" ile ilgilidir. Farklı bir bağlamda "oran" sporla ilgili de olabilir. Self-Attention, bu gibi bağlama bağlı farklılıkları yakalar.

Her token için model, dikkat katsayıları hesaplar. Bu katsayı ne kadar yüksekse, diğer token'ın mevcut temsil üzerindeki etkisi o kadar büyüktür. Mekanizma tüm diziye aynı anda uygulanır; bu nedenle Transformer, klasik tekrarlayan ağlar gibi metni soldan sağa işlemez.

Model Kelimeler Arasındaki Bağlantıları Nasıl Kurar?

Dikkati hesaplamak için, Transformer her token için üç vektör oluşturur: Query, Key ve Value.

• Query: Token'ın aradığı bilgi.
• Key: Diğer token'ın sunabileceği bilgi.
• Value: Aktarılacak asıl temsil.

Her Query, diğer token'ların Key'leriyle karşılaştırılır. Eşleşme ne kadar iyiyse, ilgili Value daha fazla dikkat alır. Sonuçlar ağırlıklara dönüştürülüp, token'ın yeni temsili diğer öğelerin Value'larının ağırlıklı birleşimiyle oluşturulur. Böylece her kelime, sadece kendisini değil, çevresindeki bağlamı da içerir.

Neden Ölçekli Skaler Çarpım Kullanılır?

Transformer'da Query ve Key arasındaki ilişki genellikle skaler çarpımla hesaplanır. Ancak vektör boyutu büyüdükçe, çarpım sonuçları çok büyük olabilir ve bu, Softmax fonksiyonunun doğru çalışmasını engeller. Bu yüzden sonuç, Key vektörünün boyutunun kareköküne bölünür: Scaled Dot-Product Attention olarak adlandırılır. Ardından Softmax ile ağırlıklar normalize edilir.

Multi-Head Attention: Neden Birden Fazla Dikkat Mekanizması?

Dilde çok farklı ilişki türleri olduğu için Transformer, birden fazla bağımsız dikkat başlığı (Multi-Head Attention) kullanır. Her başlık, Query, Key ve Value'yu kendi dönüşümleriyle işler ve farklı metin özelliklerine odaklanır. Sonuçlar birleştirilip tekrar tek bir temsile dönüştürülür. Başlıkların görevi eğitim sırasında kendiliğinden oluşur.

Dikkat ve bağlamın rolü hakkında daha fazlası için "Yapay Sinir Ağları Neden Uzun Diyalogları Unutur? Bağlam, Bellek ve Attention Nasıl Çalışır?" başlıklı makalemizi okuyabilirsiniz.

Transformer Metni Adım Adım Nasıl İşler?

Transformer'ın çalışması, model yanıt vermeden çok önce başlar. Öncelikle metin, token'lara dönüştürülür; her biri sayısal olarak temsil edilir, dikkat ve sinirsel katmanlardan geçer, ardından model bir sonraki token'ın olasılığını hesaplar. Bu işlem defalarca tekrarlanır ve büyük dil modeli her seferinde yeni bir token ekleyerek cümleyi inşa eder.

Metnin Token ve Vektörlere Dönüşümü

Örneğin, kullanıcı "Sinir ağı nasıl çalışır?" yazdığında, tokenizer bunu parçalara böler. Her token'a bir sayı kimliği atanır ve ardından embedding'e, yani çok boyutlu bir vektöre dönüştürülür.

Embedding'ler içinde model pek çok özelliği kodlayabilir ve bunları bağlama göre kademeli olarak değiştirebilir. Bu mekanizma hakkında daha fazlası için "Embedding Nedir? Sinir Ağlarında Anlam Temsili ve Uygulama Alanları" başlıklı yazımıza göz atabilirsiniz.

Embedding'lere ayrıca pozisyon bilgisi eklenir; aksi takdirde Transformer sıralamayı bilemezdi.

Token'lar Arası Dikkat Hesaplaması

Temsiller Self-Attention katmanına girer. Her token için Query, Key ve Value oluşturulur ve diğer token'larla ilişkisi hesaplanır. Kısa bir bağlamda, bu ilişkiler tablo şeklinde görselleştirilebilir. Her token diğerleriyle karşılaştırılır ve bir dikkat ağırlığı seti alır.

Örnek: "Kedi koltukta uzandı çünkü o yoruldu." Burada "o" token'ı, "kedi" ile yüksek ilişki kurar ve yeni temsili buna göre şekillenir.

Sinirsel Katmanlardan Geçiş

Dikkat mekanizmasından çıkan sonuçlar, Feed-Forward Network'e iletilir. Bu sinir ağı, her token'ın temsilini bağımsız işler ve ek dönüşümler uygular. Sonra veri bir sonraki Transformer bloğuna geçer ve işlem tekrarlanır. Erken katmanlarda model basit ilişkiler bulurken, derinleştikçe daha karmaşık yapılar öğrenir.

Model içinde bir kelimenin sabit bir değeri yoktur; bağlama göre temsili değişir. Örneğin, "anahtar" kelimesi kapı kilidi mi yoksa kriptografi mi bağlamında kullanıldığına göre, işlem sonunda farklı bir bağlamsal temsil alır.

Model Sonraki Token'ı Nasıl Tahmin Eder?

Tüm Transformer bloklarından sonra, model mevcut dizinin nihai temsilini elde eder. Çıkış katmanı, bu temsili potansiyel token'lar için bir sayı dağılımına dönüştürür. Örneğin "Fransa'nın başkenti -" ifadesinden sonra "Paris" token'ının olasılığı diğer kelimelerden çok daha yüksek olur.

Model, dağılım ve oluşturma ayarlarına göre bir sonraki token'ı seçer, diziye ekler ve tüm süreç yeni bağlamla tekrar eder.

• metin → token'lar → embedding'ler → Transformer blokları → olasılıklar → sonraki token → güncellenmiş metin

Böylece LLM, tüm yanıtı tek seferde değil, adım adım bağlama göre üretir. Bu prensip basit görünse de, büyük modellerde milyarlarca parametre ve devasa hesaplamalarla ölçeklenir. Transformer'ın bu işlemleri verimli yapabilmesi, onu modern LLM'lerin temeli yapmıştır.

Neden Modern LLM'ler Transformer Üzerine Kurulu?

Transformer, modern LLM'lerin temeli olmasını tek bir özellikle değil, birkaç avantajın birleşimiyle başarmıştır: bağlamı verimli kullanma, paralel hesaplama ve iyi ölçeklenebilirlik. Bu sayede milyarlarca parametreli modeller, devasa metinlerle eğitilebildi.

Sıralı Yerine Paralel Veri İşleme

Transformer'ın klasik RNN ve LSTM'ye göre en büyük avantajı, eğitim sırasında durumu bir token'dan diğerine sıralı olarak aktarma zorunluluğunun olmamasıdır. Self-Attention, çok sayıda öğe arasındaki ilişkileri paralel hesaplamaya izin verir. Bu, GPU gibi hızlandırıcılar için idealdir ve büyük modellerin eğitimi için kritiktir.

Milyarlarca Parametreye Ölçeklenme

Transformer kolayca büyütülebilir: Yeni bloklar eklenebilir, iç boyutlar ve dikkat başlığı sayısı artırılabilir, daha fazla veride eğitilebilir. Böylece milyarlarca (hatta yüz milyarlarca) parametreye sahip büyük dil modelleri ortaya çıktı. Ancak, parametre sayısının artışı tek başına kaliteyi artırmaz; sonuç mimari, veri, donanım ve eğitim yöntemine bağlıdır. Yine de Transformer, tüm bu alanlarda etkili şekilde ölçeklenebiliyor.

Uzun Bağlamlarla Çalışabilme

Dil modelinin sadece son kelime ya da cümleyi değil, uzun bir metni dikkate alabilmesi önemlidir. Bu, uzun diyalogların sürdürülmesi, belge analizi, tutarlı kod yazımı ve talimatların izlenmesi için gereklidir. Self-Attention, token'ların uzaktaki diğer öğelerle doğrudan bağlantı kurmasını sağlar. Ancak Transformer'ın da bir bağlam penceresi (context window) sınırı vardır ve klasik Self-Attention uzun dizilerde pahalı hale gelir. Bu nedenle yeni mimarilerde dikkat optimizasyonları ve hafıza tasarrufu teknikleri kullanılır.

Transformer GPT ve Diğer Dil Modellerinde Nasıl Kullanılır?

GPT ailesi LLM'ler çoğunlukla yalnızca decoder-only Transformer mimarisiyle çalışır. Eğitimde model, metni alır ve önceki bağlama göre bir sonraki token'ı tahmin etmeyi öğrenir. Milyarlarca örnekle parametreler ayarlanır.

Yanıt üretirken de aynı ilke kullanılır: Kullanıcı sorgusu Transformer bloklarından geçirilir, sonraki token seçilir, bağlama eklenir ve süreç tekrar eder.

Transformer sadece GPT benzeri sistemlerde değil; encoder-only, decoder-only ve encoder-decoder modellerde de kullanılır. Her biri farklı görevlere göre optimize edilmiştir: bazıları metin analizi ve temsil için, bazıları üretim, bazıları ise dizi dönüşümü için uygundur.

Transformer Mimarisi Sınırlamaları

Tüm başarısına rağmen, Transformer'ın da sınırlamaları vardır. En büyük sorunlardan biri, Self-Attention'ın uzun bağlamlarda yüksek hesaplama maliyetidir. Token sayısı arttıkça belleğe ve işlem gücüne olan ihtiyaç da katlanır.

Büyük LLM'ler eğitim ve çalıştırma için büyük kaynaklar gerektirir. Çok fazla parametre, hızlandırıcı belleği, bant genişliği ve enerji tüketimini artırır.

Ayrıca Transformer, bilgileri bir veritabanı gibi saklamaz ve ürettiği bilginin doğruluğunu otomatik kontrol etmez. Öğrenilen kalıplara göre muhtemel devamı tahmin eder; bu yüzden büyük bir model bile bazen hatalı cevaplar oluşturabilir.

Yine de ölçeklenebilirlik, dikkat mekanizması ve paralel hesaplama verimliliğinin birleşimi, Transformer'ı günümüzün dil modelleri için en başarılı mimari yaptı. Bu sayede LLM'ler büyük metinlerle çalışabiliyor ve çok çeşitli görevleri yerine getirebiliyor.

Sonuç

Transformer mimarisi, dikkat mekanizması sayesinde metin işleme yaklaşımını değiştirdi. Bilgi, öğeden öğeye sıralı aktarılmak yerine token'lar vektör temsillere dönüşüyor, Self-Attention ile karşılaştırılıyor ve Transformer blokları içinde bağlam adım adım netleşiyor.

Token → embedding → Attention → sinirsel katmanlar → bir sonraki token tahmini şeklindeki bu şema, modern LLM'lerin temel çalışma prensibidir. Transformer, iyi ölçeklenir, GPU'ların gücünü etkin kullanır ve bağlamda uzak öğeler arasındaki ilişkileri yakalayabilir.

Bununla birlikte, Transformer insan gibi "anlayan" bir mekanizma değildir; matematiksel temsiller ve olasılıklarla çalışır. Sonucun kalitesi eğitim, veri, model boyutu ve bağlama bağlıdır. Yine de ölçeklenebilirlik ve dikkat mekanizmasının birleşimi, bu mimariyi modern üretken yapay zekânın temeli haline getirmiştir.