Embedding Nedir? Sinir Ağlarında Anlam Temsili ve Uygulama Alanları

Emeddingler, sinir ağlarının kelimeleri, metinleri, görselleri ve diğer verileri matematiksel işlemler için uygun hale getiren sayısal temsillerdir. Sinir ağı, "kedi" kelimesini bir harf dizisi olarak değil, sayılardan oluşan bir vektör olarak algılar; bu vektörün konumu, nesnenin anlamıyla ilişkilidir.

Emeddinglerin temel özelliği, anlamsal olarak benzer nesnelerin genellikle birbirine yakın vektör temsilleri almasıdır. Örneğin, "araba" kelimesinin vektörü, "muz"dan ziyade "otomobil"e daha yakın olur. Bu sayede sinir ağı sadece kelimelerin bire bir eşleşmesini değil, cümlelerin, belgelerin ya da görsellerin anlamını da karşılaştırabilir.

Bu yaklaşım, dil modelleri, anlamsal arama, öneri sistemleri, vektör veritabanları ve multimodal sinir ağlarında kullanılır. Neden bu kadar etkili olduğunu anlamak için öncelikle bir embeddingin ne olduğunu ve sıradan sayısal kimliklerden nasıl ayrıldığını bilmek gerekir.

Emedding Nedir ve Sinir Ağları Neden Kullanır?

Basitçe anlatmak gerekirse, embedding bir nesneyi (kelime, kelime parçası, cümle, belge, görsel, ses kaydı veya öneri sistemi kullanıcısı gibi) hesaplama açısından uygun bir biçimde tarif eden bir sayı dizisidir.

Örneğin, bir kelimeye ait varsayımsal bir embedding şöyle görünebilir:

[0.24, -0.81, 0.13, 0.57, ...]

Gerçekte vektörde yüzlerce hatta binlerce sayı bulunabilir. Her bir değeri doğrudan "renk", "boyut" veya "ruh hali" gibi bir kavrama karşılık gelecek şekilde açıklamak genellikle mümkün değildir. Anlam, tek bir koordinatta değil, tüm vektörün diğer vektörlere göre konumunda saklıdır.

Vektör temsili özünün fikri de burada yatar. Eğer iki nesne, görev bağlamında birbirine benziyorsa, model onları çok boyutlu uzayda birbirine yakın yerleştirmeye çalışır. "Dizüstü bilgisayar" ve "bilgisayar" yakınken, "dizüstü bilgisayar" ve "okyanus" çok daha uzakta yer alır.

Böyle bir temsil olmadan sinir ağlarının anlamla çalışması çok zor olurdu. Bilgisayarlar nihayetinde sayılarla işlem yapar; bu yüzden ham veriler mutlaka bir şekilde sayısal bir forma dönüştürülmelidir. Ancak basit bir nesne numarası bu sorunu çözmez.

Örneğin, sistem "kedi"ye 125, "erkek kedi"ye 892 kimliği atadıysa, bu rakamlar iki kelimenin anlamca yakınlığı hakkında hiçbir şey söylemez. 125 sayısı, model açısından 892'ye anlamlı şekilde "yakın" değildir. Emeddingler, nesneleri öyle bir şekilde sunar ki aralarındaki matematiksel mesafe, onların benzerliği hakkında bilgi içerir.

Emedding ile Token Arasındaki Fark

Emedding ve token karıştırılmamalıdır. Token, modelin işlem öncesi metinden ayırdığı parçadır: bir kelime, kelime parçası, noktalama işareti veya başka bir unsur olabilir. Her tokene, sinir ağında kullanılan sayısal bir temsil atanır.

Daha fazla bilgi için "Yapay zeka ağlarında token nedir ve ChatGPT neden tokenleri sayar?" başlıklı makaleyi okuyabilirsiniz.

Emeddingler sadece dil modelleri için gerekli değildir. Görselleri vektörler şeklinde sunmayı öğrenen bir sistem, görsel veya anlamsal açıdan benzer resimleri bulabilir. Ürünleri ve kullanıcı ilgilerini vektörlerle gösterince öneri sistemleri geliştirilebilir. Belgeler embeddinge dönüştürülürse, anahtar kelimeler tam olarak örtüşmese de anlam bazlı arama yapmak mümkün olur.

Bu nedenle embedding, gerçek veriler ile sinir ağı matematiği arasında evrensel bir ara dil gibi düşünülebilir. Nesne ister metin ister görsel olsun, modelin içinde çok boyutlu bir uzaydaki bir noktaya dönüşür; bundan sonra karşılaştırılabilir, aranabilir ve hesaplamalar yapılabilir.

Metin Nasıl Vektöre Dönüşür?

Metin ve Tokenlardan Sayılara

Sinir ağı bir cümleyle çalışmaya başlamadan önce metin birkaç dönüşümden geçer. Bu zincir şöyle özetlenebilir:

• metin → tokenler → token kimlikleri → embeddingler → sinir ağında işleme

İlk adımda, metin bir tokenizer tarafından bölünür. Örneğin, "sinir ağı metni analiz ediyor" ifadesi üç kelimeye değil, birkaç tokene (kelimeler, kelime parçaları veya semboller) ayrılabilir. Kesin bölünme, kullanılan tokene göre değişir.

Daha fazla bilgi için "Metin tokenizasyonu nedir? Yapay zeka ve tokenler süreci" başlıklı makaleyi inceleyebilirsiniz.

Tokenleştirme sonrası her öğeye modelin sözlüğünden bir kimlik atanır. Mesela tokenler sırasıyla 4217, 853, 19024 kimliği alabilir. Bu rakamlar, ilgili sözlük ögelerine erişmek içindir; kendileri anlam taşımaz.

Bir sonraki adımda, token kimlikleri embeddinge dönüştürülür. Her token için model, çok sayıda sayıdan oluşan bir vektör atar. Sinir ağının sonraki katmanları hesaplamaları bu vektörlerle yapar.

Böylece bir cümle modele harf harf iletilmez; ön işlemeden sonra sayı vektörleri dizisine dönüşür. Metindeki öğelerin sırası ve varlığı korunur.

Başlangıç embeddingi, sadece çıkış noktasıdır. Modern dil modellerinde bu temsil, sinir ağı katmanlarında ilerledikçe çevresel bağlamı da hesaba katacak şekilde evrilir.

Örneğin, "anahtar" kelimesi "kapı anahtarı" ve "sorunun anahtarı" cümlelerinde aynı token olarak kaydedilir. Ancak bağlam işlendiğinde, iç temsil farklılaşır; çevredeki kelimeler anlamı belirler.

Sinir Ağı, Anlamca Benzer Kelimeleri Nasıl Yerleştirir?

Faydalı embeddingler geliştiriciler tarafından elle tanımlanmaz. Kimse "köpek" ile "kedi"nin ne kadar yakın, "uçak" ile "havaalanı"nın ne kadar ilişkili olduğunu devasa bir tabloyla işaretlemez. Bu ilişkiler, modelin eğitimi sırasında kendiliğinden oluşur.

Sinir ağı çok sayıda örneği işler ve belirli bir görevi daha iyi yapmak için parametrelerini kademeli olarak ayarlar. Bu süreçte, birlikte sıkça görülen kelimeler, ilişkili kavramlar ve ortak dil yapıları arasındaki istatistiksel desenleri keşfeder.

Benzer bağlamda sıkça karşılaşılan kelimeler, benzer özelliklere sahip temsiller alabilir. Mesela "kedi" ve "köpek" genellikle "hayvan", "mama", "evcil", "ev hayvanı" kelimeleriyle yan yana görülür; bu yüzden vektörleri "işlemci" kelimesinin vektöründen daha yakın olabilir.

Ancak embeddingler sadece ortak kelime sıklığını yansıtmaz. Modern modeller, çok sayıda metin ögesindeki karmaşık bağımlılıkları öğrenir. Sonuçta vektör uzayı, kategorileri, ilişkileri, bağlamı ve göreve yararlı diğer özellikleri yansıtabilir.

Bu uzayın yüzlerce veya binlerce boyutu olabilir. İnsan için geometrik olarak hayal etmek imkânsızdır; ancak matematiksel olarak çalışmak kolaydır. İki vektör arasındaki mesafe hesaplanabilir ve modelin ilgili nesneleri ne kadar yakın gördüğü anlaşılır.

Kelime ve Tüm Metin Embeddingi

Bir embedding illa ki tek bir kelime veya tokene karşılık gelmek zorunda değildir. Göreve bağlı olarak, bir cümle, paragraf, makale veya belge de tek bir vektörle temsil edilebilir.

Örneğin, "akıllı telefonun pil ömrünü nasıl artırabilirim?" ve "telefonun şarjının daha uzun gitmesi için yöntemler" ifadeleri farklı kelimelerden oluşsa da embedding modeli bu sorguları anlamca yakın bulup yan yana yerleştirebilir.

Bu amaçla sistem, tüm metnin kompakt ve karşılaştırmaya uygun bir vektör temsilini oluşturur. Bu, özellikle belge arama, içerik sınıflandırma, benzer metinlerin gruplanması ve bilgi tabanlarıyla çalışmada faydalıdır.

Kaynak metnin uzunluğu ile embeddingin boyutu aynı olmak zorunda değildir. Kısa bir cümle ile uzun bir paragraf aynı boyutta vektörlerle gösterilebilir; fark, sayıların değerindedir, miktarında değil.

Bu sayede binlerce materyali hızlıca karşılaştırmak mümkündür. Sistem, tüm belgelerin vektörlerini önceden çıkarır ve kullanıcı sorgusunun embeddingine en yakın olanları arar.

Böylece sinir ağı, metni harf harf değil, anlam boyutlu matematiksel bir uzayda temsil eder. Şimdi sorulması gereken: Bu uzayda iki vektör arasındaki yakınlık nasıl ölçülür ve neden anlamca yakın metinleri bulmaya yardımcı olur?

Vektör Uzayı: Sinir Ağı Anlamı Nasıl Karşılaştırır?

Bir embeddingi, uzaydaki bir nokta gibi hayal edebilirsiniz. Ancak alışıldık iki ya da üç değil, yüzlerce veya binlerce boyutlu bir uzaydır. Her nesne - kelime, cümle, belge veya görsel - kendi koordinatlarını alır ve diğer nesnelere göre belirli bir konumda bulunur.

Bir noktanın yeri insana pek bir şey ifade etmez; önemli olan vektörler arasındaki mesafe ve yöndür. İki metin anlamca yakınsa, embedding modeli onları yaklaştırır. Farklı konulardaki iki metnin temsilleri ise genellikle daha uzaktadır.

Örneğin, şu sorgular:

• akıllı telefonun şarj süresi nasıl uzatılır
• telefonun batarya ömrü nasıl artırılır

kelime bazında fazla örtüşmez. Yine de embeddingleri neredeyse aynı olabilir, çünkü aynı anlamı taşırlar. Bu, anlam tabanlı karşılaştırmayı anahtar kelimeye dayalı aramadan ayırır.

Vektörler Arasındaki Yakınlık Nedir?

İki embeddingin ne kadar benzer olduğunu belirlemek için matematiksel ölçüler kullanılır. En yaygın olanı kosinüs benzerliğidir.

Vektörleri bir noktadan çıkan iki ok gibi düşünün. Kosinüs benzerliği öncelikle aralarındaki açıyı değerlendirir. Yönleri neredeyse aynıysa nesneler yakındır; çok farklıysa benzerlik azalır.

Bu yöntem, vektörün uzunluğundan ziyade yönünün önemli olduğu çoğu görev için uygundur. İki metin hacim veya ayrıntıda farklı olabilir ama hâlâ aynı konuyla ilgili olabilir; uzaydaki yönleri benzer kalabilir.

Başka metrikler de kullanılır - örneğin, Öklidyen mesafe veya skaler çarpım. Seçim, modele ve embedding kullanılan sisteme bağlıdır. Kullanıcı için önemli olan: vektörlerin matematiksel yakınlığı nesnelerin benzerliğini ölçer.

Aynı Kelimeler Her Zaman Aynı Anlamı Taşır mı?

Metnin anlamını anlamak için aynı kelimeler yeterli değildir. Bir kelime, bağlama göre çok farklı kullanılır.

Örneğin:

• fare klavyenin yanında duruyor
• fare dolabın altına saklandı

"Fare" her iki cümlede de var, fakat ilki muhtemelen bir bilgisayar aygıtından, ikincisi bir hayvandan bahseder. Modern sinir ağları bağlamı göz önüne alır, bu yüzden kelimenin içsel temsili farklı olur.

Tersine, cümlelerde aynı kelimeler olmasa da aynı düşünce ifade edilebilir. "Dizüstü bilgisayar çabuk şarjı bitiyor" ve "bilgisayarın pil ömrü kısa" farklı şekilde yazılmıştır ama anlamca yakındır.

Bu nedenle embeddingler, tam eşleşmelerin işe yaramadığı durumlarda faydalıdır. Sistem, hem mevcut kelime setlerini hem de genel anlamın sayısal temsillerini karşılaştırabilir.

Anlamsal Arama Nasıl Çalışır?

Anlamsal arama, bilgiye sorgunun anlamına göre ulaşmak için embeddingleri kullanır. Önce belgeler veya metin parçaları vektörlere dönüştürülüp sisteme kaydedilir.

Kullanıcı bir sorgu girince, onun için de bir embedding oluşturulur. Sistem, sorgunun embeddingini kayıtlı materyallerin vektörleriyle karşılaştırır ve en yakınları seçer.

Özetle süreç şöyle işler:

• sorgu → sorgunun embeddingi → belgelerin embeddingleriyle karşılaştırma → en yakın vektörleri bulma → sonuçları sunma

Örneğin, veritabanında "lityum-iyon piller kullanım sırasında kapasitesini kademeli olarak kaybeder" cümlesi olsun. Kullanıcı ise "telefonun pili neden zamanla daha az tutuyor?" diye arıyor. İfade yapıları farklı olsa da sistem, anlamca yakınlığı tespit edip doğru materyali bulabilir.

Bu özellikle büyük bilgi tabanları, teknik belgeler, ürün katalogları ve şirket içi dokümanlarda faydalıdır. Kullanıcının, yazarın tam ifadesini tahmin etmesine gerek kalmaz.

Embeddingler, anlamı mutlak şekilde "anlamaz". Vektör yakınlığı, eğitilmiş modelin sonucudur ve hata payı vardır. Arama kalitesi embedding modeli, kullanılan dil, veri konusu, metin uzunluğu ve bölümlenme yöntemine bağlıdır.

Bu sınırlamaya rağmen vektör temsili, "burada aynı kelimeler var mı?" sorusundan "bu veriler ne kadar benzer?" sorusuna geçiş sağlar. Birçok modern anlamsal arama ve yapay zekâ uygulaması, bu prensip üzerine kuruludur.

Metin ve Görsel Embeddingleri Nerelerde Kullanılır?

Embeddingler, sistemin nesneler arasındaki benzerliği hızla belirlemesi gereken her yerde faydalıdır. Binlerce belge aramasından benzer ürün eşleştirmeye, görsel karşılaştırmadan bilgi tabanlarının dil modeline aktarımına kadar pek çok kullanım alanı vardır.

Temel prensip aynıdır: Nesne bir vektöre dönüştürülür ve diğer vektörlerle karşılaştırılır. Sadece modelin hangi bilgileri tutacağı değişir.

Anlamsal Arama

En belirgin örneklerden biri anlam tabanlı aramadır. Klasik metin arama, çoğunlukla kelimelere ve şekillerine dayanır; bu yüzden kullanıcı, gereken ifadeyi doğru şekilde bulmaya çalışır.

Embeddingler sayesinde arama daha farklı işler. Sorgu ve belgeler vektöre dönüştürülür, sistem en yakın olan materyalleri seçer.

Örneğin:

• sorgu: "telefon soğukta neden hızlı bitiyor?"
• veritabanındaki metin: "düşük sıcaklıkta lityum-iyon pil geçici olarak enerjiyi verimli şekilde sunamaz."

Kelime eşleşmesi azdır ama embedding modeli anlam yakınlığını bulup uygun materyali döndürebilir.

Bu mekanizma, dokümantasyon, şirket bilgi tabanları, ürün katalogları, destek sistemleri ve büyük metin koleksiyonlarında kullanılır.

Embeddingler, RAG sistemlerinin de önemli bir parçası olmuştur. Kullanıcı sorgusu önce dış bilgi tabanında uygun parçaları bulmak için kullanılır; bulunan içerik daha sonra dil modeline aktarılır ve cevap oluşturulur. Böylece model, eğitim parametrelerinde olmayan bilgilerle de çalışabilir.

Vektör Veritabanları

Yüzlerce embedding kolayca saklanabilir; ancak sistem milyonlarca veya milyarlarca vektörle milisaniyeler içinde benzerlik arayacaksa, özel vektör veritabanları ve arama indeksleri gerekir. Bu veritabanları, embeddingleri ve kaynak nesne bilgilerini saklar ve en yakın vektörleri hızla bulur.

Örneğin, bir bilgi tabanında bir milyon metin parçası olsun; hepsi embeddinge dönüştürülür. Kullanıcı sorgusu geldiğinde sistem, yeni bir vektör oluşturur ve kayıtlılar arasında en yakınları bulur. Sonrasında, bulunan vektörlerden orijinal doküman, ürün adı, görsel veya ilgili başka bilgiler alınabilir.

Daha fazla bilgi için "Yapay zekâ için vektör veritabanları: Pinecone ve Milvus karşılaştırması" başlıklı makaleyi inceleyebilirsiniz.

Vektör veritabanı metinleri "anlamaz"; anlamı embedding modeli oluşturur. Veritabanının görevi, vektörleri verimli şekilde saklamak ve en yakınları hızla bulmaktır.

Görsel Embeddingleri

Vektör temsili sadece metin için değil, görseller için de oluşturulabilir. Bir görüntü, modelin önemli gördüğü özellikleri yansıtan bir sayı dizisine dönüştürülebilir.

Örneğin, iki farklı otomobilin fotoğrafı, farklı açılardan ve arka planlardan çekilmiş olsa da yakın embeddingler alabilir. Bir otomobil ve bir elma fotoğrafı ise genellikle uzakta olur.

Böylece benzer fotoğraf arama, otomatik görsel gruplama, kopya tespiti ve görsel içerik sınıflandırması yapılabilir.

Modelin eğitimi, embeddingin hangi görsel özellikleri dikkate alacağını belirler. Bir sistem için şekil, başka bir sistem için içerik, stil veya detaylar daha önemli olabilir. Yani evrensel bir "doğru" görsel embedding yoktur; temsil, göreve ve modele göre değişir.

Pratik bir örnek: Fotoğrafla arama sisteminde kullanıcı bir görsel yükler, sistem embeddingini çıkarır ve kayıtlı görsellerin embeddingleriyle karşılaştırır. Böylece doğrudan metin açıklaması olmadan görsel olarak benzer ürünler veya nesneler bulunabilir.

Metin ve Görseller Aynı Uzayda

Daha ilginç bir olanak, multimodal modellerde ortaya çıkar: Farklı veri tipleri öyle temsil edilir ki ilgili metin ve görsel embeddingleri birbirine yakın olur.

Örneğin, bir golden retriever fotoğrafı ile "çimen üzerinde golden retriever cinsi bir köpek" ifadesinin embeddingleri yakın yerleşir, halbuki bunlar farklı veri tipleridir.

Bunun için model, bağlantılı örnekler (görseller ve açıklamaları) üzerinde eğitilir. Böylece ilişkili nesneleri ortak veya uyumlu bir uzayda yan yana yerleştirmeyi öğrenir.

Bunun sayesinde görsel arama sadece metinle yapılabilir. Kullanıcı "gece kırmızı spor araba" yazar, sistem bu ifadeyi vektöre çevirir ve görsel embeddingleriyle karşılaştırır. Her fotoğrafın mutlaka tam metin etiketi olması gerekmez.

Tersine, görselden ilgili metin bilgisini bulmak da mümkündür. Bu prensip, multimodal arama sistemleri, içerik tanıma ve aynı anda metin ve görselle çalışan sinir ağlarında kullanılır.

Kısacası, embeddingler farklı veri tiplerine ortak bir matematiksel biçim kazandırır. Sonrasında, metin, fotoğraf veya başka bir nesne bir vektöre çevrilince, sistem aynı temel prensiple - en yakın temsilleri uzayda arayarak - çalışabilir.

SSS

1. Embeddingler tokenlardan nasıl ayrılır?
   Token, bir metnin sinir ağı tarafından işlenmeden önce bölündüğü en küçük birimdir; kelime, kelime parçası, sembol veya noktalama işareti olabilir. Token tek başına matematiksel işlemler için uygun bir temsil değildir.
   Embedding ise bir tokene, metne veya başka bir nesneye karşılık gelen sayısal bir vektördür. Yani token giriş verisinin birimi, embedding ise model içindeki matematiksel temsilidir.
2. Bir embedding kaç sayıdan oluşur?
   Embeddingin boyutu, kullanılan modele bağlıdır ve birkaç yüz ile birkaç bin arasında değişebilir. Yüksek boyut, nesneler arasındaki karmaşık ilişkileri saklamaya imkân tanır; fakat bellek ve işlem maliyetini de artırır. Geliştiriciler, temsil kalitesi ile işlem maliyetini dengeleyerek boyut seçimi yapar.
   Koordinat sayısı, orijinal cümlenin uzunluğuyla doğrudan ilişkili değildir. Aynı embedding modeliyle kısa bir cümle ve uzun bir metin parçası aynı boyutta vektörle gösterilebilir.
3. Aynı metin farklı embeddinglere sahip olabilir mi?
   Evet, aynı metin kullanılan modele göre farklı vektörler alabilir. Her embedding modeli kendine özgü şekilde eğitilir ve verinin anlam özelliklerini farklı yansıtabilir.
   Ayrıca neyin vektöre dönüştürüldüğüne (token, cümle, belge) göre de sonuçlar değişir. Yani belirli bir ifade için evrensel bir embedding yoktur.
   Karşılaştırma yaparken aynı modelin kullanılması önemlidir. Sorgu ve belgeler farklı embedding modelleriyle dönüştürülürse, vektörler uyumsuz uzaylarda olur ve kıyaslama anlamını yitirir.
4. Embeddingler anlamsal aramada nasıl kullanılır?
   Öncelikle belgeler veya metin parçaları vektörlere dönüştürülüp kaydedilir. Kullanıcı sorgusu geldiğinde, aynı modelle embeddingi oluşturulur.
   Sistem, sorgunun vektörüne en yakın kayıtlı vektörleri arar. Yakınlık, ilgili metinlerin anlamca benzer olduğunu gösterir.
   Böylece anlamsal arama, tam kelime eşleşmesi olmasa da alakalı bilgi bulabilir. "Pil ömrü nasıl uzatılır?" sorgusu, "batarya tasarrufu" içeriğine götürebilir; çünkü vektör temsilleri yakındır.
5. Metin ve görsel benzer embeddinglerle temsil edilebilir mi?
   Evet, model birden fazla veri tipinde çalışacak şekilde eğitildiyse mümkündür. Bu sistemler, görselleri ve açıklamalarını aynı vektör uzayında eşleştirebilir.
   Örneğin, bir bisiklet fotoğrafı ile "bir kişi sokakta bisiklet sürüyor" ifadesi yakın embeddingler alabilir. Böylece sistem, anahtar kelime eşleşmesine gerek kalmadan metinle fotoğraf araması yapabilir.
   Bu fikir, birçok multimodal modelde kullanılır: Farklı veri tipleri matematiksel bir forma çevrilir ve içeriklerine göre eşleştirilebilir.

Sonuç

Embeddingler, sinir ağlarının karmaşık verileri matematiksel olarak işlenebilir forma dönüştürmesini sağlar. Kelime, cümle, belge veya görsel, özelliklerini ve diğer verilerle ilişkisinin konumunu yansıtan bir sayı vektörüne dönüşür.

Metin için bu zincir tokenizasyonla başlar: Cümle tokenlere ayrılır, tokenler sayısal kimlik alır, ardından vektörlere dönüştürülür. Modelin çalışması sırasında bu temsiller bağlama göre değişir; aynı kelime farklı cümlelerde farklı yorumlanabilir.

Embeddinglerin en büyük pratik avantajı, bilgiyi anlamına göre karşılaştırabilmektir. Bu sayede anlamsal arama, benzer görsel bulma, öneri sistemleri, RAG ve vektör veritabanları çalışır. Sistem, kullanıcı sorgusuyla kaynak metin arasında neredeyse hiç ortak kelime olmasa bile uygun materyali bulabilir.

Bununla birlikte, embedding kesin ve bire bir "anlam kodlaması" değildir. Kalitesi modele, eğitim verisine ve göreve bağlıdır. Fakat vektör temsili, modern sinir ağlarının dil, görsel ve diğer karmaşık nesneleri karşılaştırabileceği, gruplayabileceği ve ilişkilendirebileceği bir uzay yaratır.