Yapay Zeka Inferansı Nedir? Sinir Ağlarında Inferansın Temelleri ve Uygulamaları

Yapay zeka inferansı, bir sinir ağı eğitildikten sonra pratikte nasıl çalıştığını anlamak için hayati bir aşamadır. Model eğitimini tamamladıktan ve parametreleri ayarlandıktan sonra, artık gerçek veriler üzerinde yanıtlar üretir, nesneleri tanır, konuşmayı metne çevirir veya tahminlerde bulunur. İşte bu aşama, yapay zekanın günlük yaşamdaki uygulamalarında karşımıza çıkan inferans sürecidir.

Inferans Nedir? Sinir Ağlarında Inferansın Temelleri

Sinir ağı inferansı, eğitilmiş bir modelin daha önce kazandığı bilgileri yeni verileri işlemek için kullandığı süreçtir. Eğitimi bir dersi öğrenmek gibi düşünebilirsiniz; inferans ise öğrendikten sonra ödev yapmak gibidir.

Örneğin, bir modele eğitim sırasında çok sayıda kedi ve köpek fotoğrafı gösterilir. Model, iç parametrelerini karakteristik örüntüler bulacak şekilde ayarlar. Eğitimin ardından modele eğitimde görmediği bir fotoğraf verildiğinde, resmi analiz eder ve hangi hayvanın olduğunu tahmin eder. Bu süreç inferanstır.

Üretici (generatif) modellerde de benzer bir ilke geçerlidir. Dil modeli, bir metin isteği alır ve eğitilmiş parametreleri kullanarak en uygun devamı belirler. Görüntü üretici modeller ise sahne tanımına göre yeni bir resim oluşturur.

Eğitim Sonrası Modelde Neler Değişir?

Eğitim sırasında, sinir ağı sayısız örnekten geçerek sonuçları beklenenle karşılaştırır ve parametrelerini - yani ağırlıklarını - ayarlar. Modern modellerde bu parametreler milyonlarca veya milyarlarca olabilir.

Eğitim tamamlandığında, bu değerler saklanır ve model, yeni verilerle tekrar eğitime gerek kalmadan çalışabilir. Inferans başladığında, yeni giriş verileri sinir ağının katmanlarından geçer; ağırlıklar değişmez ve sonuç elde edilir.

Sunucuya veya cihaza kurulan model, eğitilmiş parametrelerle birlikte sinir ağı mimarisini temsil eder. Yeni bir yanıt almak için tüm eğitim verilerinin tekrar gösterilmesine gerek yoktur; modeli yüklemek ve yeni verileri iletmek yeterlidir.

Inferans ve Tahmin Arasındaki Fark Nedir?

Bu terimler yakın ilişkilidir, ancak "inferans" eğitilmiş modelin çalıştırılması sürecini, "tahmin" ise alınan sonucu ifade eder.

• Görüntü sınıflandırıcılarında tahmin, bir fotoğrafta belirli bir nesnenin bulunma olasılığıdır.
• Bilgisayarlı görü sistemlerinde ise nesnelerin koordinatları veya alan maskeleri olabilir.
• Tahmin modellerinde ise beklenen sayısal değerler elde edilir.

Dil modellerinde inferans sonucunda, bir sonraki olası token'ların olasılıkları hesaplanır ve metin bu olasılıklar üzerinden oluşturulur. "Tahmin" burada geleceği öngörmek anlamına gelmez; model bir nesnenin sınıfını, bir dizinin sonraki ögesini veya metnin en olası devamını tahmin edebilir.

Yapay Zeka Inferansı Nasıl Çalışır?

Inferans sırasında, sinir ağı giriş verilerini alır ve bunları eğitilmiş mimarisi üzerinden sırayla işler. Giriş; metin, resim, ses veya sayısal parametreler olabilir. Modelin içinde, veriler sayısal formata dönüştürülür ve çeşitli matematiksel işlemlerden geçer.

Bu süreç genellikle milisaniyelerden birkaç saniyeye kadar sürebilir; karmaşık modeller veya büyük istekler ise daha fazla hesaplama gerektirir. Eğitimden farklı olarak, burada hata hesaplanmaz veya ağırlıklar güncellenmez; model yalnızca mevcut parametreleri kullanır.

Basitçe bir zincir olarak özetlenebilir: giriş verisi → veri hazırlama → sinir ağı hesaplamaları → çıktı. Her aşamanın içeriği model türüne göre değişir.

Veriler Eğitilmiş Sinir Ağında Nasıl Yol Alır?

Sinir ağı, içerdiği katmanlar ve bu katmanlarda yer alan matematiksel işlemler ile eğitilmiş parametrelerden oluşur. Yeni bir istek geldiğinde, giriş verisi ilk olarak modelin işleyebileceği sayısal bir temsile çevrilir.

Bu değerler ağın katmanlarından geçerken ağırlıklarla çarpılır, toplanır ve aktivasyon fonksiyonları ya da diğer mimari mekanizmalarla dönüştürülür. Büyük modellerde ana hesaplama yükünü çok sayıda matris işlemi oluşturur.

Eğitimden temel fark, sürecin yalnızca ileri yönde gerçekleşmesidir. Yani, veriler girişten çıkışa doğru akar; ağırlık güncellemesi için geri yayılım yapılmaz.

Modern dil modellerinde genellikle Transformer mimarisi kullanılır ve burada dikkat (Attention) mekanizması, giriş dizisinin farklı bölümleri arasındaki ilişkileri dikkate alarak modelin daha isabetli sonuçlar üretmesini sağlar.

Daha fazla bilgi için Transformer mimarisi: Modern dil modellerinin temeli başlıklı makalemizi inceleyebilirsiniz.

Sinir Ağı Nihai Yanıtı Nasıl Üretir?

Modelin son katmanı, içsel veri temsilini belirli bir göreve uygun çıktıya dönüştürür. Sınıflandırıcıda bu, çeşitli sınıfların olasılıklarıdır. Örneğin, model bir resmi %92 ihtimalle kedi, %6 köpek, %2 diğer olarak tanımlayabilir.

Bilgisayarlı görüde ise çıktı nesnelerin koordinatları, görüntüdeki bölgelerin maskeleri veya derinlik haritası olabilir. Konuşma tanıma modelleri, ses sinyalini sembol veya token dizisine dönüştürür.

Üretici sinir ağlarında, süreç daha karmaşıktır; çünkü çoğu zaman tek bir geçiş yeterli olmaz. Dil modeli, cevabı adım adım oluşturur ve her adımda yine inferans yapılır.

Parametrelerin sayısı da hesaplama yükünü ve bellek ihtiyacını etkiler. Büyük modeller daha karmaşık bağıntıları tutabilir, ancak her çalıştırmaları daha fazla kaynağa ihtiyaç duyar.

Parametrelerin anlamı ve büyüklüğünün etkileri hakkında daha fazla bilgi için Yapay Sinir Ağı Parametreleri: Milyarlarca Parametre Ne Anlama Gelir? makalemizi okuyabilirsiniz.

LLM Inferansı: İstek Gönderildikten Sonra Neler Oluyor?

Dil modellerinde inferans, görüntü sınıflandırıcılarından veya tahmin sistemlerinden biraz farklı çalışır. LLM (Büyük Dil Modeli) inferansı, modelin isteği alıp token'lara dönüştürmesi ve ardından yanıtı adım adım üretmesiyle gerçekleşir.

Kullanıcı bir mesaj gönderdiğinde, model veritabanında hazır bir cümle aramaz. Bunun yerine, mevcut istek ve oluşturulan kısmı dikkate alarak olası bir sonraki token'ı hesaplar ve yanıtı birer birer inşa eder. Bu süreç, tek bir yanıtın bile onlarca veya yüzlerce ardışık hesaplama adımı içermesine neden olabilir.

Giriş İsteğinin Tokenizasyonu

Metin işlenmeden önce, sinir ağı için anlamlı bir formata dönüştürülmelidir. Bu işlem tokenizasyon olarak adlandırılır ve metni daha küçük parçalara ("token"lara) böler.

Bir token; bir kelime, kelime parçası, noktalama işareti veya başka bir metin parçası olabilir. Her token'a sayısal bir kimlik atanır ve bu sayede model tarafından işlenir.

Kısa bir cümle, insanlar için birkaç kelime gibi görünse de model için çok daha fazla token anlamına gelebilir. Giriş metni ne kadar uzunsa, modelin inferans sırasında analiz etmesi gereken veri miktarı da o kadar artar.

Tokenizasyonun detaylarını Token Nedir? ChatGPT Neden Tokenleri Sayar? makalemizde bulabilirsiniz.

Token'lar Birer Birer Nasıl Oluşturulur?

Model, giriş dizisini işledikten sonra olası bir sonraki token'ların olasılıklarını hesaplar. Örneğin, bir ifadenin ardından bir token %40, diğeri %20 olasılıkla seçilebilir.

Sistem, tanımlı üretim kurallarına göre bir sonraki token'ı seçer ve mevcut metne ekler. Güncel dizi tekrar modele sunulur ve yeni token üretilir. Bu döngü, model yanıtı tamamlayana, maksimum uzunluğa ulaşana veya özel bir bitiş token'ı üretinceye kadar devam eder.

Bu nedenle, yanıtlar genellikle bir kerede değil, parça parça - kelime kelime veya küçük bloklar halinde - görünür.

Uzun Yanıtlar Neden Daha Fazla Hesaplama Gerektirir?

Her yeni token, ayrı bir üretim adımı gerektirir. Bu nedenle, birkaç cümlelik bir yanıt, binlerce kelimelik uzun metinlere göre daha hızlı ve ucuzdur.

Yanıtın uzunluğunun yanı sıra, bağlamın büyüklüğü de yükü artırır. Modele iletilen metin ne kadar fazlaysa, her adımdaki hesaplama da o kadar karmaşık olur. Uzun bir sohbet geçmişi, büyük belgeler veya kapsamlı kodlar, bellek ve işlemci ihtiyacını artırır.

Modern LLM'lerde, önceki adımların bazı sonuçları saklanıp tekrar kullanılır; böylece her adımda tüm diziyi baştan hesaplamaya gerek kalmaz. Yine de, model ne kadar büyük, bağlam ne kadar uzun ve yanıt ne kadar kapsamlıysa, inferans için gereken kaynaklar da o kadar artar.

Inferans ile Sinir Ağı Eğitimi Arasındaki Farklar

Eğitim ve inferans aynı modeli kullanır, ancak farklı amaçları vardır. Eğitim sırasında sinir ağı parametrelerini ayarlar; inferans sırasında ise bu bilgileri yeni verilere uygular.

Eğitim genellikle çok daha fazla hesaplama gücü gerektirir. Model, büyük miktarda veriyi tekrar tekrar işleyerek beklenen sonuçlarla kendi tahminlerini karşılaştırır ve parametrelerini adım adım düzeltir.

İnferans, bu aşama tamamlandıktan sonra başlar. Modelin ağırlıkları sabitlenir ve her kullanıcı isteği için yalnızca hesaplama yapılır; model üzerinde değişiklik olmaz.

Eğitim Sırasında Ne Olur?

Eğitimde, sinir ağına örnekler sunulur ve kendi tahminini yapar. Ardından sistem, tahminin beklenen sonuca ne kadar yakın olduğunu ölçer ve hata miktarını hesaplar.

Bu hata, modelin katmanlarından geriye doğru yayılır ve ağırlıklar, daha doğru sonuçlar için çok küçük adımlarla ayarlanır. Bu döngü defalarca tekrarlanır.

Eğitim, modelin verilerdeki örüntüleri öğrenmesini sağlar. Dil modelleri için bu, token'lar ve metin yapıları arasındaki ilişkiler; bilgisayarlı görüde görsel işaretler; tahmin modellerinde ise giriş parametreleri arasındaki bağlantılardır.

Mevcut bir model yeni verilere veya göreve uyarlanacaksa, fine-tuning (ince ayar) yöntemi kullanılır. Bu sürecin ayrıntılarını Fine-tuning ve RAG: Dil Modellerinde Doğru Kullanım makalemizde bulabilirsiniz.

Inferans Sırasında Ne Olur?

Inferans sırasında hata hesaplamaya veya ağırlıkları değiştirmeye gerek yoktur. Model, giriş verisini alır, katmanlardan ileriye doğru geçirir ve sonuç üretir.

Örneğin, bir görüntü tanıma modeline piksel değerleri verildiğinde, eğitilmiş parametrelere göre en olası nesne belirlenir. Dil modelinde ise bir sonraki token'ın olasılığı hesaplanır.

Hata geri yayılımı olmadığı için, inferans genellikle eğitimdeki tek bir adımdan daha az kaynak gerektirir. Ancak, model çok büyükse (on milyarlarca parametre), tek bir çalıştırma bile ciddi hesaplama ve bellek gereksinimi doğurabilir.

Fark, özellikle altyapı düzeyinde nettir: Büyük modellerin eğitimi haftalarca süren devasa hızlandırıcı kümelerinde yapılabilirken, inferans kullanıcı isteklerini anında ve düşük gecikmeyle yanıtlamalıdır.

Bu nedenle, eğitim tamamlandığında modelin hızlı ve ekonomik çalışmasını sağlamak için ek optimizasyonlar yapılmalıdır. Böylece milyonlarca kez tekrar eğitmeye gerek kalmadan gerçek uygulamalarda rahatlıkla kullanılabilir.

Sinir Ağı Inferans Hızı Nelerden Etkilenir?

Inferans hızı, eğitilmiş bir modelin giriş verisini ne kadar hızlı işleyip sonuç üreteceğini belirler. Sohbet robotlarında bu, yanıt gecikmesi ve metin üretim hızı; bilgisayarlı görüde saniyedeki kare sayısı; otonom cihazlarda ise tepki süresi anlamına gelir.

Performans yalnızca donanım gücüne değil, modelin boyutuna, mimarisine, bellek miktarına, bileşenler arası bant genişliğine ve kullanılan optimizasyonlara da bağlıdır.

Model Boyutu ve Mimarisi

Sinir ağı ne kadar fazla parametreye sahipse, tek bir inferans sırasında o kadar çok işlem yapılması gerekir. Parametreler RAM veya VRAM'de tutulmalı ve işlemcilere hızlıca aktarılmalıdır.

Büyük modellerde, işlemci veya ekran kartı hızının yanı sıra bellek bant genişliği de darboğaz olabilir. Gerekli veriler işlemcilere geç ulaşırsa, donanım tam kapasiteyle çalışamaz.

Mimari de performansı etkiler. Benzer parametre sayısına sahip iki model, kullanılan işlemler ve algoritmalar nedeniyle farklı hızlarda çalışabilir.

Inferansı hızlandırmak için kuantizasyon, düşük hassasiyetli hesaplamalar ve optimize edilmiş model formatları kullanılır. Örneğin, 32 bit'ten 16 veya 8 bit'e geçmek, bellek ihtiyacını azaltır ve uygun donanımda hesaplamaları hızlandırır.

GPU, NPU ve Uzman Hızlandırıcılar

Sinir ağları, çok büyük sayı dizileri üzerinde işlem yaptığı için, çoklu paralel hesaplamalar yapabilen işlemcilerle verimli şekilde çalışır.

GPU'lar (grafik işlemciler), başlangıçta grafik işlemleri için tasarlanmış olsa da, çok sayıda benzer matematiksel işlemi aynı anda yapabildikleri için hem eğitimde hem de inferansta yaygın olarak kullanılır.

NPU'lar (sinirsel işlem birimleri) ise akıllı telefon, dizüstü ve diğer cihazlarda giderek daha fazla kullanılmaktadır. Yüksek enerji verimliliğiyle sinir ağı işlemlerini hızlandırır ve bazı modelleri tamamen cihaz üzerinde çalıştırmaya imkân verir.

Veri merkezlerinde ise yalnızca makine öğrenimi için tasarlanmış özel hızlandırıcılar kullanılır. Bu donanımlar, sinir ağları için tipik olan matris işlemlerini, genel amaçlı işlemcilere kıyasla daha hızlı ve düşük enerjiyle gerçekleştirir.

Bulut ve Yerel Inferans

Bulut tabanlı inferansta, kullanıcı verileri sunucuya gider ve ana hesaplamalar orada yapılır. Kullanıcıya ise hazır sonuç döner. Bu yöntemle çok büyük modeller kullanılabilir, ancak internet bağlantısına ve veri aktarımındaki gecikmelere bağımlılık vardır.

Yerel inferans ise doğrudan cihaz üzerinde gerçekleşir. Model CPU, GPU veya NPU'da çalışır ve veriler dışarı çıkmaz. Bu, ağ gecikmesini azaltır ve bazı uygulamaların internetsiz çalışmasını sağlar.

Ancak, yerel modeller cihazın belleği, işlemci gücü ve enerji tüketimiyle sınırlıdır. Bu nedenle akıllı telefon ve dizüstülerde genellikle küçültülmüş veya optimize edilmiş modeller tercih edilir.

Pratikte, bulut ve yerel inferans genellikle birbirini tamamlar. Basit işlemler cihazda yapılırken, karmaşık istekler veri merkezine yönlendirilir. Böylece gecikme azalır, sunucu yükü hafifletilir ve gerektiğinde daha güçlü modellere erişim sağlanır.

Sonuç

Sinir ağı inferansı, eğitilmiş bir modelin gerçek görevleri yerine getirdiği aşamadır. Bu süreçte model parametreleri değişmez; sinir ağı yeni verileri alır, mimarisi üzerinden geçirir ve tahmin, sınıflandırma veya üretim yapar.

Dil modellerinde inferans, token'ların ardışık olarak üretilmesine dönüşür. Yanıt hızı; modelin boyutuna, bağlamın uzunluğuna, kullanılan donanıma ve optimizasyon tekniklerine bağlıdır. Yapay zekanın gerçek uygulamalardaki verimliliği ve ekonomikliği bu aşamada belirlenir.

Eğitim, modele yetenek kazandırır; inferans ise bu yeteneklerin pratikte kullanılmasını sağlar. Bu yüzden, yapay zekâ gelişimi artık yalnızca daha güçlü modeller üretmekle değil, onları daha hızlı, ekonomik ve kullanıcıya yakın çalıştırmakla da ilgilidir - ister bulutta, ister bilgisayarda, ister doğrudan cep telefonunda.