Yapay Sinir Ağı Parametreleri: Milyarlarca Parametre Ne Anlama Gelir?

Yapay sinir ağı parametreleri, bir modelin eğitim sırasında değiştirdiği sayısal değerlerdir; model bu parametreleri kullanarak verilerdeki desenleri öğrenir ve en uygun çıktıyı üretir. Bu nedenle, dil modeli tanımlarında sıkça 7B, 13B veya 70B gibi ifadeler görürsünüz: Bunlar, modelin yaklaşık 7, 13 veya 70 milyar parametre içerdiğini belirtir.

Yapay Sinir Ağı Parametreleri Nedir ve Ne Saklarlar?

Yapay sinir ağının çalışma mantığını basitleştirirsek, içinde çok sayıda matematiksel bağlantı yer alır. Her bağlantı belirli bir sinyali güçlendirebilir veya zayıflatabilir. Bu bağlantıları yöneten sayılar, yani parametreler, ağın öğrenme kapasitesini belirler.

Parametrelerin büyük kısmı ağırlıklardan oluşur. Bu ağırlıklar, bir hesaplama elemanının diğerini ne kadar etkilediğini belirler. Birçok katmanda bias (ofset) gibi ek değerler de bulunur. Hepsi birlikte modelin içsel durumunu oluşturur ve eğitim esnasında bu durum sürekli değişir.

Ağ ilk oluşturulduğunda parametrelerinde henüz anlamlı desenler yoktur. Model eğitim örnekleri alır, tahminler üretir, sonuçları beklenenle karşılaştırır ve ağırlıkları günceller. Bu süreç defalarca tekrarlanır; böylece parametreler, yeni verileri daha iyi işleyebilecek değerlere ulaşır.

Parametreler, Ağırlıklar ve Nöronlar Arasındaki Bağlantılar

Basit bir örnekle açıklayalım: Elimizde bir fotoğrafta kedi olup olmadığını anlaması gereken çok basit bir sinir ağı olsun. Bir iç özellik kulak şekline, diğeri tüy dokusuna, bir başkası göz hatlarına duyarlı olabilir.

Ağırlık, belirli bir sinyalin bir sonraki hesaplama aşaması için ne kadar önemli olduğunu belirler. Eğer bir özellik kediyi tanımada işe yarıyorsa, eğitim sırasında ilgili bağlantıların etkisi artırılır. Sıkça hataya yol açan bir özellik ise daha az etkili hale getirilir.

Modern dil modellerinde parametreler çok daha karmaşık görevlerde rol oynar: token işlemede, metnin içsel temsillerinin oluşturulmasında, Attention mekanizmasında ve katmanlar arası dönüşümlerde. Fakat temel ilke aynıdır: Model, yanıtlarının istatistiksel olarak daha iyi olması için milyonlarca sayısal değeri ayarlar.

Bu yüzden "Bir sinir ağı 10 milyar parametre içeriyor" demek, içeride 10 milyar ayrı bilgi var anlamına gelmez. Bu, yaklaşık 10 milyar öğrenilebilir sayısal katsayının hesaplamalarda kullanıldığı anlamına gelir.

Daha fazla temel bilgi için Yapay Sinir Ağları Nasıl Çalışır? Temel Prensipler ve Günlük Kullanım başlıklı yazımıza göz atabilirsiniz.

Parametreler ile Eğitim Verisi Arasındaki Fark

Sinir ağı parametreleri bazen yanlışlıkla devasa bir veri tabanı gibi düşünülür. Oysa eğitim verileri, parametrelerin ayarlanması için kullanılır; modelin içinde her zaman ayrı ayrı metinler, resimler veya bilgiler saklanmaz.

Eğitim sırasında model, istatistiksel bağıntıları bulur ve bunları birçok farklı ağırlık arasında dağıtır. Örneğin, bir dil modeli belirli kelimelerin genellikle benzer bağlamlarda geçtiğini öğrenebilir. Ancak bu bilgi modelde tek bir yerde saklanmaz; birden fazla parametreye dağılmıştır.

Bu nedenle tek bir ağırlık için "Burada Paris hakkında bilgi var" demek mümkün değildir. Bilgi, parametrelerin ortak çalışması sayesinde oluşur. Bu dağıtık yapı sayesinde sinir ağları, ezberlemekten çok genelleme yapabilirler.

Modern LLM'lerde Neden Milyarlarca Parametre Var?

Bir sinir ağının parametre sayısı doğrudan mimarisine bağlıdır. Katmanlar arttıkça, içsel temsiller genişledikçe ve hesaplama matrisleri büyüdükçe modelde saklanması gereken öğrenilebilir katsayılar da çoğalır.

Bu özellikle büyük dil modellerinde (LLM) belirgindir. Parametreler, token'ların iç temsile dönüştürülmesinde, Attention mekanizmasında, katmanlar arası bilgi aktarımında ve bir sonraki token'ın olasılığının hesaplanmasında görev alır.

Tek bir katmanda bile milyonlarca ağırlık içeren devasa matrisler olabilir. Onlarca veya yüzlerce katman olduğunda, toplam parametre sayısı hızla milyarları bulur.

Burada önemli olan, bu parametrelerin her kelime veya bilgi için ayrı ayrı oluşturulmadığıdır. Modelin yaptığı matematiksel dönüşümlerin ölçeği bu büyüklüğü gerektirir.

Parametre Sayısı Nasıl Hesaplanır?

Basit bir örnek verelim: Bir sinir ağında, 1.000 girişten 2.000 çıkışa giden bir katman olsun. Her bir girişin her çıkışa bağlanması için 1.000 × 2.000 = 2.000.000 ağırlık gerekir. Ek olarak bias gibi başka öğrenilebilir değerler de olabilir.

Gerçek bir LLM'de bu dönüşümler her katmanda defalarca tekrarlanır. Özellikle Attention mekanizmaları ve tam bağlantılı bloklar, parametrelerin büyük bir kısmını oluşturur.

Toplam parametre sayısı; katman sayısı, iç temsillerin boyutu, ara katmanların büyüklüğü, modelin sözlüğü ve hesaplama bloklarının yapısı gibi birçok faktöre bağlıdır.

Model Büyüdükçe Ne Değişir?

Parametre sayısı arttıkça modelin karmaşık içsel ilişkiler kurma kapasitesi genişler. Model, dilin inceliklerini, kavramlar arası ilişkileri ve görevlerin özelliklerini daha iyi temsil edebilir.

Bu nedenle büyük modeller genellikle daha çeşitli isteklere yanıt verebilirler. Birden fazla konuda, kod yazmadan belge analizine, çeviriden mantık sorularına kadar çok yönlü çalışabilirler.

Fakat model büyüdükçe kalite aynı oranda artmaz. 70 milyar parametreli bir model, 7 milyarlık bir modelden on kat daha iyi olmayabilir. Her ek parametre için hesaplama maliyeti artarken, alınan verim azalabilir. Kötü bir mimari veya zayıf eğitim verisi, büyük modeli de sınırlar.

Bu yüzden parametre sayısını modelin hesaplama ölçeği olarak görmek, zekâ seviyesiyle doğrudan eşdeğer tutmamak gerekir.

Sinir Ağı Parametreleri Nasıl Hesaplanır ve Model Boyutu Ne Anlama Gelir?

Bir modeldeki parametre sayısını bulmak için tüm öğrenilebilir katmanların yapısını bilmek gerekir. Her ağırlık matrisinin boyutu ve varsa ek katsayılar hesaplanıp toplanır.

Örneğin, 100 giriş ve 200 çıkışlı bir tam bağlantılı katmanda 100 × 200 = 20.000 ağırlık vardır. Her çıkış için bir bias eklenirse, 200 daha eklenir. Toplamda 20.200 öğrenilebilir değer olur.

Büyük modellerde matrislerin boyutu binlere, on binlere ulaşabilir. Modellerde genellikle toplam parametre sayısı 7B (yedi milyar), 70B (yetmiş milyar) gibi kısaltmalarla belirtilir. Buradaki B, İngilizcedeki "billion" yani milyar demektir.

Milyar Parametre Bellekte Ne Kadar Yer Tutar?

Parametre sayısı, modelin bellekte kaplayacağı alanı etkiler ancak doğrudan eşit değildir. Her parametrenin kaç bitle saklandığına bağlıdır:

• FP32 formatında (32 bit, 4 bayt): 1 milyar parametre ≈ 4 GB
• FP16 formatında (16 bit): 1 milyar parametre ≈ 2 GB
• 8 bitlik quantization: ≈ 1 GB
• 4 bitlik quantization: ≈ 0,5 GB

Aynı model farklı hassasiyetlerle daha küçük veya büyük boyutlarda sunulabilir. Ancak gerçek kullanımda sadece ağırlıklar değil; ara hesaplamalar, Attention önbelleği ve yardımcı veriler de bellekte yer kaplar. Eğitimde ise ek olarak gradyanlar ve optimizasyon durumları da tutulur.

Aktif ve Toplam Parametreler

Modern sinir ağlarında, özellikle Mixture of Experts (MoE) mimarilerinde bazı modellerde toplam parametre sayısı çok yüksek olabilir. Ancak her token işlenirken sadece bir kısmı aktifleşir. Yani modelin toplam parametre sayısı ile her defasında kullanılan aktif parametre sayısı farklıdır.

Bu nedenle 70B veya 200B gibi parametre sayıları üzerinden yapılan karşılaştırmalar yanıltıcı olabilir. Toplamı yüksek bir model, her adımda daha az hesaplama yapabilir.

Neden Daha Fazla Parametre Daha İyi Bir Sinir Ağı Anlamına Gelmez?

Büyük parametre sayısı, modelin hesaplama gücünü artırır ancak bu kapasitenin verimli kullanılacağı garanti değildir. Benzer büyüklükte iki model cevap kalitesi, hız ve görev başarısı açısından farklılık gösterebilir.

Bunun nedeni parametre sayısının sadece model ölçeğini belirtmesidir. Mimari tasarımı, eğitimde kullanılan veriler, eğitim süreci ve sonrası ayarlamalar en az sayı kadar etkilidir.

Bu yüzden "70 milyar parametreli model, 30 milyarlık modelden daha iyidir" demek doğru değildir.

Mimari ve Eğitim Kalitesi Daha Önemlidir

Kötü, tekdüze veya yetersiz filtrelenmiş verilerle eğitilen büyük bir model zayıf sonuçlar verebilir. Parametre sayısını artırmak, sadece mevcut desenlerin daha iyi öğrenilmesini sağlar; yanlış veya istenmeyen örüntüler de buna dahildir.

Mimari de en az eğitim verisi kadar önemlidir. Attention mekanizmasının yapısı, uzun bağlam işleme, iç katman boyutları veya veri akışının düzenlenmesi gibi faktörler, ağırlık sayısı artmadan kaliteyi artırabilir.

Eğitim için ayrılan hesaplama bütçesinin dağılımı da kritiktir. Model büyütülür ama yeterli veri veya eğitim süresi verilmezse, potansiyelin bir kısmı boşa gider.

Tersine, küçük ama iyi seçilmiş veriyle, kaliteli etiketlemeyle, gelişmiş optimizasyonla ve ek eğitimle eğitilen bir model, daha büyük rakiplerine yaklaşabilir veya bazı görevlerde onları geçebilir.

Eğitim sonrası modeller genellikle ek ayarlama aşamalarından geçer: Kullanıcı talimatlarını daha iyi takip etme, faydalı yanıtlar üretme, diyalog yönetimi ve istenmeyen davranışlardan kaçınma gibi ek eğitimler, parametre sayısı artmadan kaliteyi yükseltebilir.

Küçük Bir Model Nasıl Daha Büyük Birini Geçebilir?

Kompakt modellerin avantajı, özellikle özel görevlerde ortaya çıkar. Büyük bir model her işi yapabilmeli; küçük bir model ise belirli bir göreve optimize edilebilir.

Belge sınıflandırma, belirli veri çıkarma, basit çeviri veya teknik terimlerle çalışma gibi işler için milyarlarca parametre gereksiz olabilir.

Küçük modeller daha az bellek ve enerji gerektirir, daha hızlı başlar ve çalışır. Böylece lokal olarak, bir sunucuda, dizüstü bilgisayarda veya mobil cihazda güçlü bulut altyapısı olmadan çalıştırılabilir.

Hız kimi zaman maksimum kaliteden daha önemli olabilir. Gerçek zamanlı binlerce kısa isteği işlemek için, küçük bir model yüksek doğruluk feda edilse bile büyük bir modele göre daha avantajlı olabilir.

Bu stratejilerin ayrıntılarına Küçük Dil Modelleri (SLM) vs LLM: İş Dünyasında Verimli ve Güvenli Yapay Zeka başlıklı yazımızda değindik.

Sonuç olarak, model boyutunu teknik bir özellik olarak görmek gerekir; pratikte kalite, hız, maliyet ve görev gereksinimleri daha önemlidir.

Sinir Ağları Karşılaştırılırken Nelere Bakmalı?

7B, 13B, 70B gibi ifadeler model ölçeği hakkında hızlı bir fikir verir; ancak ana seçim kriteri olmamalı. Parametre sayısı, modelin büyüklüğünü gösterir ama belirli bir görevi ne kadar iyi yapacağını göstermez.

Aynı büyüklükte modeller kalite, görev başarısı ve kullanım alanı açısından farklılık gösterebilir. Biri kod yazmada, diğeri talimatları izleme veya uzun belgelerle çalışma konusunda öne çıkabilir. Farkın kaynağı mimari, veri, eğitim yöntemi ve ek ayarlamalardır.

Bu nedenle parametre sayısı, teknik bir gösterge olarak değerlendirilmelidir. Bellek ve donanım gereksinimleri için fikir verir; fakat gerçek değerini anlamak için ek bağlam gereklidir.

Parametre Sayısı Dışında Nelere Bakmalı?

• Kalite: Model, kullanılacak görevlerde ne kadar başarılı?
• Bağlam penceresi: Model aynı anda ne kadar çok bilgiyi dikkate alabiliyor? Uzun belge işleme, bazen düşük parametreli bir modeli daha avantajlı kılar.
• Üretim hızı: Aktif parametre sayısı arttıkça hesaplama maliyeti ve yanıt süresi de artar. Hız, kimi uygulamalarda kaliteye göre daha kritik olabilir.
• Bellek gereksinimi: Büyük bir LLM, birden fazla güçlü GPU isteyebilir. Küçük ve quantize modeller ise sıradan bilgisayarda çalışabilir.
• Bağımsız testler ve gerçek kullanım örnekleri: Tek bir genel sıralama yeterli değil; uygun görevlerde yapılan karşılaştırmalar çok daha bilgilendiricidir.

Büyük Model Ne Zaman Gerekli?

Büyük modeller, görev yelpazesinin önceden sınırlandırılamadığı durumlarda avantajlıdır. Evrensel bir yapay zeka asistanı, bir sohbette metin analiz edebilir, kod açıklayabilir, tablo ile çalışabilir, çeviri yapabilir ve farklı alanlardaki soruları yanıtlayabilir.

Bunun için çok sayıda karmaşık desenin işlenmesi gerekir. Ek parametreler, modelin bu içsel temsilleri oluşturmasında kapasite artışı sağlar.

Büyük LLM'ler çoklu beceri gerektiren görevlerde de genellikle daha başarılıdır. Örneğin, teknik bir belgeyi okuyup sorunu belirlemek, çözüm için kod yazmak ve sonucu basitçe açıklamak gibi.

Ancak model büyüklüğü hata oranını sıfırlamaz. Büyük bir sinir ağı da yanıtı yanlış yorumlayabilir, yanlış bilgi üretebilir veya hatalı sonuç verebilir. Bu sınırlamaların ayrıntılarını Büyük Dil Modellerinin Sınırları ve Hataları: LLM'ler Neden Yanılır? başlıklı yazımızda bulabilirsiniz.

Kompakt Model Ne Zaman Daha İyi?

Kompakt sinir ağları, hız, maliyet ve yerel çalıştırma gibi kriterlerin öne çıktığı görevler için uygundur. Sorgu çeşitliliği önceden belliyse, devasa parametreli bir model kullanmak çoğu zaman gereksizdir.

Küçük bir model; kullanıcı başvurularını kontrol etmek, mesajları sınıflandırmak, belgelerden değer çıkarmak veya sınırlı bir dizi komutu yerine getirmek gibi özel görevlerde yeterli doğrulukla ve düşük maliyetle çalışabilir.

Lokal çalıştırma, verilerin cihazda veya şirket altyapısında işlenmesini sağlar; böylece dış bulut servisine bağımlılık azalır. Ayrıca bağlantı hızı ve uzak server erişimi sorunları da ortadan kalkar.

Bu nedenle "en çok parametreli modeli seçmek" nadiren en iyi stratejidir. Öncelikle görevi, kalite gereksinimini ve mevcut kaynakları belirlemek, ardından uygun ölçekli sinir ağını seçmek daha verimlidir.

Sonuç

Yapay sinir ağı parametreleri, modelin giriş verisini nasıl dönüştüreceğini ve çıktıyı nasıl oluşturacağını belirleyen öğrenilebilir sayısal katsayılardır. Milyarlarca parametre, milyarlarca ayrı bilgi değil; bilgi ve desenlerin çok sayıda bağlantılı ağırlığa dağıtıldığı anlamına gelir.

Parametre sayısı modelin ölçeğini ve yaklaşık bellek/hesaplama ihtiyacını gösterir. Ancak kaliteyi belirleyen tek unsur değildir. Mimari, eğitim verisi, optimizasyon yöntemleri, ek eğitim ve uzmanlaşma sonuç üzerinde en az boyut kadar etkilidir.

Büyük LLM'ler, karmaşık ve çeşitli görevler için anlamlıdır. Yüksek hız, yerel kullanım veya dar uzmanlık gerektiğinde ise kompakt modeller daha pratik ve ekonomiktir.

Bu nedenle, sinir ağlarını karşılaştırırken "hangi modelin parametre sayısı daha fazla?" yerine, "hangi model görevimi yeterli kaynakla en iyi şekilde çözüyor?" sorusuna odaklanmak en doğrusu olacaktır.