Yerel yapay zekâ modelleri: bu rehberde neler var? #
Yerel yapay zekâ modelleri konusunu aşağıdaki başlıklar altında ele alıyoruz:
Kendi bilgisayarınızda bir yapay zekâ modeli, örneğin bir dil modeli ya da görüntü üretim modeli çalıştırmak istiyorsanız belirleyici olan ilk şey işlemci hızı değil, bellektir. Modelin ağırlıkları çalışma sırasında bir yerde tutulmak zorundadır; ideal olarak ekran kartının belleğinde (VRAM), sığmazsa sistem belleğinde (RAM). Modelin boyutunu ve dolayısıyla gereken belleği belirleyen iki etken vardır: parametre sayısı ve her parametrenin kaç bitle saklandığı. Nicemleme (quantization) adı verilen yöntem, bu ikinci etkeni küçülterek büyük modelleri sıradan donanıma sığdırmayı mümkün kılar. Bu rehberde VRAM, RAM, depolama ve nicemlemenin birbirine nasıl bağlandığını ve gerçekçi beklentilerin neler olduğunu anlatıyoruz.
Kısa cevap
- Kabaca hesap: parametre sayısı × parametre başına bayt = ağırlıkların bellek ihtiyacı; üzerine bağlam (context) ve çalışma ek yükü eklenir.
- Model tamamen VRAM’e sığarsa hızlı çalışır; taşan kısım sistem RAM’ine düşerse hız belirgin biçimde azalır.
- Yanıt üretme hızı büyük ölçüde bellek bant genişliğine bağlıdır; ham işlem gücü ikinci planda kalabilir.
- Nicemleme modeli küçültür; 8 bit genellikle kayıpsıza yakındır, daha düşük bit değerlerinde kalite kaybı modele göre değişir.
- Yerel modeller gizlilik ve çevrimdışı kullanım sağlar ama büyük bulut modelleriyle her görevde aynı kaliteyi beklemek gerçekçi değildir.
Bellek hesabı: model neden bu kadar yer kaplıyor? #
Bir dil modelinin “7 milyar parametreli” ya da “70 milyar parametreli” olması, içinde o kadar sayıda ağırlık değeri bulunduğu anlamına gelir. Her ağırlık bellekte belirli bir sayı biçiminde saklanır. 16 bitlik bir biçimde her parametre 2 bayt yer kaplar; dolayısıyla 7 milyar parametreli bir model yalnızca ağırlıklar için yaklaşık 14 GB ister. Aynı model 8 bite indirildiğinde bu ihtiyaç yaklaşık yarıya, 4 bite indirildiğinde yaklaşık dörtte birine düşer.
Ancak hesap ağırlıklarla bitmez. Modelin çalışması sırasında ek bellek gerektiren başka bileşenler de vardır:
- Bağlam önbelleği (KV cache): Dil modeli, konuşmanın daha önceki kısımlarını hatırlamak için ara sonuçları saklar. Bağlam penceresi uzadıkça bu önbellek büyür; çok uzun belgelerle çalışırken ağırlıklar kadar önem kazanabilir.
- Çalışma alanı ve yazılım ek yükü: Çalıştırma motoru, sürücüler ve geçici hesaplama tamponları da bellekte yer tutar.
- Ekran ve işletim sistemi: Ekran kartı aynı zamanda monitörü sürüyorsa, VRAM’in bir kısmı masaüstü ve açık uygulamalar tarafından kullanılır.
Bu yüzden pratikte, ağırlıkların hesaplanan boyutuna makul bir pay eklemek gerekir. Aşağıdaki tablo yalnızca ağırlıklar için yaklaşık değerleri gösterir; gerçek dosya boyutları kullanılan biçime göre bir miktar farklılık gösterebilir.
| Ağırlık hassasiyeti | Parametre başına yaklaşık bayt | 7 milyar parametre için ağırlıklar | Genel kalite eğilimi |
|---|---|---|---|
| 16 bit (FP16/BF16) | 2 | ~14 GB | Referans kalite |
| 8 bit | 1 | ~7 GB | Çoğu görevde referansa çok yakın |
| Yaklaşık 5–6 bit | ~0,65–0,75 | ~4,5–5,5 GB | Genellikle iyi bir denge |
| 4 bit | ~0,5 (ek bilgilerle biraz fazlası) | ~3,5–4,5 GB | Kullanılabilir; bazı görevlerde fark edilir kayıp olabilir |
| 3 bit ve altı | <0,4 | <3 GB | Kalite kaybı belirginleşir, modele göre değişir |
VRAM, RAM ve paylaşımlı bellek #
VRAM neden öncelikli? #
Dil modellerinde yanıt üretimi, her yeni kelime parçası (token) için modelin ağırlıklarının büyük bölümünün bellekten okunmasını gerektirir. Bu nedenle üretim hızı, işlem birimlerinin gücünden çok belleğin saniyede ne kadar veri aktarabildiğine, yani bant genişliğine bağlıdır. Ekran kartlarının belleği, tipik masaüstü sistem belleğine göre çok daha yüksek bant genişliğine sahiptir. Model tamamen VRAM’e sığdığında bu avantaj tam olarak kullanılır.
Model VRAM’e sığmazsa ne olur? #
Pek çok çalıştırma aracı modelin bir kısmını GPU’ya, kalanını CPU ve sistem RAM’ine yerleştirebilir. Bu sayede büyük bir model yine çalışır, ancak sistem belleğindeki kısım hem daha yavaş belleğe hem de daha yavaş işlem birimine bağlı kaldığı için toplam hız belirgin biçimde düşer. Kabaca söylemek gerekirse, model ne kadar büyük oranda VRAM dışına taşarsa, deneyim o kadar “GPU’lu” olmaktan çıkıp “CPU’lu” hâle gelir.
Yalnızca CPU ve RAM ile çalışmak #
Ekran kartı olmadan da küçük ve orta boy modeller çalıştırılabilir. Burada belirleyici olanlar RAM miktarı, bellek kanal sayısı ve bellek hızıdır. Çift kanal yapılandırma, tek kanala göre bant genişliğini yaklaşık iki katına çıkardığı için doğrudan hıza yansır. Bu tür kurulumlar deneme ve hafif kullanım için yeterli olabilir, ancak uzun yanıtlarda bekleme süresi hissedilir.
Paylaşımlı (birleşik) bellekli sistemler #
Bazı dizüstü ve kompakt sistemlerde işlemci ile grafik birimi aynı bellek havuzunu paylaşır. Bu mimari, ayrık bir ekran kartının VRAM sınırına takılmadan büyük modellerin belleğe yüklenmesini sağlayabilir. Buradaki verim, paylaşılan belleğin bant genişliğine bağlıdır; geniş bellek veri yoluna sahip tasarımlar bu iş için oldukça elverişli olabilirken, sıradan çift kanal belleğe sahip sistemlerde avantaj sınırlı kalır.
Nicemleme (quantization) nedir, neye mal olur? #
Nicemleme, modelin ağırlıklarını daha az bitle temsil ederek boyutunu küçültme işlemidir. 16 bitlik bir değer, belirli bir ölçekleme bilgisiyle birlikte 8, 5 ya da 4 bitlik bir değere dönüştürülür. Modern nicemleme yöntemleri ağırlıkları küçük gruplara ayırıp her gruba ayrı ölçek uygulayarak kaybı en aza indirmeye çalışır; bazı yöntemler modelin daha hassas katmanlarını daha yüksek bitte bırakır.
Bunun bedeli, modelin çıktılarında küçük sapmalardır. Genel eğilimler şöyle özetlenebilir:
- 8 bit nicemleme çoğu kullanımda orijinalden ayırt edilmesi güç sonuçlar verir.
- 4–6 bit aralığı, yerel kullanımda en yaygın tercih edilen denge noktasıdır.
- Daha düşük bit değerlerinde mantık yürütme, matematik ve kod gibi hassas görevlerde bozulma daha belirgin olabilir.
- Genel bir kural olarak, aynı bellek bütçesinde daha büyük bir modelin nicemlenmiş sürümü, daha küçük bir modelin tam hassasiyetli sürümünden çoğu zaman daha iyi sonuç verir; ancak bu her model ailesi için garanti değildir.
Nicemlenmiş modeller farklı dosya biçimleri ve çalıştırma araçlarıyla dağıtılır. Kullandığınız aracın hangi biçimi ve hangi donanım hızlandırmasını desteklediğini önceden kontrol etmeniz gerekir.
Depolama, işlemci ve diğer bileşenler #
Model dosyaları birkaç gigabayttan onlarca gigabayta kadar çıkabilir; birden fazla model ve sürüm denemeye başladığınızda depolama alanı hızla dolar. NVMe SSD, modelin belleğe yüklenme süresini kısaltır; ancak model belleğe yüklendikten sonra çalışma hızına etkisi genellikle yoktur. Model belleğe sığmadığı için diskten sürekli okuma yapılan senaryolar ise son derece yavaştır ve kalıcı bir çözüm olarak görülmemelidir.
İşlemci, yalnızca CPU ile çalışılan kurulumlarda ve uzun girdilerin işlenmesi (prompt processing) aşamasında önem kazanır. Bu ilk aşama, üretim aşamasından farklı olarak daha çok işlem gücüne dayanır; bu yüzden güçlü bir GPU uzun belgeleri işlemeye başlarken de büyük avantaj sağlar. Güç kaynağı ve soğutma da göz ardı edilmemelidir: yapay zekâ iş yükleri ekran kartını uzun süre yüksek yük altında tutabilir. Mevcut sisteminizin belirli bir yazılımı kaldırıp kaldıramayacağını genel olarak değerlendirmek için Çalışır mı? aracına, yeni bir sistem planlamak için uyumluluk kontrol aracına göz atabilirsiniz.
Ne beklemeli? Gerçekçi bir çerçeve #
- Küçük modeller (birkaç milyar parametre): Orta seviye ekran kartlarında ve hatta yalnızca CPU ile çalışabilir. Özetleme, basit sorular, metin düzenleme gibi işlerde faydalıdır; karmaşık mantık ve bilgi sorularında hata payı yüksektir.
- Orta boy modeller: Daha yüksek VRAM veya geniş paylaşımlı bellek gerektirir. Kalite belirgin biçimde artar; nicemleme seviyesi seçimi önemli hâle gelir.
- Büyük modeller: Tüketici donanımında ancak çok fazla bellekle, yoğun nicemlemeyle ya da birden fazla ekran kartıyla çalıştırılabilir. Bu noktada maliyet ve karmaşıklık hızla artar.
Yerel modellerin en güçlü yanları; verinizin cihazdan çıkmaması, internet bağlantısı gerektirmemesi, kullanım başına ücret olmaması ve kendi iş akışınıza göre ayarlanabilmesidir. Zayıf yanları ise sınırlı model boyutu ve kurulum, güncelleme ile ayar sorumluluğunun size ait olmasıdır.
Sık yapılan hatalar #
- Yalnızca ağırlık boyutuna bakmak: Bağlam önbelleği ve çalışma ek yükü hesaba katılmazsa model “sığdığı hâlde” bellek yetersizliği hatası alınabilir.
- Çekirdek sayısını bellek bant genişliğinin önüne koymak: Üretim hızında genellikle bellek bant genişliği belirleyicidir.
- Tek kanal RAM ile CPU üzerinde çalışmak: Bant genişliğini yarıya indirir ve hızı doğrudan düşürür.
- En düşük bit değerini körü körüne seçmek: Çok agresif nicemleme, modeli küçültürken işe yaramaz hâle de getirebilir.
- Model lisansını okumamak: Açık ağırlıklı modellerin her biri farklı kullanım koşullarına sahiptir; ticari kullanımda özellikle dikkat gerekir.
Sık sorulan sorular #
Ekran kartım yoksa yerel model çalıştırabilir miyim? #
Evet, küçük ve nicemlenmiş modeller yalnızca CPU ve RAM ile çalışabilir. Yanıt üretim hızı daha düşük olur; yeterli RAM ve çift kanal bellek yapılandırması deneyimi iyileştirir.
VRAM mi daha önemli, GPU’nun işlem gücü mü? #
Yerel dil modellerinde önce VRAM miktarı (modelin sığıp sığmadığı), ardından bellek bant genişliği gelir. İşlem gücü, uzun girdilerin işlenmesinde ve görüntü üretiminde daha belirgin rol oynar.
Nicemlenmiş model “bozuk” bir model midir? #
Hayır. Nicemleme, kontrollü bir hassasiyet azaltımıdır. Makul seviyelerde kalite farkı çoğu zaman küçüktür; ancak çok düşük bit değerlerinde belirgin kayıplar görülebilir.
SSD hızı modelin yanıt hızını etkiler mi? #
Model belleğe yüklendikten sonra genellikle etkilemez. SSD hızı esas olarak modelin açılış süresini belirler.
Sonuç #
Yerel yapay zekâ için donanım planlamasının özü basittir: önce çalıştırmak istediğiniz model boyutunu ve kabul edebileceğiniz nicemleme seviyesini belirleyin, ardından bunun belleğe sığıp sığmadığını hesaplayın. VRAM ve bellek bant genişliği çoğu senaryoda en belirleyici faktördür; depolama ve işlemci destekleyici rol oynar. Beklentiyi gerçekçi tutarsanız, yerel modeller gizlilik ve esneklik açısından değerli bir araç hâline gelir.
