Süni intellekt modellərinin adi istifadəçi cihazlarında işlədilməsi ilə bağlı araşdırmanın ikinci hissəsində maraqlı nəticələr ortaya çıxıb. Məlum olub ki, inferensiyanın iki mərhələsindən biri olan prefill — yəni giriş mətnini emal etmə prosesi — əksər "AI PC" laptoplarında gözləniləndən qat-qat yavaş işləyir. Testlər göstərib ki, eyni model (Gemma 4 26B, 18 GB) üçün prefill sürəti güclü masaüstü kompüterdə 360 tok/san ikən, "AI PC" etiketi ilə satılan AMD 8840U prosessorlu laptopda cəmi 20 tok/san təşkil edir. Bu isə o deməkdir ki, 10–15 min tokenlik sistem promptu emal edilənə qədər istifadəçi 8–12 dəqiqə gözləməli olur.
Prefill və generasiya: iki fərqli dünya
İnferensiyanın iki mərhələsi var. Prefill mərhələsi hesablama gücü tələb edir və GPU olmadan səmərəli işləmir. Generasiya mərhələsi isə hər dəfə bir token çıxarır və əsasən yaddaş bant genişliyindən asılıdır. Gündəlik qısa sorğularda generasiya üstünlük təşkil edir və prefillin zəifliyi hiss olunmur. Lakin uzun kontekstli iş yüklərində — məsələn, sənəd təhlili, uzun mətnlərin ümumiləşdirilməsi — prefill mərhələsi dönüş nöqtəsinə çevrilir. Testlərə görə, prefill sürəti müxtəlif maşınlarda 20'dən 360 tok/san'a qədər dəyişir (18 qat fərq), generasiya sürəti isə cəmi 10 ilə 18.3 tok/san arasında (2 qat fərq) dəyişir. Yəni bir cihaz generasiyada yaxşı görünə bilər, amma böyük promptlarla praktikada yararsız ola bilər.
Laptop xüsusi diqqət çəkir. AMD 8840U (8040 seriyası) prosessoru xüsusi XDNA NPU vahidinə malikdir və "Ryzen AI" brendi altında satılır. NPU 16 TOPS-a qədər performans vəd edir. Lakin test zamanı məlum olub ki, bu NPU böyük dil modellərini işlətmək üçün nəzərdə tutulmayıb — o, daha çox vebkameranın fon bulanması, səs-küyün azaldılması kimi aşağı güclü tapşırıqlar üçün optimallaşdırılıb. Nəticədə böyük model CPU üzərində işləyir və prefill sürəti cəmi 20 tok/san qalır. Bu, "AI PC" marketinq mesajı ilə birbaşa ziddiyyət təşkil edir. Üstəlik, NPU-nun gücü Microsoft'un AI PC üçün tələb etdiyi 40 TOPS həddinin altındadır.
Testlər modelin yüklənmə müddətinin də vacib olduğunu göstərib. Məsələn, 18 GB-lıq modeli NVMe sürücüdən yükləmək 8 saniyə çəkirsə, SATA SSD-də bu müddət 50 saniyəyə qədər uzanır. Əgər model hər sorğu arasında yaddaşdan boşaldılırsa, hər dəfə yenidən yüklənmə nəticəsində 50 saniyəlik gecikmə yaranır ki, bu da vaxt aşımına səbəb ola bilər. Çıxış yolu uzun keep-alive vaxtı təyin etməkdir (OLLAMA_KEEP_ALIVE=24h) və modeli əvvəlcədən qızdırmaqdır. Kontekst uzunluğu isə KV keşinin həcmini xətti olaraq artırır: 64K kontekst üçün təxminən 926 MiB GPU yaddaşı tələb olunur, 128K isə daha böyük keş tələb etdiyi üçün qeyri-sabit işləyir.
Lokal maşınların bulud modelləri ilə müqayisəsi də maraqlıdır. Eyni tipli sorğuda (təxminən 150 sözlük düşüncə promptu) pulsuz bulud modeli Gemini 3 Flash cəmi 5.8 saniyəyə cavab verib, masaüstü kompüter (RX 6900XT) 20.6 saniyə, köhnə GTX 1060-lı sistem isə 64.5 saniyə çəkib. Bulud modeli daxili olaraq 536 token düşüncə prosesi aparmasına baxmayaraq daha sürətli çıxıb. Nəticə odur ki, hər iş yükü üçün doğru yerləşdirmə seçilməlidir: gündəlik, yüksək həcmli işlər üçün lokal (şəxsi, limitsiz, proqnozlaşdırıla bilən gecikmə), nadir hallarda isə bulud daha sərfəlidir. Araşdırmanın növbəti hissəsində bir neçə modelin eyni anda yaddaşda necə yerləşdirilə biləcəyi müzakirə olunacaq.
