Kunning AI va GPU yangiliklari

GPU 0 — qurilma nomi emas, ro‘yxatdagi raqami

Serverni qayta ishga tushirdingiz va yana «GPU 0»ni tekshiryapsiz. Ammo bu kecha kuzatgan tezlatkichingizmi? Nosozliklar tarixini yuritishda UUID — GPU’ning doimiy identifikatorini saqlagan ma’qul.

NVIDIA ogohlantiradi: qayta ishga tushgandan keyin qurilmalar tartibi saqlanishi kafolatlanmaydi. Shu sababli nvidia-smi’da bir xil qurilmani tanlash uchun UUID yoki PCI bus ID tavsiya etiladi. Ro‘yxatdagi raqam ishonchli nom o‘rnini bosmaydi.

nvidia-smi --query-gpu=index,name,uuid --format=csv buyrug‘ini bajaring. Natijani server nomi bilan xizmat jurnalida saqlang. Qayta ishga tushirgach, faqat index’ni emas, UUID’ni solishtiring; kerakli GPU haqida so‘rov berish uchun uning UUID’sini nvidia-smi’dagi -i parametriga kiriting.

Shunda turli tezlatkichlar haqidagi kuzatuvlar aralashib ketmaydi. UUID platadagi jismoniy yorliq bilan bir xil emas: uskunani joyida tekshirish uchun qurilmaning serverdagi o‘rnini alohida qayd eting. GPU tarixini tartib raqamiga emas, UUID’ga bog‘lang.

Gemma 4 31B: modelga mayda detallarni ko‘rishga imkon bering

Modelga ombor suratini ko‘rsatasiz, ammo u mayda buyumlarni o‘tkazib yuboradi. Modelni almashtirishdan oldin tasvir unga qanchalik batafsil yetib borishini tekshiring. Gemma 4 31B’da bu alohida sozlanadi.

Google DeepMind’ning Gemma 4 modeli visual tokens — tasvirni ifodalovchi elementlar budjetini o‘zgartirishga imkon beradi. Hujjatda 70, 140, 280, 560 va 1120 qiymatlari ko‘rsatilgan. Kattaroq budjet tasvirni tayyorlashda ko‘proq detalni saqlaydi, lekin qayta ishlash hajmini oshiradi. Bu javob uzunligining limiti emas.

Kichik qiyosiy sinov qiling: o‘zingizning o‘nta suratingizni olib, kerakli buyumlarni qo‘lda belgilang. Google misolidagi Transformers pipeline’da avval vqa_pipe.image_processor.max_soft_tokens = 280 ni qo‘ying, keyin 560 bilan takrorlang. Model, savol va generatsiya sozlamalarini o‘zgartirmang. O‘tkazib yuborilgan buyumlar, javob vaqti va eng yuqori VRAM — GPU videoxotirasi sarfini solishtiring.

Sizni qoniqtiradigan natija beruvchi kichikroq budjetni tanlang va serverni shu sozlamada baholang. Ko‘proq visual tokens to‘g‘ri tanishni kafolatlamaydi. Modelni almashtirishdan oldin aynan bir xil suratlarda kiruvchi tasvir tafsilotlarini solishtiring.