Kunning AI va GPU yangiliklari

Ministral 3 14B: model sig‘di, uzun suhbat-chi?

Ministral 3 14B Reasoning uchun GPU tanlayapsiz va 32 GB VRAM’da ishlashi haqidagi ma’lumotni ko‘rdingiz. Bu raqam har qanday suhbatga tegishli emas. Mistral AI 2025-yil 2-dekabrda chiqargan oilaga mansub model matn va rasmlarni qabul qiladi; ochiq vaznlar Apache 2.0 asosida beriladi. Bu yangi reliz xabari emas, amaliy tahlil.

Reasoning-2512 kartasida BF16 uchun haqiqatan 32 GB ko‘rsatilgan. Ammo katta context bilan ishlashga ishlab chiquvchi ikkita H200 tavsiya qiladi, qisqa context uchun esa bitta GPU ham mumkinligini aytadi. Context — so‘rov va uning davomiga sig‘adigan axborot hajmi; bu modelda e’lon qilingan chegara 256K tokens. Model yuklanishi va butun suhbat sig‘ishi alohida tekshiruvlardir.

Vazifalaringiz javob bilan birga 8192 tokens ichiga sig‘sa, sinovni eng katta oynadan emas, shu limitdan boshlang. vLLM’da uni --max-model-len parametri belgilaydi. Bir xil so‘rovlarda eng yuqori VRAM sarfi va javob vaqtini yozing, keyin kerakli parallel foydalanuvchilar sonida takrorlang. Bu tavsiya etilgan sinov, biz o‘lchagan natija emas.

Shunda serverni o‘z ishingizga mos tanlaysiz. Ikkita H200 — katta context uchun tavsiya, model uchun umumiy minimum emas; limitni kamaytirish ham muayyan karta yetishini kafolatlamaydi. GPU’ni faqat vaznlar yuklanishiga emas, model va ishchi suhbat uzunligiga qarab tanlang.

AI to‘rtta vazifani ishga tushirdi — nechtasi bajarildi?

Siz AIdan bir nechta faylni bir vaqtda qayta ishlaydigan skript yozishni so‘radingiz. Oxirida u «To‘rtta natija olindi» dedi. Buni to‘rtta muvaffaqiyat deb qabul qilishga shoshilmang: xato ham ro‘yxat elementi bo‘lishi mumkin.

Python’dagi asyncio.gather’da return_exceptions=True rejimi bor. Rasmiy hujjatga ko‘ra, bu rejimda xatolar muvaffaqiyatli natijalar bilan bitta ro‘yxatga yig‘iladi. Mahalliy sinovimizda uchta vazifa qiymat qaytardi, to‘rtinchisi ValueError chiqardi. Ro‘yxatda to‘rtta element qoldi, ammo muvaffaqiyatli vazifalar uchta edi.

Yordamchidan aynan shu holatni tekshirishni so‘rang: asyncio.gather natijalari return_exceptions=True bilan qanday qayta ishlanishini tekshir. Test qo‘sh: uchta vazifa muvaffaqiyatli, bittasi ValueError chiqarsin. Hisobot «4 ta bajarildi» emas, 3 ta muvaffaqiyat va vazifa IDsi bilan 1 ta xatoni ko‘rsatsin. Testni ishga tushirib, haqiqiy natijani ko‘rsat. Ishga tushira olmasang, buni ayt.

Bunday testni haqiqiy fayllar bilan ishlashdan oldin qo‘shgan ma’qul. Ro‘yxat uzunligini emas, tasdiqlangan muvaffaqiyatlarni sanang. Xato chiqmagani ma’lumot to‘g‘riligini hali isbotlamaydi: muvaffaqiyatli javobning mazmunini alohida tekshiring.

PyTorch: checkpointing’ni tezlatishning ham sharti bor

Training paytida VRAM’ni tejash uchun activation checkpointing ishlatyapsiz: model ayrim oraliq ma’lumotlarni saqlash o‘rniga qayta hisoblaydi. Jarayonni yana bitta sozlama bilan tezlatgingiz keladi. Ammo avval hisoblashning o‘zi o‘zgarib ketmasligini tekshirish kerak.

PyTorch checkpointing’da odatda tasodifiy son generatorining holatini saqlab, qayta tiklaydi. Shunda dropout kabi tasodifiy amallar qayta hisoblanganda oddiy ishga tushirishga mos natija beradi. preserve_rng_state=False sozlamasi bu qo‘shimcha ishni olib tashlaydi, lekin shu kafolatdan ham voz kechadi.

Bu flag’ni sizga «bepul tezlashish» deb tavsiya qilishsa, tanlangan blokni tekshiring: unda dropout yoki boshqa tasodifiy amallar bormi? Keyin har bir sinovdan oldin boshlang‘ich vaznlar va generatorlar holatini tiklab, bir xil batch’da qadam vaqti, loss va gradients’ni — model xatosi va gradientlarni — asl variant bilan solishtiring. Bu tavsiya etilgan nazorat sinovi, biz o‘lchagan tezlashish natijasi emas.

Hisoblashda tasodifiylik qatnashsa, faqat chiroyli tezlik raqami uchun uning holatini saqlashni o‘chirmang. torch.compile ostida bu flag ishlamaydi: hujjatga ko‘ra, generator holati baribir saqlanadi. Tezlikni tekshirayotganda endi aynan qanday hisoblash bajarilayotganini ham tekshiring.