Куннинг AI ва GPU янгиликлари

Министрал 3 14B: модел сиғди, узун суҳбат-чи?

Министрал 3 14B Реасонинг учун GPU танлаяпсиз ва 32 GB Врам’да ишлаши ҳақидаги ма’лумотни кўрдингиз. Бу рақам ҳар қандай суҳбатга тегишли емас. Мистрал AI 2025-yil 2-dekabrda чиқарган оилага мансуб модел матн ва расмларни қабул қилади; очиқ вазнлар Апаче 2.0 асосида берилади. Бу янги релиз хабари емас, амалий таҳлил.

Reasoning-2512 картасида BF16 учун ҳақиқатан 32 GB кўрсатилган. Аммо катта cонтехт билан ишлашга ишлаб чиқувчи иккита H200 тавсия қилади, қисқа cонтехт учун еса битта GPU ҳам мумкинлигини айтади. Cонтехт — сўров ва унинг давомига сиғадиган ахборот ҳажми; бу моделда е’лон қилинган чегара 256K токенс. Модел юкланиши ва бутун суҳбат сиғиши алоҳида текширувлардир.

Вазифаларингиз жавоб билан бирга 8192 токенс ичига сиғса, синовни енг катта ойнадан емас, шу лимитдан бошланг. вллм’да уни --мах-модел-лен параметри белгилайди. Бир хил сўровларда енг юқори VRAM сарфи ва жавоб вақтини ёзинг, кейин керакли параллел фойдаланувчилар сонида такрорланг. Бу тавсия етилган синов, биз ўлчаган натижа емас.

Шунда серверни ўз ишингизга мос танлайсиз. Иккита H200 — катта cонтехт учун тавсия, модел учун умумий минимум емас; лимитни камайтириш ҳам муайян карта йетишини кафолатламайди. Гпу’ни фақат вазнлар юкланишига емас, модел ва ишчи суҳбат узунлигига қараб танланг.

AI тўртта вазифани ишга туширди — нечтаси бажарилди?

Сиз Аидан бир нечта файлни бир вақтда қайта ишлайдиган скрипт ёзишни сўрадингиз. Охирида у «Тўртта натижа олинди» деди. Буни тўртта муваффақият деб қабул қилишга шошилманг: хато ҳам рўйхат елементи бўлиши мумкин.

Пйтҳон’даги асйнcио.гатҳер’да ретурн_ехcептионс=Труе режими бор. Расмий ҳужжатга кўра, бу режимда хатолар муваффақиятли натижалар билан битта рўйхатга йиғилади. Маҳаллий синовимизда учта вазифа қиймат қайтарди, тўртинчиси Валуееррор чиқарди. Рўйхатда тўртта елемент қолди, аммо муваффақиятли вазифалар учта еди.

Ёрдамчидан айнан шу ҳолатни текширишни сўранг: асйнcио.гатҳер натижалари ретурн_ехcептионс=Труе билан қандай қайта ишланишини текшир. Тест қўш: учта вазифа муваффақиятли, биттаси Валуееррор чиқарсин. Ҳисобот «4 та бажарилди» емас, 3 та муваффақият ва вазифа Идси билан 1 та хатони кўрсатсин. Тестни ишга тушириб, ҳақиқий натижани кўрсат. Ишга тушира олмасанг, буни айт.

Бундай тестни ҳақиқий файллар билан ишлашдан олдин қўшган ма’қул. Рўйхат узунлигини емас, тасдиқланган муваффақиятларни сананг. Хато чиқмагани ма’лумот тўғрилигини ҳали исботламайди: муваффақиятли жавобнинг мазмунини алоҳида текширинг.

PyTorch: чеcкпоинтинғни тезлатишнинг ҳам шарти бор

Траининг пайтида Врам’ни тежаш учун аcтиватион чеcкпоинтинг ишлатяпсиз: модел айрим оралиқ ма’лумотларни сақлаш ўрнига қайта ҳисоблайди. Жараённи яна битта созлама билан тезлатгингиз келади. Аммо аввал ҳисоблашнинг ўзи ўзгариб кетмаслигини текшириш керак.

PyTorch чеcкпоинтинғда одатда тасодифий сон генераторининг ҳолатини сақлаб, қайта тиклайди. Шунда дропоут каби тасодифий амаллар қайта ҳисобланганда оддий ишга туширишга мос натижа беради. пресерве_рнг_стате=Фалсе созламаси бу қўшимча ишни олиб ташлайди, лекин шу кафолатдан ҳам воз кечади.

Бу флағни сизга «бепул тезлашиш» деб тавсия қилишса, танланган блокни текширинг: унда дропоут ёки бошқа тасодифий амаллар борми? Кейин ҳар бир синовдан олдин бошланғич вазнлар ва генераторлар ҳолатини тиклаб, бир хил батч’да қадам вақти, лосс ва градиентс’ни — модел хатоси ва градиентларни — асл вариант билан солиштиринг. Бу тавсия етилган назорат синови, биз ўлчаган тезлашиш натижаси емас.

Ҳисоблашда тасодифийлик қатнашса, фақат чиройли тезлик рақами учун унинг ҳолатини сақлашни ўчирманг. торч.cомпиле остида бу флаг ишламайди: ҳужжатга кўра, генератор ҳолати барибир сақланади. Тезликни текшираётганда енди айнан қандай ҳисоблаш бажарилаётганини ҳам текширинг.