Куннинг AI ва GPU янгиликлари

Qwen3.5-27B: модел ҳар бир кадрни кўрмайди

Сиз моделга видео бердингиз, аммо у буюмнинг қисқа пайдо бўлишини пайқамади. Промпт ёки Гпу’ни алмаштиришдан олдин, моделга қайси кадрлар йетиб борганини текширинг. Қwен жамоасининг Qwen3.5-27B модели видеони қўллаши файлдаги ҳар бир кадрни кўришини англатмайди.

Видеони қайта ишлаш бўйича расмий мисолда фпс=2 ва до_сампле_фрамес=Труе кўрсатилган: кадрлар белгиланган частотада танланади. Бу суратга олиш емас, модел учун кадр танлаш частотаси. Шу сабабли силлиқ ҳаракатли ёзув таҳлилга сийрак олинган суратлар кетма-кетлиги сифатида кириши мумкин.

Воқеа вақтини биладиган қисқа видео олинг. Дастлабки ишловдан кейинги кадрларни сақлаб, керакли лаҳза уларга тушганини текширинг. Кейин мос vLLM конфигуратсиясида савол ва тасвир ўлчамини ўзгартирмай, фпс=2 ва фпс=4 ни солиштиринг. Сўров орқали фпс созлаш учун модел картаси вллм’ни --медиа-ио-кwаргс '{"видео":{"нум_фрамес":-1}}' параметри билан ишга туширишни талаб қилади.

Топилган воқеалар, жавоб вақти ва VRAM — GPU хотирасининг енг юқори сарфини солиштиринг. Шунда тез-тез кадр танлаш сизнинг вазифангизга қанчага тушишини текширасиз. Кўпроқ кадр ҳам тўғри жавобни кафолатламайди: модел кўрганини нотўғри тушуниши мумкин. Аввал модел керакли лаҳзани кўрганини текширинг, кейин жавобини баҳоланг.

Аи’га фақат осон мисолларни кўрсатманг

Сиз Аи’дан мурожаатларни мавзуларга ажратишни сўрайсиз. Қисқа гапларда ҳаммаси тўғри, аммо икки муаммо аралашган хабар нотўғри бўлимга тушади. Яна битта осон мисол ўрнига, ноаниқ ҳолатда қандай йўл тутишни кўрсатинг.

Антҳропиc’нинг Cлауде билан ишлаш қўлланмаси турли мисолларни, жумладан тоифалар чегарасидаги ҳолатларни киритишни тавсия қилади. Мақсад — модел тасодифий ўхшашликларни қоида деб қабул қилмаслиги. Вазифангиз учун нафақат аниқ жавобни, балки қачон тўхтаб, аниқлик киритиш кераклигини ҳам кўрсатиш фойдали.

Шу промпт’ни синаб кўринг: Мурожаат мавзусини танла: тўлов, кириш ёки аниқлаштириш. Мисоллар: «Пул икки марта йечилди» → тўлов; «Паролимни унутдим» → кириш; «Тўладим, лекин кира олмаяпман» → аниқлаштириш. Икки мавзу мос келса ёки ма’лумот кам бўлса, «аниқлаштириш»ни танла. Фақат битта белги қайтар. Мурожаат: [матн]. Учинчи мисол ҳамма вазият учун тўғри жавоб емас, сиз танлаган ноаниқликни ҳал қилиш қоидасидир.

Промпт’ни мисолларда бўлмаган янги мурожаатларда текширинг, кутилган белгиларни еса олдиндан белгиланг. Таниш жумлага тўғри жавоб бериш ёрдамчи ҳақиқий навбатни ҳам тўғри саралашини ҳали исботламайди. Аи’га фақат осон ҳолатларни емас, қарор қайерда ноаниқ бўлишини ҳам кўрсатинг.

Жавоб секинми? GPU алмаштиришдан олдин навбатни текширинг

Сўров юборасиз, аммо жавобнинг илк сўзлари кечикиб чиқади. Дарров кучлироқ GPU олиш фикри туғилади. Аввал кутиш қайерда юз бераётганини аниқланг: ишлов бошланишидан олдинми ёки модел ишлаётган пайтдами?

vLLM ҳужжатларида бу босқичлар алоҳида ўлчанади. вллм:реқуест_қуеуе_тиме_сеcондс навбатда кутиш вақтини, вллм:реқуест_префилл_тиме_сеcондс еса бажаришга тайинланган пайтдан илк чиқиш токенлари — жавоб бўлаклари — ҳосил бўлгунча ўтган вақтни кўрсатади. Бу кассадаги навбат ва хизмат кўрсатишнинг ўзига ўхшайди: мижоз учун иккиси ҳам узоқ туюлади, лекин сабаблари бошқа.

Синов учун жавоб узунлиги чекловлари бир хил бўлган битта сўровлар тўпламини олинг. Уни аввал кам, кейин сервисингизга одатий миқдордаги параллел сўровлар билан бажаринг. Ҳар бир синовда навбат ва префилл вақтларини солиштиринг. Асосан навбат узаяётган бўлса, моделни секин деб ҳисоблашдан олдин параллел ишлов лимитлари ва сервис қанча юкни кўтара олишини текширинг.

Бу текширув кейин нимани ўрганишни танлашга ёрдам беради, аммо тўлиқ ташхис ўрнини босмайди. Узун навбатнинг ўзи GPU йетишмаётганини исботламайди: битта кўрсаткич сабабни очиб бермайди. Гпу’ни алмаштиришдан олдин навбатда кутишни сўровга ишлов беришдан ажратинг.