Kunning AI va GPU yangiliklari

Qwen3.5-27B: model har bir kadrni ko‘rmaydi

Siz modelga video berdingiz, ammo u buyumning qisqa paydo bo‘lishini payqamadi. Prompt yoki GPU’ni almashtirishdan oldin, modelga qaysi kadrlar yetib borganini tekshiring. Qwen jamoasining Qwen3.5-27B modeli videoni qo‘llashi fayldagi har bir kadrni ko‘rishini anglatmaydi.

Videoni qayta ishlash bo‘yicha rasmiy misolda fps=2 va do_sample_frames=True ko‘rsatilgan: kadrlar belgilangan chastotada tanlanadi. Bu suratga olish emas, model uchun kadr tanlash chastotasi. Shu sababli silliq harakatli yozuv tahlilga siyrak olingan suratlar ketma-ketligi sifatida kirishi mumkin.

Voqea vaqtini biladigan qisqa video oling. Dastlabki ishlovdan keyingi kadrlarni saqlab, kerakli lahza ularga tushganini tekshiring. Keyin mos vLLM konfiguratsiyasida savol va tasvir o‘lchamini o‘zgartirmay, fps=2 va fps=4 ni solishtiring. So‘rov orqali fps sozlash uchun model kartasi vLLM’ni --media-io-kwargs '{"video":{"num_frames":-1}}' parametri bilan ishga tushirishni talab qiladi.

Topilgan voqealar, javob vaqti va VRAM — GPU xotirasining eng yuqori sarfini solishtiring. Shunda tez-tez kadr tanlash sizning vazifangizga qanchaga tushishini tekshirasiz. Ko‘proq kadr ham to‘g‘ri javobni kafolatlamaydi: model ko‘rganini noto‘g‘ri tushunishi mumkin. Avval model kerakli lahzani ko‘rganini tekshiring, keyin javobini baholang.

AI’ga faqat oson misollarni ko‘rsatmang

Siz AI’dan murojaatlarni mavzularga ajratishni so‘raysiz. Qisqa gaplarda hammasi to‘g‘ri, ammo ikki muammo aralashgan xabar noto‘g‘ri bo‘limga tushadi. Yana bitta oson misol o‘rniga, noaniq holatda qanday yo‘l tutishni ko‘rsating.

Anthropic’ning Claude bilan ishlash qo‘llanmasi turli misollarni, jumladan toifalar chegarasidagi holatlarni kiritishni tavsiya qiladi. Maqsad — model tasodifiy o‘xshashliklarni qoida deb qabul qilmasligi. Vazifangiz uchun nafaqat aniq javobni, balki qachon to‘xtab, aniqlik kiritish kerakligini ham ko‘rsatish foydali.

Shu prompt’ni sinab ko‘ring: Murojaat mavzusini tanla: to‘lov, kirish yoki aniqlashtirish. Misollar: «Pul ikki marta yechildi» → to‘lov; «Parolimni unutdim» → kirish; «To‘ladim, lekin kira olmayapman» → aniqlashtirish. Ikki mavzu mos kelsa yoki ma’lumot kam bo‘lsa, «aniqlashtirish»ni tanla. Faqat bitta belgi qaytar. Murojaat: [matn]. Uchinchi misol hamma vaziyat uchun to‘g‘ri javob emas, siz tanlagan noaniqlikni hal qilish qoidasidir.

Prompt’ni misollarda bo‘lmagan yangi murojaatlarda tekshiring, kutilgan belgilarni esa oldindan belgilang. Tanish jumlaga to‘g‘ri javob berish yordamchi haqiqiy navbatni ham to‘g‘ri saralashini hali isbotlamaydi. AI’ga faqat oson holatlarni emas, qaror qayerda noaniq bo‘lishini ham ko‘rsating.

Javob sekinmi? GPU almashtirishdan oldin navbatni tekshiring

So‘rov yuborasiz, ammo javobning ilk so‘zlari kechikib chiqadi. Darrov kuchliroq GPU olish fikri tug‘iladi. Avval kutish qayerda yuz berayotganini aniqlang: ishlov boshlanishidan oldinmi yoki model ishlayotgan paytdami?

vLLM hujjatlarida bu bosqichlar alohida o‘lchanadi. vllm:request_queue_time_seconds navbatda kutish vaqtini, vllm:request_prefill_time_seconds esa bajarishga tayinlangan paytdan ilk chiqish tokenlari — javob bo‘laklari — hosil bo‘lguncha o‘tgan vaqtni ko‘rsatadi. Bu kassadagi navbat va xizmat ko‘rsatishning o‘ziga o‘xshaydi: mijoz uchun ikkisi ham uzoq tuyuladi, lekin sabablari boshqa.

Sinov uchun javob uzunligi cheklovlari bir xil bo‘lgan bitta so‘rovlar to‘plamini oling. Uni avval kam, keyin servisingizga odatiy miqdordagi parallel so‘rovlar bilan bajaring. Har bir sinovda navbat va prefill vaqtlarini solishtiring. Asosan navbat uzayayotgan bo‘lsa, modelni sekin deb hisoblashdan oldin parallel ishlov limitlari va servis qancha yukni ko‘tara olishini tekshiring.

Bu tekshiruv keyin nimani o‘rganishni tanlashga yordam beradi, ammo to‘liq tashxis o‘rnini bosmaydi. Uzun navbatning o‘zi GPU yetishmayotganini isbotlamaydi: bitta ko‘rsatkich sababni ochib bermaydi. GPU’ni almashtirishdan oldin navbatda kutishni so‘rovga ishlov berishdan ajrating.