Куннинг AI ва GPU янгиликлари

AI матнни қисқартиряпти: лимит белгими ёки байтми?

Сиз Аи’дан номни формадаги лимитгача қисқартиришни сўрайсиз. Кўринишидан сиғади, аммо юклаш яна рад етилади. Сўзларни олиб ташлашдан олдин қабул қилувчи тизим нимани санашини аниқланг: байт ва кўринадиган белги бир хил емас.

Пйтҳон Униcоде HOWTO сатрни код нуқталари кетма-кетлиги деб тушунтиради; кодлаш еса уни байтларда ифодалайди. Текширдик: «абc» ва «абв» учта код нуқтасидан иборат, лекин UTF-8’da мос равишда уч ва олти байт егаллайди. Демак, Пйтҳон’даги лен(техт) кодланган ма’лумот узунлигини текшириш ўрнини босмайди.

Ёрдамчига аниқ шарт беринг: Майдон лимити — UTF-8’da [Н] байт. Матннинг қисқа вариантини тайёрла. Пйтҳон’да лен(техт.енcоде('utf-8')) ни текшир. Якуний матн, байт сони ва ҳақиқий бажариш натижасини кўрсат. Тайёр байтлар кетма-кетлигини кесма; код бажарилмаса, очиқ айт. Лимит бирлиги нома’лум бўлса, «жуда узун» хабаридан тахмин қилманг: аввал форма ёки API ҳужжатидан топинг.

Код нуқталари сони ҳам доим кўринадиган белгилар сонига тенг емас: синовимизда алоҳида урғу белгиси билан ёзилган е иккита код нуқтасидан иборат бўлди. Айнан охирги вариантни текширинг: қўшилган қўштирноқ ёки имзо узунликни ўзгартиради. Аи’дан фақат матнни қисқартиришни емас, лимит белгиланган бирликда текширишни сўранг.

GPU P0 ҳолатида — сервер 100% банд дегани емас

GPU мониторингида карта ёнида P0 турибди, аммо модел жавоблари секин келмоқда. Сервер имкониятининг охиригача ишлаяпти, деб шошилманг. Унумдорлик ҳолати билан бажарилган иш ҳажми бошқа-бошқа нарсалар.

NVIDIA Перформанcе Стате’ни жорий унумдорлик ҳолати деб та’рифлайди: P0 — енг юқори, P12 — енг паст. Бу юкламанинг фоизли шкаласи емас. Алоҳида GPU утилизатион кўрсаткичи ўлчов оралиғида Гпу’да камида битта ҳисоблаш функсияси (кернел) ишлаган вақт улушини билдиради.

Иккала майдонни бир буйруқ билан кўринг: нвидиа-сми --қуерй-гпу=пстате,утилизатион.гпу --формат=cсв. Бизнинг текширувда P5 ва 9% чиқди: бу кўрсаткичлар карта ишининг турли томонларини ифодалайди. Ўз вазифангиз ишлаётган пайтда ўлчовни такрорланг ва жавоб тезлиги билан солиштиринг. Фақат P0 ёзуви сабаб иккинчи GPU сотиб олманг.

Серверни кенгайтириш ҳақида қарор қилиш учун бир хил сўровларни қайта ишлаш вақтини ҳам ёзиб боринг. Битта ўлчов кечикиш сабабини тушунтирмайди ва сизнинг юкламангиздаги синов ўрнини босмайди. Серверни фақат P0 ҳолатига емас, бажарган ишига қараб баҳоланг.