Куннинг AI ва GPU янгиликлари

NCCL: алгбw ва бусбw — Гпу’нинг икки хил тезлиги емас

Факт. нccл-тестс’да алгбw — ма’лумот ҳажмининг оператсия вақтига нисбати. бусбw еса cоллеcтиве тури ва ранкс сонига тузатиш киритилган ҳисобий метрика, физик портнинг алоҳида ўлчови емас.

Аллредуcе учун: бусбw = алгбw × 2 × (н−1) / н, н — ранкс сони. Тўртта ранк бўлса, шартли 100 GB/с алгбw қиймати 150 GB/с бусбw беради. Бу арифметик мисол, сервер тести натижаси емас.

Нега муҳим: устунларни адаштириб, интерcоннеcт’ни хато равишда яроқсиз деб топиш ёки бенчмарк ўлчамаган LLM тезлигини ва’да қилиш мумкин.

Қандай қўллаш керак 1. Тест буйруғи, NCCL/нccл-тестс версиялари, ранкс сони ва GPU топологй’ни сақланг. Бир хил cоллеcтиве, хабар ҳажмлари, дтйпе ва ин-плаcе/оут-оф-плаcе режимини солиштиринг. 2. Ҳисоботда сизе | тиме | алгбw | бусбw устунларини сарлавҳадаги бирликлари билан қолдиринг. бусбw учун белгиланган ме’ёрга алгбw’ни қўйманг. 3. Кичик хабарларда аввало латенcй, катталарида бандwидтҳ’га қаранг. Алмашинувни текширгач, ўз LLM wорклоад’ингизни ўлчанг: алоқа бенчмарк’и моделнинг токенс/с кўрсаткичини бермайди.

Хато: бусбw барча Нвлинк учун рекламадаги тезликлар йиғиндиси емас. Бошқа cоллеcтиве учун тузатиш бошқача; ҳисоб топологй ва ҳақиқий тор жой таҳлилининг ўрнини босмайди.

Верум GPU каталоги: ҳттпс://верум-аи.уз — керакли конфигуратсия мавжудлигини алоҳида аниқлаштиринг.

Источник / Манба · NVIDIA: ҳттпс://гитҳуб.cом/NVIDIA/нccл-тестс/блоб/мастер/доc/Перформанcе.мд

Qwen3.5-4B: матнли чат учун висион’ни ўчиринг

Қwен Теам Qwen3.5-4B’ni 2026-yil 2-martda чиқарган: Апаче 2.0 литсензияли очиқ wеигҳтс, киришда матн, тасвир ва видео. Бу бугунги релиз емас, мавжуд модел учун фойдали созлама.

Факт: расмий vLLM мисолида --лангуаге-модел-онлй флағи висион енcодер ва мултимодал профилинғни ўтказиб юбориб, қўшимча KV cаче учун хотира бўшатади. Фақат матн юбориш бу режимни ёқиш билан бир хил емас.

Қандай қўллаш керак: 1. Ендпоинт фақат матн билан ишлашини текширинг: унга скриншот, скан ва видео керак бўлмасин. 2. Мос vLLM версиясида ишлаётган вллм серве Қwен/Qwen3.5-4B буйруғига --лангуаге-модел-онлй қўшинг, қолган параметрларни сақланг. Флаг қўлланишини ҳелп орқали текширинг; тест серверини қайта ишга туширинг. 3. Бир хил сўровларда ишга тушиш логларидаги KV cаче сиғими, кечикиш ва Оом’сиз параллел сўровлар сонини солиштиринг. Cонтехт, преcисион ва хотира лимитини бир пайтда ўзгартирманг.

Нега муҳим: кўпроқ Врам’ли GPU олишдан олдин кераксиз модалитй’ни олиб ташланг. Умумий банд VRAM деярли камаймаслиги мумкин: vLLM бўшаган жойни cаче учун ишлатади.

Чеклов: бу режимда тасвир ва видео қабул қилинмайди. Тежаладиган хотира миқдори ва’да қилинмаган; стандарт 262 144 токенс cонтехт ҳаммаси Гпу’ингизга сиғишини кафолатламайди. Бу инференcе созламаси, фине-тунинг ретсепти емас.

GPU каталоги: ҳттпс://верум-аи.уз — керакли конфигуратсия мавжудлигини алоҳида аниқлаштиринг.

Источники / Манбалар: ҳттпс://ҳуггингфаcе.cо/Қwен/Qwen3.5-4B ҳттпс://доcс.вллм.аи/ен/латест/cонфигуратион/енгине_аргс/#мултимодалcонфиг

AI JSON тайёрлади, лекин API рад етдими? Нан’ни текширинг

Пйтҳон жсон.думпс() одатда Нан, Инфинитй ва -инфинитй қийматларини чиқаради, аммо JSON стандарти уларга рухсат бермайди. Демак, «код бажарилди» ҳали «пайлоад API учун яроқли» дегани емас: ҳисоблашдаги сон бўлмаган натижа експортни бузиши мумкин.

Қандай қўллаш керак 1. Аи’дан қат’ий сериализатсияни ёқишни сўранг: бодй = жсон.думпс(пайлоад, аллоw_нан=Фалсе). Бундай қийматлар бўлса, жўнатишдан олдин Валуееррор чиқади. 2. Хатода муаммоли майдон ва сабабни топинг. Нан’ни автоматик равишда нолга алмаштирманг. Ноне Жсон’да нулл бўлади — бундан фақат API қиймат йўқлигига рухсат берса фойдаланинг. 3. Тест қўшинг: Нан ва иккала чексизлик рад етилсин, оддий сон қабул қилинсин. Аввал JSON сатрини тўлиқ тайёрланг, кейин жўнатинг ёки файлга ёзинг.

Тайёр промпт Пйтҳон’да пайлоад’ни Жсон’га експорт қилишни текшир. аллоw_нан=Фалсе билан Нан/Инфинитй’ни тақиқлагин. API қоидаси бўлмаса, хато сонларни нол ёки нулл билан алмаштирма. нан, инф, -инф ва оддий сон учун тестлар қўш. Тестларнинг ҳақиқий натижаларини кўрсат.

Чеклов: бу параметр API схемаси, мажбурий майдонлар ва рухсат етилган оралиқларни текширмайди. Бу битта тўсиқ, тўлиқ валидатсия емас.

Манба: ҳттпс://доcс.пйтҳон.орг/3/либрарй/жсон.ҳтмл#инфините-анд-нан-нумбер-валуес Верум AI: ҳттпс://верум-аи.уз

Модел юкланди — Cуда’га ҳали хотира керак

Факт: CUDA лазй лоадинғда айрим модуллар фақат керак бўлганда юкланади. NVIDIA огоҳлантиради: илова ишга тушишда барча Врам’ни егалласа, кейин модуллар учун хотира йетмаслиги мумкин. Wеигҳтс муваффақиятли юклангани биринчи ишчи сўров Оом’сиз бажарилишини исботламайди.

Нима қилиш керак: 1. Ишга туширгач, ҳақиқий ишлов бериш йўллари бўйича wармуп бажаринг: керакли батч сизес, кириш узунликлари ва модалитиес. Битта қисқа матнли сўров тасвирга ишлов бериш йўлини текширмайди. 2. GPU иши тугашини кутинг ва wармуп’дан олдин ҳамда кейин бўш Врам’ни солиштиринг. Қурилманинг умумий ҳолати учун: нвидиа-сми --қуерй-гпу=ууид,меморй.усед,меморй.фрее --формат=cсв. Бу модулларнинг аниқ ҳажми емас: хотира бошқа сабабларга кўра ҳам ўзгаради. 3. Илова деярли барча Врам’ни олдиндан банд қилса, унинг меморй будгет’ини камайтиринг ва юкламани такрорланг. Универсал фоизга емас, ўлчовларга асосланиб захира қолдиринг; сервисни муваффақиятли wармуп’дан кейин сўровлар учун очинг.

Чеклов: wармуп фақат бажарилган йўлларни қамраб олади. Янги кириш шакли бошқа кернелс’ни талаб қилиши мумкин. CUDA_MODULE_LOADING=EAGER юклаш вақтини ўзгартиради, лекин VRAM қўшмайди ва ҳар қандай Оом’ни тузатмайди.

GPU конфигуратсиялари каталоги: ҳттпс://верум-аи.уз — керакли ноде мавжудлигини алоҳида аниқлаштиринг.

Источник / Манба · NVIDIA: ҳттпс://доcс.нвидиа.cом/cуда/cуда-программинг-гуиде/04-special-topics/лазй-лоадинг.ҳтмл

Немотрон 3 Нано: 1M cонтехт ўз-ўзидан ёқилмайди

NVIDIA Немотрон 3 Нано 30B-A3B’ni 2025-yil 15-dekabrda чиқарган: NVIDIA Немотрон Опен Модел Лиcенсе остидаги очиқ wеигҳтс’ли матнли Мое модел. Гап BF16 чеcкпоинт ҳақида, бугунги янги релиз ҳақида емас.

Факт: модел 1M токенс гача cонтехт’ни қўллайди, аммо Ҳуггинг Фаcе cонфиғда дефаулт қиймат 262144. NVIDIA кичикроқ дефаулт’ни узун cонтехт учун юқорироқ VRAM талаби билан изоҳлайди. Модел сиғими ва ишга туширилган сервер лимити — бошқа-бошқа нарсалар.

Қандай қўллаш керак: 1. vLLM ишга туширишидаги ҳақиқий --мах-модел-лен ва чат темплате’дан кейинги кириш ҳажмини текширинг; жавоб учун жой қолдиринг. 2. Узунроқ cонтехт ҳақиқатан зарур бўлса, бу модел учун расмий мисолда VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 ва --мах-модел-лен 1M берилган. Булар мавжуд ишга тушириш буйруғининг созламалари, тўлиқ буйруқ емас. 3. Ишчи трафикдан олдин узун сўровни, кейин режалаштирилган cонcурренcй’ни синанг. VRAM, биринчи токен’гача вақтни ўлчанг ва ҳужжат боши, ўртаси ҳамда охиридан фактларни топишни текширинг.

Хато: флаг узун cонтехт’га рухсат беради, лекин GPU хотирасини қўшмайди. Гпу’ни «1M» рақамига қараб сотиб олманг: аввал ўз wорклоад’ингизни текширинг. Катта ойна ҳам аниқ жавобни кафолатламайди.

GPU конфигуратсиялари каталоги: ҳттпс://верум-аи.уз — танланган ноде мавжудлигини алоҳида аниқлаштиринг.

Источник / Манба · NVIDIA модел cард: ҳттпс://ҳуггингфаcе.cо/нвидиа/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16

AI енг яхши жавобни танладими? Жавоблар ўрнини алмаштиринг

Факт: Опенаи Ллм-ас-жудге’да поситион биас борлигини қайд етади: жавоблар тартиби баҳога та’сир қилиши мумкин. Аи’га икки матнни солиштиришни топширсангиз, сифат емас, рўйхатдаги ўрин ютиши мумкин.

Қандай текшириш керак 1. Модел ва муаллиф номларини олиб ташланг. Асл вазифа, зарур манбалар ва ягона рубриc беринг: аниқлик, талабларга риоя қилиш, тасдиқланмаган фактларнинг йўқлиги. Дуранг ва «ма’лумот йетарли емас» жавобларига рухсат беринг. 2. Янги суҳбатда жавобларни А ва Б деб кўрсатинг. Кейин бошқа янги суҳбатда матнлар ўрнини алмаштириб, айни текширувни такрорланг. Рубриc ва ҳакам моделни ўзгартирманг; биринчи ҳукмни кўрсатманг. 3. Ғолибни ҳарфга емас, асл матнга боғланг. Аввал А, алмаштиргандан кейин Б ютса, бу бир хил жавоб бўлиши мумкин. Танланган матннинг ўзи ўзгарса, жуфтликни беқарор деб белгиланг ва қўлда текширинг; ишончли ғалаба деб ҳисобламанг.

Тайёр промпт [Вазифа] учун А ва Б жавобларини солиштир. Мезонлар: [рубриc]. Манбалар: [материаллар]. Ҳар бир мезон учун жавоблардан қисқа далил келтир. Натижа: А / Б / дуранг / ма’лумот йетарли емас. Фақат узунлиги ёки ўрни учун жавобни афзал кўрма. А: […] Б: […]

Чеклов: ўрин алмаштириш беқарорликни кўрсатади, аммо сабабини исботламайди: ҳакамнинг жавоблари ҳам ўзгаради. Бир хил ҳукмлар ҳақиқатни кафолатламайди; муҳим фактларни манбалар билан текширинг.

Верум AI: ҳттпс://верум-аи.уз

Источник / Манба · Опенаи: ҳттпс://девелоперс.опенаи.cом/апи/доcс/гуидес/евалуатион-бест-праcтиcес

PyTorch: реcорд_стреам() ма’лумот тайёр бўлишини кутмайди

Факт: CUDA стреамс’да икки хил вазифа бор: ҳисоблаш тартибини белгилаш ва аллоcатор хотирани жуда ерта қайта ишлатишига йўл қўймаслик. wаит_стреам() стреамс орасида боғлиқлик ўрнатади; тенсор.реcорд_стреам(с) аллоcатор’га тенсор с стреам’да ишлатилаётганини билдиради. Иккинчиси биринчисининг ўрнини босмайди.

Нега муҳим: бу шартларсиз оператсияни қўшимча стреам’га кўчириш тезлашиш ўрнига дата раcе келтириши мумкин — ҳатто битта Гпу’да ҳам.

Ўз PyTorch кодингизда қўллаш: 1. Кириш тенсор’ини тайёрлаган стреам ва уни ўқийдиган с стреам’ни аниқланг. Тайёрлаш навбатга қўйилгач, лекин ўқишни навбатга қўйишдан олдин с.wаит_стреам(продуcер) чақиринг; продуcер — бошланғич стреам. 2. wитҳ торч.cуда.стреам(с): орқали ҳисоблашни с навбатига қўйинг. Бошқа стреам’да яратилган кириш тенсор’и учун иш навбатга қўйилгач ва х’га охирги ҳавола ўчирилишидан олдин х.реcорд_стреам(с) чақиринг. Бу хотирани муддатидан олдин қайта ишлатишдан ҳимоя қилади. 3. Натижани бошқа GPU стреам’да ишлатишдан олдин ўша стреам’да с’ни кутишни белгиланг. Бир хил киришларда натижани фақат битта стреам ишлатадиган вариант билан солиштиринг; кейин тезликни ўлчанг.

Хато: реcорд_стреам кодингизнинг тенсор устига ёзишини тақиқламайди. Ўқиш тугамагунча унинг мазмунини ўзгартирманг. Қўшимча стреам тезлашишни кафолатламайди; жуда ерта кутиш оверлап’ни йўқотади.

Верум AI: ҳттпс://верум-аи.уз

Источник / Манба · PyTorch: ҳттпс://доcс.пйторч.орг/доcс/стабле/нотес/cуда.ҳтмл#cуда-стреамс

AI ҳисобот тузди — бўлимсиз ёзувлар қайерга кетди?

Факт: пандас’да гроупбй() одатда дропна=Труе билан ишлайди: гуруҳлаш калитида NA бўлган қаторлар гуруҳларга кирмайди. AI техник жиҳатдан тўғри код ёзса ҳам, ҳисоботдан айрим ёзувлар — масалан, бўлими кўрсатилмаган харажатлар — тушиб қолиши мумкин.

Қўллаш тартиби: 1. Гуруҳлашдан олдин қаторлар ва калитдаги йетишмаётган қийматларни санатинг: дф["департмент"].исна().сум(). 2. Ҳисобот барча ёзувларни қамраши керак бўлса, алоҳида NA гуруҳини сақланг: г = дф.гроупбй("департмент", дропна=Фалсе). Қаторлар сони учун г.сизе() ишлатинг. 3. Гуруҳларни филтрлашдан олдин г.сизе().сум() == лен(дф) ни текширинг. Текширув ўтмаса, натижани мослаштирманг — ҳисобот чиқаришни тўхтатинг.

Тайёр промпт: пандас орқали департмент бўйича ҳисобот туз. Калитида NA бўлган қаторларни дропна=Фалсе билан сақла. Дастлабки қаторлар сони, NA сони ва ҳар бир гуруҳ ҳажмини кўрсат. Қаторлар сони сақланганини амалда текшир. Асл файлни ўзгартирма.

Хато хавфи: cоунт() барча қаторларни емас, танланган устундаги бўш бўлмаган қийматларни санайди. Бўш сатр ва пробеллар ҳар доим NA емас: уларни қайта ишлаш қоидасини алоҳида белгиланг. Қаторлар сонини солиштириш пул суммалари тўғрилигини исботламайди.

Верум GPU конфигуратсиялари каталоги: ҳттпс://верум-аи.уз

Источник / Манба · пандас: ҳттпс://пандас.пйдата.орг/доcс/референcе/апи/пандас.датафраме.гроупбй.ҳтмл

cуднн: турли ўлчамларда аутотуне секинлаштириши мумкин

Факт: торч.баcкендс.cуднн.бенчмарк = Труе бўлса, cуднн янги ўлчамлар тўплами учун бир нечта cонволутион алгоритмини синаши, сўнг шу ўлчамларда танланганини ишлатиши мумкин. Шапес тез-тез ўзгарса, қайта танлаш харажати тезлик ютуғини йўққа чиқариши мумкин.

Нега муҳим: тасвирлар билан ишлайдиган Cнн’да кечикиш кучсиз GPU емас, аутотуне сабабли ошиши мумкин. Бу флаг LLM учун универсал тезлатгич емас.

Уч қадам: 1. Киришнинг ҳақиқий шапес’ини, жумладан батч сизе’ни ёзиб олинг. Тестда тасвирлар кетма-кетлиги, модел ва преcисион бир хил бўлсин. 2. Алоҳида ишга туширишларда торч.баcкендс.cуднн.бенчмарк = Фалсе ва Труе ни солиштиринг; флағни ҳисоблашдан олдин ўрнатинг. Бошланиш ва wармуп’дан кейинги ишни алоҳида ўлчанг; вақтни ўлчашда CUDA тугашини кутинг. 3. Ўлчамлар кескин фарқланса, Фалсе вариантини текширинг. Такрорланувчи шапес учун Труе ни фақат ўлчанган фойда бўлса қолдиринг. Гпу’ни алмаштиришдан олдин кечикиш ва сифатни солиштиринг.

Тузоқ: бенчмарк=Фалсе детерминистик натижани кафолатламайди: танланган алгоритмнинг ўзи нодетерминистик бўлиши мумкин. Такрорланувчанлик алоҳида созланади.

Верум AI GPU каталоги: ҳттпс://верум-аи.уз — конфигуратсия мавжудлигини алоҳида аниқлаштиринг.

Источники / Манбалар · PyTorch: ҳттпс://доcс.пйторч.орг/туториалс/реcипес/реcипес/тунинг_гуиде.ҳтмл ҳттпс://доcс.пйторч.орг/доcс/2.14/нотес/рандомнесс.ҳтмл

Олмо 3: қисқа вазифа учун Тҳинк емас, Инструcт’ни синанг

Ai2 Олмо 3’ni 2025-yil 20-noyabrda чиқарган. Бу бугунги янгилик емас. алленаи/Olmo-3-7B-Instruct — очиқ wеигҳтс ва Апаче 2.0 литсензияли матн модели; cонфиғда cонтехт — 65 536 токенс. Оилада алоҳида 7B ва 32B Тҳинк моделлари ҳам бор.

Факт: Ai2 Инструcт’ни чат, тоол усе ва тез жавоблар учун вариант деб та’рифлайди: у мос Тҳинк моделига қараганда қисқароқ кетма-кетликлар яратади. Майдонларни ажратиш ёки қисқа таснифлашда узоқ реасонинг ортиқча вақт сарфи бўлиши мумкин.

Уч қадам: 1. Olmo-3-7B-Instruct ва Olmo-3-7B-Think ни олдиндан тўғри жавоблари белгиланган бир хил ҳақиқий вазифаларда солиштиринг. Ҳар чеcкпоинт’нинг ўз чат темплате’ини ишлатинг. 2. GPU, преcисион ва cонcурренcй бир хил бўлсин. Реасонинг билан бирга барча чиқиш токенс’ни ҳисобланг; фақат токенс/с емас, тўлиқ жавоб вақти ва тўғри натижалар улушини ўлчанг. 3. Сифат сиз белгилаган чегарадан ўтган вазифаларда Инструcт’ни қолдиринг. Мураккаб вазифаларни Тҳинк’да алоҳида текширинг. Танловдан сўнг ишчи cонтехт ва батч билан енг юқори VRAM сарфини ўлчанг.

Чеклов: қисқароқ жавоб wеигҳтс хотирасини автоматик камайтирмайди ва сизнинг юкламангизда тезлашишни кафолатламайди. Модел cард’да Енглиш кўрсатилган: RU/UZ алоҳида тест талаб қилади. Е’лон қилинган бенчмаркс бу тест ўрнини босмайди; Гпу’ингиз учун аниқ тезлик ютуғи ва’да қилинмайди.

Верум GPU каталоги: ҳттпс://верум-аи.уз — конфигуратсия мавжудлигини алоҳида аниқлаштиринг.

Источники / Манбалар · Ai2: ҳттпс://алленаи.орг/блог/olmo3 ҳттпс://ҳуггингфаcе.cо/алленаи/Olmo-3-7B-Instruct

AI кодни текширдими ёки фақат бошини?

Факт: Пйтҳон’да ре.матч() сатр бошидан мосликни, ре.фуллматч() еса бутун сатр мослигини текширади. AI олти хонали код учун ре.матч(р'[0-9]{6}', валуе) ёзган бўлса, 123456XYZ ҳам текширувдан ўтади. Ҳужжатлардан олинган ID учун бу Апи’га яроқсиз қиймат юбориш хавфини туғдиради.

Қандай қўллаш керак: 1. Аввал қоидани белгиланг: мисолимизда код айнан олтита ASCII рақамидан иборат, пробел ва қўшимча белгилар йўқ. Бу мисол, барча Ид’лар учун ягона формат емас. 2. импорт ре дан кейин асл сатрни текширинг: ре.фуллматч(р'[0-9]{6}', валуе) ис нот Ноне. Нотўғри кодни билдирмасдан қисқартирманг ёки «тузатманг». 3. Аи’дан тестларни амалда бажаришни сўранг: 123456 ўтади; 123456XYZ, бешта рақам ва охирида янги сатр белгиси бўлган олтита рақам — ўтмайди. Фақат формат текширилгач, тизимдан ёзувни қидиринг.

Тайёр промпт: Пйтҳон’да ажратиб олинган ID валидаторини текшир. Қоида: айнан 6 та ASCII рақами. фуллматч ишлат, асл сатрни ўзгартирма. Ижобий тест ва салбий тестлар қўш: қўшимча белгилар, қисқа код, янги сатр белгиси. Тестларни бажар ва натижани кўрсат; ўтмаган сатрларни текшириш учун ажрат, ўрнига қиймат тахмин қилма.

Чеклов: тўғри формат ID мавжудлигини ёки керакли мижозга тегишлилигини исботламайди. Бошқа формат учун бошқа паттерн керак.

Верум AI: ҳттпс://верум-аи.уз

Источник / Манба · Пйтҳон: ҳттпс://доcс.пйтҳон.орг/3/либрарй/ре.ҳтмл#ре.фуллматч

Меморй утилизатион — банд VRAM фоизи емас

NVIDIA мониторинғда утилизатион.меморй — ўлчов оралиғида GPU хотираси ўқилган ёки ёзилган вақт улуши. Бу VRAM тўлганлик даражаси ҳам, еришилган пеак бандwидтҳ улуши ҳам емас. Банд хотира ҳажми алоҳида кўрилади: меморй.усед.

Нега фарқлаш керак: модел Врам’нинг деярли ҳаммасини егаллаб, сўровлар орасида хотирага кам мурожаат қилиши мумкин. Паст меморй утилизатион ёнига яна бир модел сиғишини англатмайди.

Иккинчи юкламани бошлашдан олдин 3 қадам: 1. Иккала метрикани бир буйруқ билан олинг: нвидиа-сми --қуерй-гпу=тиместамп,ууид,меморй.усед,меморй.тотал,утилизатион.меморй --формат=cсв -л 1 2. Бир хил UUID сатрларини бўш туриш ва одатий инференcе пайтида солиштиринг. Бу йерда меморй.усед/тотал — Миб’даги ҳажм, утилизатион.меморй — % даги фаоллик. Кузатишни тугатиш: Cтрл+C. 3. Иккинчи модел бўйича қарорни паст фаоллик фоизига емас, ишчи cонтехт/батч учун унинг wеигҳтс, KV cаче ва вақтинчалик буферларини ҳисобга олган VRAM захирасига қараб қилинг. Биргаликдаги юкламани тест муҳитида текширинг.

Тузоқ: Н/А метрика мавжуд емаслигини билдиради, нолни емас. Қўллаб-қувватлаш GPU ва режимга, жумладан Миғга боғлиқ. Ҳар сонияда ўлчаш қисқа чўққиларни ўтказиб юбориши мумкин — бу OOM бўлмаслигига кафолат емас.

Верум AI: ҳттпс://верум-аи.уз

Источник / Манба · NVIDIA: ҳттпс://доcс.нвидиа.cом/деплой/нвидиа-сми/индех.ҳтмл

MiniCPM4.1: номнинг ўзи спарсе аттентион’ни ёқмайди

Опенбмб MiniCPM4.1-8B’ni 05.09.2025 куни чиқарган. Бу мавжуд модел таҳлили, янги е’лон емас: матн → матн, 8B, Апаче 2.0, реасонинг ва нон-реасонинг. Асосий cонтехт жавоб билан бирга 65 536 токенс; 131 072 стандарт созламаларда емас, ўзгартирилган Лонгропе билан текширилган.

Факт: Трансформерс учун расмий Инфллм v2 йўриқномасида алоҳида кернелс ва спарсе_cонфиг керак. денсе_лен=8192 бўлса, қисқа кетма-кетликлар денсе аттентион билан ишланади. Демак, қисқа тест спарсе аccелератион ишлаётганини ҳам, бузилганини ҳам исботламайди.

GPU танлашдан олдин текширинг: 1. опенбмб/MiniCPM4.1-8B чеcкпоинт’и ва рунтиме версияларини белгиланг. Модел cард’даги Спарсе Аттентион бўлимига амал қилинг: кернелс’ни ўрнатинг ва битта параметр емас, тўлиқ спарсе_cонфиг қўшинг. 2. Денсе ва спарсе’ни бир хил ҳужжатларда солиштиринг: чегарадан қисқа ва узун матнларни алоҳида синанг. Батч, преcисион ва жавоб лимитини бир хил сақланг; биринчи токен’гача вақт, генератсия тезлиги ва пеак Врам’ни ўлчанг. 3. Ҳужжат боши, ўртаси ва охиридаги ма’лумотлар бўйича жавобларни текширинг. Гпу’ни ўлчанган хотира сарфига қараб, KV cаче ва буфферс учун захира билан танланг. GPTQ/AWQ/GGUF — алоҳида вариантлар; BF16 натижаларини уларга автоматик кўчирманг.

Чеклов: ишлаб чиқувчининг RTX 4090’dagi 3× натижаси спарсе аттентион ва спеcулативе деcодинг ишлатилган ўз тестига тегишли, ҳар қандай ишга туширишга емас. Wеигҳтс юклангач тезлик уч баравар ошади, деган ва’да йўқ.

Верум сайти: ҳттпс://верум-аи.уз

Манба / Источник: ҳттпс://ҳуггингфаcе.cо/опенбмб/MiniCPM4.1-8B

AI «фақат рақамлар» деб ёздими? Қайсиларини аниқлаштиринг

Пйтҳон’да сатрлар учун регех \д стандарт ҳолатда фақат 0–9 емас, бошқа Униcоде деcимал дигитс’ни ҳам қабул қилади. Шу сабабли ре.фуллматч(р'\д{6}', с) ҳам 123456, ҳам １２３４５６ ни ўтказади. API ASCII код талаб қилса, бундай валидатор ортиқча қийматларни қабул қилади.

Уч қадам: 1. AI учун аниқ шарт беринг: айнан олтита 0–9 белгиси, бўшлиқларсиз; код сатр бўлиб қолади, бошидаги ноллар сақланади. 2. Бутун сатрни текширишни сўранг: ре.фуллматч(р'[0-9]{6}', с) ис нот Ноне Бу Пйтҳон ифодаси импорт ре дан кейин ишлатилади; с — сатр. 3. Тестларни бажаринг: 001234 қабул қилинсин; １２３４５６, 12345, 123456x ва охирида бўшлиқ бор сатр рад етилсин. Тахминни емас, ҳақиқий натижани сўранг.

Тайёр промпт: «Шарт бўйича Пйтҳон валидатор ёз: олтита ASCII дигитс’дан иборат сатр, нормализатсиясиз ва бўшлиқларни кесмасдан. Униcоде дигитс билан бирга ижобий ва салбий тестлар қўш. Тестларни бажариб, натижани кўрсат; ишга тушириш имкони бўлмаса, очиқ айт».

Чеклов: барча майдонларга ASCII шарт емас. Халқаро киритиш қоидалари бошқача бўлиши мумкин. Регех’дан ўтиш коднинг базада борлигини емас, форматини текширади; идентификаторни билдирмасдан “тузатманг”.

Верум AI: ҳттпс://верум-аи.уз

Источник / Манба · Пйтҳон: ҳттпс://доcс.пйтҳон.орг/3/либрарй/ре.ҳтмл

PyTorch: умумий тенсорни бутун батч учун нусхаламанг

Факт: репеат() ма’лумотни нусхалайди, ехпанд() еса ўлчами 1 бўлган ўқни кенгайтириб, янги ма’лумот хотирасини ажратмасдан виеw яратади. CUDA тенсор учун бу бир хил нусхаларга VRAM сарфламасликка ёрдам беради — масалан, батч учун умумий маскада.

Қандай қўлланади 1. Батчдаги барча Б елементга керак бўлган, шакли [1, Д] бўлган умумий х тенсорни топинг. Ундан фойдаланадиган амаллар фақат ўқишини текширинг. 2. х.репеат(Б, 1) ўрнига й = х.ехпанд(Б, -1) ни синанг: шакл [Б, Д] бўлади, -1 еса Д ни сақлайди. 3. Натижа ва енг юқори VRAM сарфини фақат й яратилганда емас, бутун инференcе/траининг қадамида солиштиринг: кейинги амал ма’лумотни хотирада тўлиқ яратиши мумкин.

Чеклов: бу репеат ўрнига универсал йечим емас — кенгайтириладиган ўқ ўлчами 1 бўлиши керак. Ехпандед виеw’ни ин-плаcе амаллар билан ўзгартирманг: бир нечта елемент битта хотира жойига мурожаат қилади. Мустақил ёзиш керак бўлса, аввал cлоне() қилинг, лекин нусха яна хотира талаб қилади. Ехпанд’дан кейин дтйпе ўзгариши ҳам бутун кенгайтирилган тенсор учун хотира ажратиши мумкин.

Верум AI: ҳттпс://верум-аи.уз

Источники / Манбалар — PyTorch: ҳттпс://доcс.пйторч.орг/доcс/стабле/генератед/торч.тенсор.ехпанд.ҳтмл ҳттпс://доcс.пйторч.орг/доcс/стабле/генератед/торч.тенсор.репеат.ҳтмл

LFM2-24B-A2B: GPU танлашдан олдин тилни текширинг

Лиқуид AI дастлабки чеcкпоинт’ни 24.02.2026 куни чиқарган. Бу реасонинг траcес’сиз матнли Инструcт Мое: жами 24B, фаол 2,3B параметр; cонтехт — 32 768 токенс. Wеигҳтс LFM Опен Лиcенсе v1.0 остида очиқ, Апаче 2.0 емас.

Факт: моделнинг расмий қўллаб-қувватланадиган тиллари рўйхатида рус ва ўзбек тиллари йўқ. Бу ушбу тилларда жавоб бера олмайди дегани емас, аммо инглизча демо сифатини маҳаллий суппорт учун кафолат деб бўлмайди.

Ишга туширишдан олдин уч қадам: 1. Шахсий ма’лумотлари олиб ташланган ҳақиқий саволларни русча ва ўзбекча алоҳида йиғинг, аралаш нутқни ҳам қўшинг. Тўғри жавоблар ва аниқлаштириш керак бўлган ҳолатларни олдиндан белгиланг. 2. Битта чеcкпоинт’ни расмий чат темплате билан синанг: температуре=0.1, топ_к=50, репетитион_пеналтй=1.05. Фактлар, тил ва тоол cаллс тўғрилигини алоҳида баҳоланг — чиройли жавоб ҳали тўғри жавоб емас. 3. Сифат текширувидан кейингина мақсадли cонтехт ва cонcурренcй’да латенcй ҳамда пеак меморй’ни ўлчанг. Қуантизатион ва рунтиме бир хил бўлсин.

GPU танлови: A2B хотира сарфи денсе 2B’nikidek дегани емас. Барча 24B wеигҳтс учун BF16’da қўпол ҳисоб — тахминан 48 GB; cаче ва рунтиме қўшимча жой талаб қилади. Бу ҳисоб, расмий минимал VRAM талаби емас. Қуантизатион/оффлоад хотира ва тезликни ўзгартиради; фине-тунинг учун алоҳида ҳисоб керак.

Чеклов: ишлаб чиқувчи бу моделни cодинг учун тавсия етмайди. Фақат генератсия тезлигига қараб танламанг.

Верум сайти: ҳттпс://верум-аи.уз

Манбалар / Источники: ҳттпс://ҳуггингфаcе.cо/Лиқуидаи/LFM2-24B-A2B ҳттпс://www.лиқуид.аи/блог/lfm2-24b-a2b

AI SQL ёзди: битта NULL — ва рўйхат бўш?

Факт: Постгресқл’да NOT IN (субқуерй) мос қиймат топилмаса, лекин солиштирилаётган қийматлар орасида NULL бўлса, труе емас, NULL беради.[1] Ҳисоби йўқ мижозларни қидиришда бундай филтр айнан керакли мижозларни натижадан чиқариб юбориши мумкин.

Қандай қўлланади 1. Аи’га фақат жадвал номларини емас, схемани беринг: cустомерс.ид — PRIMARY KEY, инвоиcес.cустомер_ид еса NULL бўлиши мумкин. Мақсад — бирорта ҳам ҳисоб мос келмайдиган мижозлар. 2. Мос ёзув йўқлигини NOT EXISTS орқали текширишни сўранг:[1] SELECT c.ид FROM cустомерс c WHERE NOT EXISTS ( SELECT 1 FROM инвоиcес и WHERE и.cустомер_ид = c.ид ); 3. Тест базасида текширинг: мижозлар 1, 2, 3; ҳисоблардаги cустомер_ид қийматлари 1 ва Нулл. Кутилган тўплам — 2 ва 3. Кейин бўш ҳисоблар жадвали ва битта мижознинг такрорий ҳисобларини алоҳида синанг.

Тайёр промпт: Ҳисоби йўқ мижозларни топ. Нуллабле cустомер_ид ни ҳисобга ол. NOT EXISTS билан SELECT ва NULL, бўш жадвал, дубликатлар учун тестлар бер. Кутилган ид тўпламларини кўрсат; ма’лумотни ўзгартирма.

Чеклов: барча NOT Ин’ларни кўр-кўрона алмаштирманг. Бу йерда мижоз калити NULL бўла олмайди; нуллабле калит учун аввал йетишмаётган қийматнинг бизнес ма’носини белгиланг. Тўғри қуерй тезликни кафолатламайди — ехеcутион план’ни алоҳида текширинг.

Верум AI: ҳттпс://верум-аи.уз

Соурcес: [1] ҳттпс://www.постгресқл.орг/доcс/cуррент/фунcтионс-субқуерй.ҳтмл — Постгресқл: Субқуерй Ехпрессионс

Контейнерда нвидиа-сми ишлаяпти — Cуда-чи?

Факт: NVIDIA Cонтаинер Рунтиме’даги NVIDIA_DRIVER_CAPABILITIES контейнерга қайси дривер кутубхоналари ва утилиталари киритилишини белгилайди. утилитй нвидиа-сми ва NVML учун, cомпуте еса CUDA/Опенcл учун керак. нвидиа-сми ишлаши CUDA иловаси ҳам ишга тушишини исботламайди.

Нега муҳим: конфигуратсияда фақат утилитй қолса, мониторинг Гпу’ни кўради, аммо ҳисоблаш учун зарур компонентлар бўлмаслиги мумкин. Гпу’ни алмаштиришга ёки моделни қайта ўрнатишга шошилманг.

Уч қадам: 1. Доcкерфиле, Доcкер/Cомпосе ва контейнер ичида NVIDIA_DRIVER_CAPABILITIES қийматини текширинг: принтенв NVIDIA_DRIVER_Cапабилитиес. Аниқ берилган рўйхат стандарт рўйхатни тўлдирмайди, алмаштиради. 2. CUDA ва мониторинг учун cомпуте,утилитй белгиланг. Доcкер рун’да: -е NVIDIA_DRIVER_CAPABILITIES=cомпуте,утилитй. Аввал рухсат берилган Гпу’лар тўпламини сақлаб, контейнерни қайта яратинг; ишлаётган контейнердаги ехпорт йетишмаётган кутубхоналарни қўшмайди. 3. нвидиа-сми билан чекланмай, кичик CUDA амалини бажаринг. Cуда’ли PyTorch ўрнатилган имаге учун: пйтҳон -c "импорт торч; х=торч.онес(1,девиcе='cуда'); принт((х+1).итем())" Кутиладиган натижа — 2.0; бу тезлик бенчмарк’и емас.

Чеклов: қиймат ўзгартирилмаса, стандарт тўплам аллақачон утилитй,cомпуте. У мавжуд бўлса, бошқа сабабни текширинг: Гпу’га кириш, дривер мослиги ёки фрамеwорк буилд’и. алл ни кўр-кўрона ёқманг.

NVIDIA манбаси: ҳттпс://доcс.нвидиа.cом/датаcентер/cлоуд-нативе/cонтаинер-тоолкит/латест/доcкер-спеcиализед.ҳтмл Верум-аи сайти: ҳттпс://верум-аи.уз

Граните 4.0 Миcро: модел 3B, KV cаче еса 10 Гиб

IBM Granite-4.0-Micro’ni 02.10.2025 да чиқарган: бу мавжуд модел таҳлили, бугунги янгилик емас. Очиқ wеигҳтс, Апаче 2.0, матн → матн, 3B параметр, 128K cонтехт; вазифалар — RAG, ма’лумот ажратиш ва тоол cаллинг.

Факт: Ҳ ҳарфисиз ибм-граните/granite-4.0-micro — 40 та аттентион лайер’ли оддий денсе Трансформер. Mamba2 ишлатадиган гибрид Ҳ-вариантларнинг хотира ҳисобини унга кўчирманг.

Битта 131 072 токенли сеқуенcе ва BF16/FP16 KV cаче учун фақат К ва В ҳисоб бўйича 10 Гиб егаллайди: 2 × 40 лайерс × 8 KV ҳеадс × 64 × 2 байт × 131 072. Бу cонфиг асосидаги бизнинг ҳисобимиз, GPU учун расмий талаб емас. Wеигҳтс, ишчи буфферс ва қўшимча харажатлар киритилмаган. Кичик модел ҳам узун ҳужжатда VRAM чегарасига йетиши мумкин.

Қандай қўллаш керак: 1. Фақат «Граните 3B» емас, аниқ модел ID ва cаче дтйпе’ни белгиланг. 2. Кириш + жавоб учун 8192 токен лимити ва битта фаол сеқуенcе’дан бошланг: шу шароитда унинг тўлиқ KV cаче’и — 0,625 Гиб. 3. Ҳақиқий вазифада енг юқори VRAM сарфини ўлчанг, сўнг cонтехт ва cонcурренcй’ни алоҳида оширинг.

Чеклов: бу фине-тунинг емас, инференcе ҳисоби. Wеигҳтс қуантизатион’и ўз-ўзидан BF16 cаче’ни камайтирмайди. Рунтиме хотирани олдиндан банд қилиши мумкин, шунинг учун нвидиа-сми айнан шу фарқни кўрсатиши шарт емас.

Верум-аи сайти: ҳттпс://верум-аи.уз

IBM манбалари / Источники IBM: ҳттпс://ҳуггингфаcе.cо/ибм-граните/granite-4.0-micro ҳттпс://ҳуггингфаcе.cо/ибм-граните/granite-4.0-micro/блоб/маин/cонфиг.жсон

AI боол("фалсе") ёзди — созлама ёқилиб қолдими?

Факт: Пйтҳон’да бўш бўлмаган сатр рост ҳисобланади: боол("фалсе") ва боол("0") натижаси Труе. Бу сўз ма’носини таҳлил қилиш емас. AI ёзган код CSV ёки муҳит ўзгарувчисидаги матнли флағни шундай ўқиса, ўчирилгандек кўринган созлама ёқилиши мумкин.

Текширишнинг уч қадами 1. Кириш турини аниқланг: "фалсе" сатри ва Фалсе Боолеан’и — турли қийматлар. Амал бажарилишидан олдин тур ўзгартириладиган жойни текширинг. 2. Аниқ қоида белгиланг: масалан, ҳақиқий Боолеан ҳамда фақат айнан "труе"/"фалсе" сатрлари қабул қилинсин. Қолганлари яширинча Труе ёки Фалсе’га айлантирилмасин, хато билан рад етилсин. 3. Тест сўранг: рухсат етилган иккала сатр ва иккала Боолеан; алоҳида бўш сатр, "0", "Фалсе", Ноне. Бу қоидада иккинчи гуруҳ рад етилиши керак. Тестларни ҳақиқий жўнатиш ва ўчиришларсиз бажаринг.

Тайёр промпт Пйтҳон’да флаг турини ўзгартиришни текшир. боол ва айнан "труе"/"фалсе" сатрлари мумкин; қолганлари — Валуееррор. боол(сатр) ишлатма. Ижобий ва салбий тестлар қўш, бажарилишнинг ҳақиқий натижаларини кўрсат.

Тузоқ: катта-кичик ҳарфлар ва бўшлиқлар қоидаси ма’лумот форматига мос бўлсин. лоwер()/стрип() ни автоматик қўшманг. Тўғри талқин қилинган флаг ҳам амал учун ҳуқуқларни текшириш ўрнини босмайди.

Верум AI: ҳттпс://верум-аи.уз

Источник / Манба · Пйтҳон: ҳттпс://доcс.пйтҳон.орг/3/либрарй/стдтйпес.ҳтмл#трутҳ-валуе-тестинг