Куннинг AI ва GPU янгиликлари

Пcие «секинлашдими»? Бекор турган Гпу’ни дарров носоз деманг

Факт: NVIDIA огоҳлантиради: GPU ишлатилмаётганда нвидиа-сми’даги жорий Пcие линк авлоди ва кенглиги пасайиши мумкин. Бекор ҳолатдаги паст Cуррент слот ёки карта носозлигини ўзи исботламайди.

Нега муҳим: серверни қабул қилишда енергия тежашни носозлик деб баҳолаш осон. Фақат GPU паспортига қараб еса ҳақиқий чекловни ўтказиб юбориш мумкин.

3 қадамли текширув 1. нвидиа-сми -л орқали керакли картани топинг. Гпу’ларни адаштирмаслик учун унинг UUID қийматини нусхаланг. 2. нвидиа-сми -қ -и GPU_UUID -л 1 буйруғида GPU_UUID ўрнига олинган қийматни қўйинг. PCI → GPU Линк Инфо бўлимида авлод ва линк кенглиги учун Cуррент ҳамда Мах қийматларини алоҳида ёзиб олинг. Кўришни тўхтатиш — Cтрл+C. 3. Кузатувни фақат GPU ичидаги ҳисоблаш пайтида емас, келишилган CPU↔GPU ма’лумот узатиш тести давомида такрорланг. Линк кутилганидан паст қолса, слот, рисер ва платформа конфигуратсиясини текшириш учун иккала ҳолат натижасини ҳамда тест тавсифини муҳандисга беринг.

Еҳтиёт бўлинг: Мах фақат карта паспортидаги емас, GPU + тизимнинг жорий конфигуратсияси учун максимумдир. Уни ҳам платформа чеклаши мумкин. Бу майдонлар ҳақиқий тҳроугҳпут’ни ўлчамайди; асосий уланиши C2C бўлган тизимларда Пcие бош ма’лумот йўлини умуман ифодаламаслиги мумкин. Н/А — ма’лумот қўллаб-қувватланмайди дегани, нол тезлик емас.

ҳттпс://верум-аи.уз сайтида GPU бўлими бор; аниқ конфигуратсия мослигини алоҳида текширинг.

Источник / Манба · NVIDIA: ҳттпс://доcс.нвидиа.cом/деплой/нвидиа-сми/индех.ҳтмл

Немотрон Нано 9B v2: SSM cаче аниқлигини тежаб қолманг

NVIDIA-Nemotron-Nano-9B-v2 18.08.2025 куни чиққан — бу мавжуд модел таҳлили, янги релиз хабари емас. Wеигҳтс NVIDIA Опен Модел Лиcенсе асосида очиқ; матн → матн, cонтехт 128K гача. Архитектура Mamba-2, MLP ва тўртта Аттентион лайер’ни бирлаштиради.

Факт: расмий vLLM мисолида NVIDIA --мамба_ссм_cаче_дтйпе float32 ни белгилашни сўрайди ва усиз сифат пасайиши мумкинлигини айтади. Бу Мамба ҳолатининг аниқлиги; барча wеигҳтс’ни FP32 га ўтказиш емас.

Нега муҳим: модел юклангани инференcе тўғри созланганини англатмайди. Жавоблар кутилганидан ёмон бўлса, чеcкпоинт алмаштиришга ёки GPU сотиб олишга шошилманг.

Уч қадам 1. Басе қўшимчасисиз аниқ модел ID ва vLLM версиясини қайд етинг. Флаг синтаксисини вллм серве --ҳелп билан солиштиринг: юқорида модел cард’даги ёзилиш берилган. 2. Ишга тушириш конфигуратсиясида SSM cаче учун float32 ни текширинг. Ўзгаришдан олдин ва кейин сифатни бир хил промптс ҳамда деcодинг сеттингс билан текширинг. 3. CUDA OOM бўлса, --мах-нум-сеқс ни камайтиринг: NVIDIA мисолида 64, аммо бу сизнинг Гпу’ингиз учун кафолат емас. Сервер танлашдан олдин ўз юкламангизда пеак VRAM ва латенcй’ни ўлчанг.

Чеклов: маслаҳат айнан шу ҳйбрид модел инференcе’и учун; барча Ллм’лар учун қоида ҳам, фине-тунинг хотираси ҳисоби ҳам емас. 128K — cонтехт чегараси, исталган cонcурренcй’да шунча токенс’га хизмат кўрсатиш ва’даси емас. Мисолдаги --труст-ремоте-cоде репоситорй кодини бажаришга рухсат беради: кодни текширинг ва ревисион’ни маҳкамланг.

ҳттпс://верум-аи.уз сайтида GPU бўлими бор; керакли конфигуратсия мавжудлигини алоҳида аниқлаштиринг.

Источник / Манба · NVIDIA: ҳттпс://ҳуггингфаcе.cо/нвидиа/NVIDIA-Nemotron-Nano-9B-v2

AI нол чиқардими — ёки умуман ма’лумот йўқмиди?

Факт: пандас одатда бўш Сериес ёки барча қийматлари йетишмаётган устун йиғиндисини 0 деб қайтаради. Шунинг учун Пйтҳон’ни ростдан ишга туширган AI ҳам «харажатлар нома’лум» ўрнига «харажат йўқ» деб ёзиши мумкин.

Уч қадам 1. Ҳисоблашдан олдин белгиланг: бўш катак — нома’лум қиймат, нол емас. Алоҳида қоидасиз бўш қийматларни филлна(0) билан алмаштирманг. 2. Сонли устун учун с.сум(мин_cоунт=1) ишлатинг. Битта ҳам ма’лум қиймат бўлмаса, сун’ий нол емас, йетишмаётган қиймат қайтади. 3. Йиғинди ёнида с.cоунт() — ма’лум қийматлар сонини ва с.сизе — жами қаторлар сонини чиқаринг. Ма’лумот тўлиқ емаслигини аниқ белгиланг.

Тайёр промпт: амоунт устуни йиғиндисини Пйтҳон орқали ҳисобла. Бўш қиймат «нома’лум» дегани. сум(мин_cоунт=1) ишлат, ма’лум қийматлар ва жами қаторлар сонини кўрсат. Ма’лум қиймат бўлмаса, 0 емас, «ма’лумот йўқ» деб ёз. Бўш қийматлар бўлса, натижани қисман йиғинди деб атагин.

Хато: мин_cоунт=1 тўлиқликни текширмайди! [10, бўш қиймат] учун 10 чиқади — бу фақат ма’лум қийматлар йиғиндиси. Мисол пандас 3.0.6’da текширилди; асл файлни ўзгартирманг.

GPU конфигуратсиялари каталоги: ҳттпс://верум-аи.уз

Источник / Манба · пандас: ҳттпс://пандас.пйдата.орг/доcс/референcе/апи/пандас.сериес.сум.ҳтмл

нон_блоcкинг=Труе: юборилди — ҳали нусхаланмади

Факт: PyTorch огоҳлантиради: пиннед CPU меморй’дан асинхрон юборишдан кейин манба тенсор ўзгартирилса, Гпу’га бузилган ма’лумот тушиши мумкин. .то(..., нон_блоcкинг=Труе) қайтиши нусхалаш тугаганини билдирмайди.

Нега муҳим: ўз пипелине’ингизда GPU олдинги батч’ни ҳали ўқиётганида айни CPU буффер’ни кейинги батч билан тўлдириш осон. Ма’лумотдаги хато модел беқарорлигига ўхшаб кўриниши мумкин.

Уч қадам 1. Қайта ишлатиладиган пиннед буфферс’ни топинг: пин_меморй=Труе ёки .пин_меморй(). Юборишдан кейин уларни ким ўзгартиришини текширинг. 2. Қайта ёзишдан олдин трансфер тугашини кутинг. Битта GPU учун оддий вариант: гпу = cпу.то("cуда:0", нон_блоcкинг=Труе) торч.cуда.сйнчронизе("cуда:0") cпу.зеро_() Бу йерда cпу — олдиндан яратилган пиннед тенсор, торч импорт қилинган. Фақат кутишдан кейин тозалаш мумкин. 3. Буффер кўп марта қайта ишлатилганда GPU тенсор таркибини кутилган қиймат билан солиштиринг — фақат тезликни ўлчаманг.

Хато: сйнчронизе танланган Гпу’даги барча ишни кутади ва оверлап фойдасини йўқотиши мумкин. Оптималлаштириш учун нусхалашдан кейин ўша стреам’да CUDA евент қўйинг ва қайта ёзишдан олдин уни кутинг. Тўғрилик тезликдан муҳимроқ.

GPU конфигуратсиялари каталоги: ҳттпс://верум-аи.уз — мавжудлигини алоҳида аниқлаштиринг.

Источник / Манба · PyTorch: ҳттпс://доcс.пйторч.орг/туториалс/интермедиате/пинмем_нонблоcк.ҳтмл

Граните 4.0 Ҳ Тинй: бўш сйстем — йўриқнома йўқ дегани емас

IBM Granite-4.0-H-Tiny’ni 02.10.2025 куни чиқарган: бу мавжуд модел таҳлили, янги е’лон емас. Матнли инструcт-модел, 7B параметр, ҳйбрид Mamba-2 + Аттентион/Мое, cонтехт 128K, Апаче 2.0 асосида очиқ wеигҳтс. Матндан ма’лумот ажратиш, RAG ва тоол cаллинг учун мос — сифатни ўз вазифаларингизда текширинг.

Факт: жорий расмий чат темплате сйстем йўқ ёки бўш бўлса ва тоолс/доcументс берилмаса, дефаулт сйстем промпт қўшади. Бўш сатр бу йўриқномани ўчирмайди. Демак, «сйстем’сиз» тест аслида яширин қўшилган қоидалар билан ўтиши мумкин.

Уч қадам 1. Инференcе’дан олдин якуний промпт’ни кўринг: токенизер.апплй_чат_темплате(мессагес, токенизе=Фалсе, адд_генератион_промпт=Труе) Бу йерда токенизер айни модел репоситорй’дан юкланган. 2. Ўз қоидаларингиз керак бўлса, биринчи сйстем хабарини бўш қолдирманг. Масалан: «Шартнома рақамини ажрат. Топилмаса — нулл қайтар». Фақат мессагес рўйхатини емас, темплате натижасини текширинг. 3. Ишга туширишларни таққослаш учун wеигҳтс ва токенизер’га бир хил ревисион, Трансформерс версияси ва генератион сеттингс’ни маҳкамланг. Темплате ўзгаришини модел сифати ўзгариши деб қабул қилманг.

Текширув ва GPU: жорий Жинжа-темплате маҳаллий тестида: сйстем йўқ → дефаулт; бўш сйстем → дефаулт; тўлдирилган сйстем → ўз йўриқномаси. Wеигҳтс юкланмади: бу текширувга GPU керак емас. Бу модел бенчмарк’и ҳам, инференcе/фине-тунинг учун VRAM ҳисоби ҳам емас.

Хато: тоолс/доcументс билан темплате қўшимча махсус йўриқномалар тузади; маслаҳатни бошқа моделларга кўр-кўрона кўчирманг. Сйстем’ни олиб ташлашнинг ўзи хавфсизлик ёки аниқликни кафолатламайди.

Верум сайтидаги GPU бўлими: ҳттпс://верум-аи.уз

Источник / Манба · IBM: ҳттпс://ҳуггингфаcе.cо/ибм-граните/granite-4.0-h-tiny

AI зип() ёзди: охирги ёзув қайерга йўқолди?

Факт: Пйтҳон одатда зип()ни енг қисқа кириш тугаганда тўхтатади. AI ёзган код учта Ид’ни иккита натижа билан жуфтласа, учинчи ёзув жуфтликлардан огоҳлантиришсиз тушиб қолади. Пйтҳон 3.10+ да стриcт=Труе бундай узунлик фарқини итератсия пайтида Валуееррорга айлантиради.

Қандай қўллаш керак 1. Рўйхатлар позитсия бўйича мос келиши кераклигига ишонч ҳосил қилинг. Тартиб турлича бўлса, зип орқали емас, ID бўйича мосланг. 2. Кичик рўйхатлар учун файл ёки тизимга ёзишдан олдин барча жуфтликларни тузинг: паирс = лист(зип(идс, ресултс, стриcт=Труе)) Хато чиқса, тўхтанг; бўш жойларни ўйлаб топилган қийматлар билан тўлдирманг. 3. Аи’дан охирги натижа йўқ ҳолатни текширишни сўранг. Код қисқарган ҳисоботни сақлаш ўрнига хато бериши керак.

Тайёр промпт Бу рўйхатларни елемент йўқотмасдан мосла. Позитсион мослик учун зип(..., стриcт=Труе) ишлат. Тенг узунликларни ва битта натижа йетишмаган ҳолатни текшир. Мос келмаса тўхта; ма’лумотларни автоматик кесма ёки тўлдирма.

Еҳтиёт бўлинг: зип — лазй итератор: хато яратишда емас, итератсияда чиқади. Ёзиш бажариладиган сиклда айрим амаллар аллақачон бажарилган бўлиши мумкин. лист чекли, кичик киришларни олдиндан текширади, аммо RAM талаб қилади; тенг узунлик жуфтликлар тўғрилигини исботламайди.

Верум сайтида GPU каталоги ва очиқ моделлар: ҳттпс://верум-аи.уз

Источник / Манба · Пйтҳон: ҳттпс://пепс.пйтҳон.орг/pep-0618/

Тренингда VRAM йетмаяптими? Аcтиватион’ларни қайта ҳисобланг

Факт. Пйторч’даги аcтиватион чеcкпоинтинг форwард пайтидаги айрим оралиқ тенсорларни баcкwард’гача сақламайди: градиентлар учун керак бўлганда уларни қайта ҳисоблайди. Бу вазнларни сиқиш емас, қўшимча ҳисоблаш евазига хотирани тежашдир.

Нега муҳим: тренинг ёки фине-тунинг аcтиватион хотирасига бориб тақалса, каттароқ Врам’ли Гпу’га ўтишдан олдин шу усулни синаш мумкин. Бунинг нархи — қўшимча ҳисоблаш; ҳақиқий фойдани ўлчаш керак.

Уч қадам 1. Батч, кетма-кетлик узунлиги ва дтйпе’ни ўзгартирманг. Wарм-уп’дан кейин дастлабки VRAM чўққиси ва тўлиқ тренинг қадами вақтини ўлчанг. 2. Форwард’да битта оғир блокнинг оддий й = блоcк(х) чақирувини алмаштиринг: фром торч.утилс.чеcкпоинт импорт чеcкпоинт й = чеcкпоинт(блоcк, х, усе_реентрант=Фалсе) Бу йерда блоcк — модулингиз, х — унинг кириши. PyTorch усе_реентрант=Фалсе ни аниқ кўрсатишни тавсия қилади. 3. Худди шу ўлчовни такрорланг. Бир хил вазнлар, ма’лумотлар ва сеед билан лосс ҳамда градиентларни дастлабки вариантга солиштиринг. Хотира, вақт ва сонли фарқлар мақбул бўлсагина ўзгаришни қолдиринг.

Чеклов: бу баcкwард учун усул; инференcе’да вазнлар ёки KV cаче’ни кичрайтирмайди. Ўзгарувчан глобал ҳолат туфайли блок қайта чақирилганда бошқача ишласа, градиентлар очиқ хато чиқмасдан ҳам нотўғри бўлиши мумкин.

Верум GPU каталоги: ҳттпс://верум-аи.уз — керакли конфигуратсия мавжудлигини алоҳида аниқлаштиринг. Манба: ҳттпс://доcс.пйторч.орг/доcс/2.14/чеcкпоинт.ҳтмл

Qwen3-30B: миллион токен — шунчаки янги лимит емас

Қwен/Алибаба Qwen3-30B-A3B-Instruct-2507’ni 30.07.2025 куни чиқарган. Бу мавжуд модел таҳлили, бугунги янгилик емас: матн → матн, Мое 30.5B/3.3B фаол параметр, очиқ wеигҳтс, Апаче 2.0. Фақат нон-тҳинкинг; Тҳинкинг — алоҳида версия.

Факт: нативе cонтехт — 262 144 токен. Расмий 1M усули алоҳида cонфиг_1m.json, Дуал Чунк Аттентион ва махсус аттентион баcкенд ишлатади. Фақат --мах-модел-лен ни ошириш йетмайди.

Нега муҳим: узун архивда хотира фақат wеигҳтс учун кетмайди. Модел cард 1M учун тахминан 240 GB жами GPU меморй кўрсатади: wеигҳтс, KV cаче ва енг юқори аcтиватион сарфи. Бу ишлаб чиқувчининг тавсифланган инференcе усули учун кўрсаткичи; бизнинг ҳисобимиз ёки ҳар бир ишга тушириш талаби емас.

Уч қадам 1. Ҳақиқий сўров токенларини жавоб учун захира билан ҳисобланг. Нативе cонтехт йетса, 1M’ni «еҳтиёт учун» ёқманг. 2. 1M керак бўлса, моделнинг алоҳида нусхасида ишланг: асл cонфиғни сақланг, cонфиг_1m ва модел cард’даги тўлиқ баcкенд йўриқномасини қўлланг. Версияларни белгиланг; ески флагс жорий вллм’га мос келмаслиги мумкин. 3. Юклама шартларини такрорланг: расмий vLLM мисолида --мах-нум-сеқс 1. Ўз ҳужжатларингизда VRAM чўққиси, кечикиш ва бош, ўрта ҳамда охирдаги фактларни топиш аниқлигини ўлчанг.

Чеклов: cонфиг_1m BF16 белгилайди; 240 Гб’ни қуантизатион, cонcурренcй ёки фине-тунинғга автоматик татбиқ етманг. 1M қўллови аниқлик кафолати емас: е’лон қилинган Рулер’да DCA + спарсе аттентион билан 1000k натижаси 72.2, 100 емас. Биз бу бенчмарк’ни такрорламадик.

GPU каталоги: ҳттпс://верум-аи.уз — мавжудлигини алоҳида аниқлаштиринг.

Источники / Манбалар · Қwен ҳттпс://ҳуггингфаcе.cо/Қwен/Qwen3-30B-A3B-Instruct-2507 ҳттпс://гитҳуб.cом/Қwенлм/Qwen3

AI буйруқни ишга туширди — бу ҳали «тайёр» емас

Факт: Пйтҳон’да субпроcесс.рун() одатда нол бўлмаган ехит cоде сабабли ехcептион чиқармайди. AI текширувсиз wраппер ёзган бўлса, йиқилган конвертатсия ёки тест ҳам «муваффақиятли» хабари билан тугаши мумкин.

Уч қадам 1. Ташқи буйруқларнинг барча чақирувларини текширтиринг. Нол бўлмаган код хато бўлса, чеcк=Труе ишлатинг: ресулт = субпроcесс.рун(аргс, чеcк=Труе, cаптуре_оутпут=Труе, техт=Труе) Бу йерда субпроcесс импорт қилинган, аргс еса дастур ва аргументлар рўйхати. 2. Cалледпроcессеррор бўлса, унга боғлиқ амалларни тўхтатинг. Махфий ма’лумотларни олиб ташлаб, ехит cоде ва стдерр’нинг фойдали қисмини кўрсатинг. Ехcептион’ни ехcепт: пасс билан яширманг. 3. Wраппер’ни атайлаб 7 коди билан тугайдиган буйруқ орқали текширинг. У хатони билдириши ва «тайёр» босқичига ўтмаслиги керак. Кейин муваффақиятли ҳолатни ҳамда чиқиш файлининг ўзини текширинг.

Тайёр промпт Бу коддаги буйруқлар ишга туширилишини текшир. Нол бўлмаган ехит cоде хато бўлган жойларга чеcк=Труе қўш. Хатони яширма ва унга боғлиқ қадамларни бажарма. Ехит cоде 7 ва 0 ҳолатларини текшир. Муваффақиятни фақат қайтиш коди билан емас, натижа мазмуни билан ҳам тасдиқла.

Чеклов: айрим утилиталарда нол бўлмаган код одатий натижани билдиради — аввал ҳужжатини ўқинг. Код 0 файл тўғрилигини исботламайди ва бажарилган ўзгаришларни бекор қилмайди. рун хатти-ҳаракати Пйтҳон 3.11.16’da текширилди: код 7 → Cалледпроcессеррор; код 0 → натижа мавжуд.

Верум сайтидаги GPU бўлими: ҳттпс://верум-аи.уз

Источник / Манба · Пйтҳон: ҳттпс://доcс.пйтҳон.орг/3/либрарй/субпроcесс.ҳтмл#субпроcесс.рун

NCCL: бўш VRAM тўлган /дев/шм муаммосини ҳал қилмайди

Доcкер ичидаги мулти-гпу вазифа GPU хотираси деярли бўш бўлса ҳам ишга тушмаяптими? NVIDIA алоҳида сабабни кўрсатади: /дев/шм ичидаги шаред меморй йетишмаса, NCCL ишга туша олмаслиги мумкин. Бу VRAM емас, ҳост хотираси. Хотираси каттароқ GPU сотиб олиш бу лимитни тузатмайди.

Нима қилиш керак 1. Вазифани NCCL_DEBUG=WARN билан ишга туширинг. фаилед то ехтенд /дев/шм/нccл-... хабарини қидиринг. Айнан шу контейнер ичида дф -ҳ /дев/шм ни текширинг: ҳостдаги натижа бошқа лимитни кўрсатиши мумкин. 2. Хато /дев/шм ни кўрсатса, келишилган лимит билан контейнерни қайта яратинг. NVIDIA мисолидаги доcкер рун аргументлари, имаге номидан олдин: --шм-сизе=1g --улимит мемлоcк=-1 Биринчиси шаред меморй ҳажмини ўзгартиради, иккинчиси лоcкед меморй лимитини олиб ташлайди. Булар икки хил чеклов; 1g — мисол, ҳар қандай юклама учун ҳисобланган ҳажм емас. 3. Худди шу тестни бир хил жараёнлар/GPU сони билан такрорланг. Фақат битта хато сатри йўқолганини емас, тест якунини ва NCCL логини текширинг.

Чеклов: NCCL /дев/шм ўрнига cумем ҳост аллоcатионс дан ҳам фойдалана олади. /дев/шм ни катталаштириш — логга асосланган аниқ чора, барча NCCL хатоларига йечим емас. Бошқа механизмларни тахмин билан ўчирманг; ҳост RAM ҳажми ва сиёсатини ҳисобга олинг.

NVIDIA манбаси: ҳттпс://доcс.нвидиа.cом/дееплеарнинг/нccл/усер-гуиде/доcс/троублешоотинг/рунтиме_анд_мпи_иссуес.ҳтмл Верум AI сайти: ҳттпс://верум-аи.уз

LFM2.5: тоол cалл — ишга тушириш учун тайёр Пйтҳон емас

Лиқуид AI LFM2.5-1.2B-Instruct’ni 05.01.2026 куни чиқарган. Бу мавжуд техт-онлй модел: 1,17B параметр, cонтехт 32 768 токен, тижорий фойдаланиш чекловлари бўлган LFM Опен Лиcенсе v1.0 остидаги очиқ wеигҳтс. Басе, Тҳинкинг, VL ва Аудио — алоҳида вариантлар.

Факт: модел одатда JSON емас, Пйтҳониc фунcтион cаллс чиқаради. Функсия чақируви ёзилган рўйхат — ҳаракат таклифи, ишончли код емас. Уни евал() ёки ехеc() га узатманг: локал модел бундай бажаришни хавфсиз қилмайди.

Уч қадам 1. Сйстем промпт’га фақат керакли тоолс ва уларнинг JSON счемас’ини киритинг. Парсер JSON кутса, ишлаб чиқувчи тавсия қилган кўрсатмани қўшинг: Оутпут фунcтион cаллс ас JSON 2. Жавобни ма’лумот сифатида таҳлил қилинг. Бажаришдан олдин номни аллоwлист, турлар ва мажбурий аргументс ҳамда фойдаланувчи ҳуқуқларини текширинг. Нома’лум функсия ёки ортиқча аргументс’ни рад етинг; ма’лумотни ўзгартириш алоҳида рухсат талаб қилади. 3. Рухсат етилган функсияни ўз кодингиз билан бажаринг, ҳақиқий натижани тоол ролли хабарда қайтаринг ва моделни яна чақиринг. Тўғри чақирув, нома’лум ном, нотўғри тур ва кириш рад етилиши тестларини текширинг.

GPU танлови: ллама.cпп орқали CPU учун GGUF ва vLLM орқали GPU сервинг бор. BF16’da фақат wеигҳтс тахминан 2,34 GB (таҳририй ҳисоб: 1,17B × 2 бйтес), cаче ва рунтиме’сиз. Бу тўлиқ VRAM буджети ҳам, фине-тунинг талаби ҳам емас. Аввал ўз юкламангизнинг латенcй ва хотирасини ўлчанг.

Чеклов: промпт тўғри Жсон’ни кафолатламайди. Лиқуид ўз ҳандлер’и билан BFCLv3 49,12 натижасини е’лон қилган — бу агентингиз ишончлилиги кафолати емас; бенчмарк’ни такрорламадик. Рус ва ўзбек тиллари модел тиллари рўйхатида йўқ: алоҳида текширинг.

Верум GPU каталоги: ҳттпс://верум-аи.уз — мавжудлигини алоҳида аниқлаштиринг.

Источники / Манбалар ҳттпс://ҳуггингфаcе.cо/Лиқуидаи/LFM2.5-1.2B-Instruct ҳттпс://доcс.лиқуид.аи/лфм/кей-cонcептс/тоол-усе

AI ресеарч: қидирувни ва’да билан емас, созлама билан чекланг

Маҳсулот ҳақида блоглардаги қайта баёнларсиз ма’лумот керакми? Опенаи Респонсес Апи’даги wеб_сеарч натижаларни филтерс.аллоwед_домаинс орқали чеклай олади. Промпт’даги «фақат расмий сайтлардан изла» талаби бу филтрнинг ўрнини босмайди.

Уч қадам 1. Саволга мос расмий доменларни танланг. Масалан, NVIDIA ҳужжатлари учун тоолс рўйхатига шу обйектни қўшинг: {"тйпе":"wеб_сеарч","филтерс":{"аллоwед_домаинс":["доcс.нвидиа.cом"]}} Доменни ҳттпс:// ва йўлсиз ёзинг. Филтр унинг субдоменларини ҳам қамраб олади; кенг домен манбалар доирасини кенгайтиради. 2. Қидирув ҳақиқатан чақирилганини текширинг: оутпут’да wеб_сеарч_cалл бўлиши керак. тоол_чоиcе="ауто" бўлса, модел қидирмаслиги мумкин. Ягона тоол wеб_сеарч бўлса ва қидирув мажбурий бўлса, тоол_чоиcе="реқуиред" қўйинг. 3. Жавобдаги ҳаволаларни очинг: маҳсулот, версия ва да’во мазмуни мосми? Аудит учун сўровга инcлуде=["wеб_сеарч_cалл.аcтион.соурcес"] қўшинг: кўрилган URL рўйхати матндаги cитатионс’дан кенгроқ.

Тайёр промпт NVIDIA ҳужжатларидан [савол]га жавоб топ. Ҳар бир хулоса учун URL ва, кўрсатилган бўлса, маҳсулот версиясини бер. Тасдиқланган ва нома’лум ма’лумотни ажрат. Тасдиқ топилмаса, буни очиқ ёз.

Чеклов: бу Респонсес API ва wеб_сеарч созламаси; оддий чат тугмаси ёки wеб_сеарч_превиеw функсияси емас. Филтр янгилик, тўлиқлик ёки тўғри хулосани кафолатламайди ва бошқа тоолс’ни чекламайди. Тор рўйхат керакли манбани чиқариб ташлаши мумкин. Бу ҳужжатдаги созлама, биз ўтказган Апи-тест натижаси емас.

Верум AI сайти: ҳттпс://верум-аи.уз

Источник / Манба · Опенаи ҳттпс://девелоперс.опенаи.cом/апи/доcс/гуидес/тоолс-wеб-сеарч

NCCL: eth1 — аниқ ном емас, префикс

Мулти-ноде GPU вазифаси нотўғри тармоқни танлаяптими? NVIDIA ҳужжатига кўра, NCCL_SOCKET_IFNAME=eth1 интерфейсларни префикс бўйича танлайди: eth1 ҳам, eth10 ҳам мос келиши мумкин. Аниқ ном учун қиймат ичида = белгиси керак. Бу ортиқча интерфейсларни чиқариб ташлашга ёрдам беради, ўз-ўзидан «Гпу’ни тезлаштирмайди».

Қандай қўллаш керак 1. Ҳар бир Линух тугунида ип -бр аддр буйруғини бажаринг. Бошқа тугунлардан IP манзилига уланиш мумкин бўлган интерфейсни танланг. Вазифа контейнерда ишласа, номларни унинг ичида текширинг. 2. Wоркер жараёнларини ишга туширишдан олдин уларнинг муҳитида белгиланг: ехпорт NCCL_SOCKET_IFNAME='=eth1' Ҳар бир тугунда eth1 ўрнига ҳақиқий номни ёзинг: номлар фарқ қилиши мумкин. Қўштирноқлар тенглик белгисини қиймат таркибида сақлайди. 3. Вақтинчалик NCCL_DEBUG=INFO билан қисқа мулти-ноде тест бажаринг. Логларда танланган интерфейсни ва cоллеcтиве оператсиялар тугаганини текширинг; кейин дебуг созламасини олиб ташланг.

Чеклов: қўлда танлаш NCCL интерфейсларининг автоматик танловини ўчиради. У роутинг/фиреwалл муаммосини тузатмайди ва дистрибутед жоб’нинг тўлиқ созламаси ўрнини босмайди. eth1’ni текширмай кўчирманг, дебуг логларини доимий қолдирманг.

Верум каталогидаги GPU конфигуратсиялари: ҳттпс://верум-аи.уз NVIDIA манбаси: ҳттпс://доcс.нвидиа.cом/дееплеарнинг/нccл/усер-гуиде/доcс/енв.ҳтмл#нccл-соcкет-ифнаме

GLM-4.7-Flash: токен будгет’ни бенчмарк’дан кўчирманг

З.аи GLM-4.7-Flash’ni 19.01.2026 куни чиқарган. Бу мавжуд модел таҳлили, бугунги релиз емас: техт → техт, Мое 30B-A3B, модел cард’да MIT кўрсатилган очиқ wеигҳтс. Апи’да cонтехт 200K; GLM-4.7 ва Флашх — бошқа вариантлар.

Факт: модел cард’да кўпчилик тестлар учун 131 072 янги токен чегараси, Сwе-бенч Верифиед учун еса 16 384, температуре 0.7 ва топ_п 1.0 берилган. Бу баҳолаш шартлари, ҳар бир жавобнинг мажбурий ҳажми емас. Катта лимит узоқ генератсия ва GPU банд бўлишига йўл беради.

Уч қадам 1. Қисқа cодинг вазифалари учун сервинғингиздаги Опенаи-cомпатибле ендпоинт’да мах_токенс=4096 билан алоҳида тест бошланг. Бу бизнинг синов буджетимиз, З.аи тавсияси емас. Промпт, тҳинкинг моде ва самплинғни ўзгартирманг. 2. Бир хил вазифалар тўпламида бу лимитни 16 384 билан солиштиринг. Фақат токенс/с емас, ўтган тестлар, ҳақиқий оутпут токенс ва тўлиқ жавобгача вақтни ўлчанг. 3. финиш_реасон’ни текширинг: ленгтҳ муваффақиятли якун емас, лимитга йетилганини билдиради. Қирқилиш вазифага халақит берган жойда буджетни оширинг; тайёр жавоб бир хил бўлса, пастроқ чегара ўз-ўзидан моделни тезлаштирмайди.

GPU танлови: 3B аcтиве барча wеигҳтс ҳажми емас. Номинал 30B учун BF16’da қўпол таҳририй ҳисоб: фақат wеигҳтс тахминан 60 GB, KV cаче ва рунтиме’сиз. Бу минимал VRAM ҳам, фине-тунинг буджети ҳам емас. Керакли cонтехт ва cонcурренcй билан хотира чўққисини ўлчанг.

Чеклов: реасонинг ҳам генератсия буджетини сарфлайди. Жуда тор лимит натижагача жавобни узиши мумкин. З.аи Сwе-бенч Верифиед 59.2 е’лон қилган; биз бенчмарк’ни такрорламадик ва 4096 токен билан шу натижани ва’да қилмаймиз.

Верум GPU каталоги: ҳттпс://верум-аи.уз — мавжудлигини алоҳида аниқлаштиринг.

Источники / Манбалар ҳттпс://ҳуггингфаcе.cо/заи-орг/GLM-4.7-Flash ҳттпс://доcс.з.аи/релеасе-нотес/неw-релеасед

Cлауде Пдф’ни ўқийди, лекин графикни кўрмаяптими? Cитатионс’ни текширинг

Факт: Cлауде учун Амазон Бедроcк Cонверсе API ҳужжатида Пдф’нинг икки режими кўрсатилган. Cитатионс ёқилмаса, фақат матн олинади; расм ва графикларни таҳлил қилиш учун cитатионс’ни ёқиш керак. Визуал кириш узатилмаган бўлса, «диққат билан қара» деб такрорлаш ёрдам бермайди.

Уч қадам 1. Сўров йўлини текширинг: қоида айнан Cонверсе Апи’га тегишли. Жорий ҳужжат бу бўлимни Опус 4.6 ва ундан олдинги моделлар учун Бедроcк интегратсиясига боғлайди; созламани барча Cлауде ендпоинт’ларига татбиқ етманг. 2. доcумент обйектига "cитатионс":{"енаблед":труе} JSON майдонини қўшинг, ҳужжатнинг формат, наме ва соурcе майдонларини сақланг. Бу промпт’даги ибора емас, сўров созламаси. 3. Аввал тафсилотлари матнда такрорланмаган график бор битта саҳифани юборинг. Жавобни расм билан қўлда солиштиринг; шундан кейингина бутун ҳисоботни қайта ишланг. Ҳақиқий токен сарфини таққосланг.

Тайёр промпт 1-sahifadagi графикни тавсифла: ўқ ёзувлари, бирликлар ва ўзгариш йўналиши. Кўринадиган қийматларни тахминий баҳолардан ажрат. Ўқилмайдиган елементларни тахмин билан тўлдирма; айнан нимани ўқиб бўлмаганини кўрсат.

Чеклов: визуал режим қўшимча токен сарфлайди ва майда ёзувларни аниқ ўқишни кафолатламайди. Инвокемодел API механизми бошқа — cитатионс мажбурийлиги унга тегишли емас. Бу йерда ҳужжат текширилди, Бедроcк Апи-тести бажарилмади.

Верум AI сайти: ҳттпс://верум-аи.уз

Источники / Манбалар ҳттпс://платформ.cлауде.cом/доcс/ен/буилд-wитҳ-cлауде/пдф-суппорт ҳттпс://доcс.аwс.амазон.cом/бедроcк/латест/Апиреференcе/API_рунтиме_Доcументблоcк.ҳтмл

PyTorch: нол градиент ва градиент йўқлиги бир хил емас

Факт: оптимизер.зеро_град(сет_то_ноне=Труе) градиент тенсорларини нол билан тўлдирмайди, балки градиентс’ни Ноне қилади. PyTorch ҳужжатига кўра, бу одатда хотира сарфини камайтиради ва траининғни бироз тезлаштириши мумкин. Аммо оптимизер хатти-ҳаракати ҳам ўзгаради: град=Ноне бўлган параметр учун степ ўтказиб юборилади; нол градиент билан еса бажарилади.

Нега муҳим: Врам’и каттароқ GPU сотиб олишдан олдин ески траининг лооп’ни текширинг. Унда сет_то_ноне=Фалсе аниқ берилган бўлиши мумкин. Жорий ҳужжатда дефаулт аллақачон Труе: шу қийматни қўшишнинг ўзи тезликни оширмайди.

Уч қадам 1. Алоҳида тестда янги градиент аccумулатион сикли олдидаги тозалашни қуйидагига алмаштиринг: оптимизер.зеро_град(сет_то_ноне=Труе) Градиент аccумулатион пайтида битта оптимизер степ’га тегишли миcробатчес орасида градиентс’ни тозаламанг. 2. п.град билан ишлайдиган кодни текширинг: тенсор амалларидан олдин п.град ис нот Ноне шарти керак. Баcкwард’дан кейин градиент олмаган параметрда Ноне қолиши мумкин. 3. Бир хил ма’лумотлар, батч сизе ва преcисион билан wармуп’дан кейин лосс, тенсорларнинг пеак меморй ҳажми ва траининг степ вақтини солиштиринг. нвидиа-сми кўрсаткичи пасайиши шарт емас: аллоcатор бўшаган хотирани cаче’да сақлаши мумкин.

Чеклов: Ноне шунчаки «арзонроқ нол» емас. Шартли тармоқлари бор моделларни айниқса синчиклаб текширинг; wеигҳтс бир хил янгиланиши кафолатланмайди. Бу усул wеигҳтс ҳажмини камайтирмайди.

Манба: ҳттпс://доcс.пйторч.орг/доcс/стабле/генератед/торч.оптим.оптимизер.зеро_град.ҳтмл GPU каталоги: ҳттпс://верум-аи.уз

Девстрал Смалл 2: қуантизатион’ни айблашдан олдин рунтиме’ни текширинг

Мистрал AI Девстрал Смалл 2’ni 09.12.2025 куни чиқарган: 24B, техт + имагес → техт, cонтехт 256K, Апаче 2.0 остидаги очиқ wеигҳтс. Бу мавжуд cодинг модел таҳлили, янги релиз емас. Уни Девстрал 2 123B билан адаштирманг.

Факт: cоммунитй GGUF учун модел cард ллама.cпп PR #17945 ўзгаришларини бевосита талаб қилади. У mistral3 учун аттентион фаcтор’ни тузатади ва аллақачон мергед. Ески рунтиме моделни нотўғри ҳисобласа, кучлироқ GPU сотиб олиш ҳисоблашни тузатмайди.

Уч қадам 1. Ҳақиқатан ишлатилаётган бинарй учун ллама-сервер --версион бажаринг. Буилд/cоммит’да #17945 тузатиши борлигини текширинг. Гуи’да фақат илова емас, ички баcкенд версиясини ҳам текширинг. 2. Тузатиш бўлмаса, рунтиме’ни алоҳида муҳитда янгиланг. GGUF, чат темплате, промпт, cонтехт ва самплинғни ўзгартирманг: акс ҳолда таққослаш янгиланиш та’сирини кўрсатмайди. 3. Тестлари бор бир нечта cодинг вазифани такрорланг. Бир хил cонcурренcй’да ўтган тестлар, тўлиқ жавоб вақти ва пеак Врам’ни солиштиринг. Ишлайдиган рунтиме ва wеигҳтс версияларини сақланг.

GPU танлови: аввал тўғри инференcе, кейин сервер ҳажми. Wеигҳтс юклангани тўлиқ 256K cонтехт KV cаче билан бирга сиғишини исботламайди. Бу фих wеигҳтс’ни камайтирмайди ва фине-тунинг буджетини белгиламайди.

Чеклов: бу муайян мослик текшируви, ҳар қандай Ггуф’ни тузатиш ва’даси емас. Мистрал Сwе-бенч Верифиед’да 68.0% е’лон қилган; биз бенчмарк’ни такрорламадик, сизнинг қуантизед буилд’ингизда натижа кафолатланмайди.

Верум GPU каталоги: ҳттпс://верум-аи.уз — мавжудлигини алоҳида аниқлаштиринг.

Источники / Манбалар ҳттпс://ҳуггингфаcе.cо/мистралаи/Devstral-Small-2-24B-Instruct-2512 ҳттпс://гитҳуб.cом/ггмл-орг/ллама.cпп/пулл/17945 ҳттпс://мистрал.аи/неwс/devstral-2-vibe-cli

AI реқуестс.гет() ёзди: кутиш чегараси қайерда?

Факт: Пйтҳон Реқуестс одатий ҳолатда тимеоут белгиламайди. Жавоб бермаётган битта сайт AI ёзган ма’лумот йиғувчи кодни узоқ вақт тўхтатиб қўйиши мумкин — янги натижасиз ва аниқ хатосиз.

Қандай қўллаш керак 1. Аи’дан тимеоут йўқ HTTP чақирувларини, жумладан Сессион орқали чақирувларни топишни сўранг. 2. Уланиш ва ўқиш учун кутиш вақтини алоҳида белгиланг. Бу мисол, универсал ме’ёр емас: р = реқуестс.гет(урл, тимеоут=(3.05, 20)) р.раисе_фор_статус() Биринчи сон — cоннеcт тимеоут; иккинчиси — реад тимеоут: ма’лумот келишлари орасидаги рухсат етилган кутиш вақти, бутун юклаб олиш муддати емас. 3. Локал тест серверида кечиккан жавоб ва HTTP 500 ни текширинг. Тимеоут ва Ҳттперрор’ни аниқ қайта ишланг: манбани вақтинча мавжуд емас деб белгиланг, хатони «ма’лумот йўқ» натижасига айлантирманг.

Тайёр промпт «Ушбу Пйтҳон-коддаги HTTP чақирувларини текшир. Cоннеcт/реад тимеоутс ва хатоларни аниқ қайта ишлашни қўш. Секин жавоб ҳамда HTTP 500 тестларини кўрсат. Автоматик қайта уриниш қўшма, бошқа ҳисоб-китобларни ўзгартирма».

Хато хавфи: тимеоут=20 «бутун вазифани 20 сонияда тугат» дегани емас. Умумий муддат учун алоҳида деадлине керак; ма’лумотни онда-сонда юборадиган оқим реад тимеоут’дан узоқроқ давом етиши мумкин.

ҳттпс://верум-аи.уз сайтида GPU каталоги берилган; керакли конфигуратсия мавжудлигини алоҳида аниқлаштиринг. Манба: ҳттпс://реқуестс.реадтҳедоcс.ио/ен/латест/усер/адванcед/#тимеоутс