Куннинг AI ва GPU янгиликлари

AI тўловларни бирлаштирди — нега жами камайди?

Факт: Сқлите’да UNION натижадаги бир хил сатрларни олиб ташлайди, UNION ALL еса сақлайди. AI иккита експортни фақат сумма устуни бўйича бирлаштирса, ҳар бири 100 бўлган икки алоҳида тўлов битта сатрга айланиши мумкин. Хато қўшишда емас — ёзув олдинроқ йўқолган.

Қандай қўллаш керак 1. Мақсадни аниқланг: барча оператсияларни сақлашми ёки ноёб қийматларни олишми? Бир експорт сатрларини иккинчисига такрорларни ўчирмасдан қўшиш учун UNION ALL ишлатинг. 2. Аи’дан кичик мисолни текширишни сўранг: SELECT 100 AS амоунт UNION SELECT 100; Битта сатр қайтади. UNION ALL билан иккита; уларнинг йиғиндиси 100 емас, 200 бўлади. 3. Агрегатсиядан олдин оператсия Ид’си ва манбасини сақланг. Сатрлар сони ва жами суммани дастлабки експортлар билан солиштиринг.

Тайёр промпт: Сқлите SQL кодимни бирлаштиришда сатрлар йўқолиши бўйича текшир. Бир хил қийматлар ва айнан бир оператсияни фарқла. Суммаси тенг икки алоҳида тўлов учун тест, кутилган сатрлар ва жами суммани кўрсат. Такрорларни ўчириш қоидасини асоссиз ўзгартирма.

Тузоқ: експортлар кесишиб, битта оператсия икки марта келса, ўйламасдан UNION Алл’га алмаштириш жами суммани оширади. Такрорларни сумма тенглиги бўйича емас, келишилган оператсия калити бўйича олиб ташланг.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источник / Манба · Сқлите: ҳттпс://www.сқлите.орг/ланг_селеcт.ҳтмл

GPU янги епоч’ни кутяптими? Wоркерс’ни бекорга қайта ишга туширманг

Факт: PyTorch Даталоадер’да персистент_wоркерс=Труе ма’лумотлар тўлиқ ўқиб чиқилгандан кейин wоркер проcессес ва уларнинг Датасет инстанcес’ини сақлайди. Дефаулт — Фалсе. Худди шу Даталоадер ишлатилса, кейинги епоч’да wоркерс’ни қайта яратиш шарт бўлмайди.

Нега муҳим: ҳар бир епоч боши wоркерс ишга тушиши сабаб секинлашса, GPU ма’лумотни кутиши мумкин. Кучлироқ карта бу бекор туриш сабабини йўқотмайди.

Уч қадам: 1. Даталоадер’ни бир марта, епоч сиклидан олдин яратинг. нум_wоркерс > 0 бўлганда персистент_wоркерс=Фалсе ва Труе билан иккита алоҳида рун’ни солиштиринг. Батч сизе, трансформс ва wоркерс сонини ўзгартирманг. 2. Биринчи ва кейинги епочс учун итератор яратилишидан биринчи батч олинишигача вақтни ўлчанг. Тўлиқ епоч вақтини ҳам алоҳида солиштиринг: тезроқ старт бутун траининг сезиларли тезлашишини кафолатламайди. 3. Епочс орасида ҳост RAM ва ма’лумотлар тўғрилигини текширинг. Фойда керак бўлса ва сақланадиган wоркерс ҳамда Датасет сервер хотирасига сиғсагина Труе’ни қолдиринг.

Тузоқ: ҳар епоч ичида Даталоадер’ни қайта яратиш бу созламанинг ма’носини йўқотади. Бу бутун датасет cаче’и ҳам, VRAM тежаш ҳам емас: wоркер стате сақланади. Датасет ҳолатини епоч бўйича ўзгартирсангиз, янгиланиш wоркер cопиес’га қандай йетиб боришини алоҳида текширинг; асосий проcесс’да майдонга оддий қиймат бериш синхронлаш механизми емас.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источник / Манба · PyTorch: ҳттпс://доcс.пйторч.орг/доcс/2.14/дата.ҳтмл

Жина Реранкер v3.5: топ_н=3 — «фақат учтасини қайта ишлаш» емас

Жина AI jina-reranker-v3.5 моделини 2026-yil 27-iyulda чиқарди. Бу 0.6B параметрли матнли листwисе реранкер: қидирув номзодларини тартиблайди, жавоб ёзмайди. Е’лон қилинган cонтехт — 131K токенс гача; wеигҳтс, GGUF ва MLX мавжуд. Wеигҳтс литсензияси — CC Бй-нc 4.0, тижорий фойдаланиш рухсати емас.

Амалий факт: е’лон қилинган локал реранк() методида топ_н сcорес ҳисобланиб, саралангандан кейин қўлланади. 100 та ҳужжатни топ_н=3 билан юборсангиз, модел қолган 97 тасини ўтказиб юбормайди. Натижалар сонини камайтириш асосий GPU ишини ўз-ўзидан қисқартирмайди.

Уч қадам: 1. Баселине белгиланг: бир хил сўровлар, ма’лум релевант ҳужжатлар ва дастлабки қидирувдан 100 та номзод. Бир хил дтйпе ва Гпу’да дастлабки уч натижа сифатини, латенcй ва енг юқори VRAM сарфини ўлчанг. 2. Юкни камайтириш учун фақат дастлабки 30 та номзодни юбориш билан солиштиринг: модел.реранк(қуерй, доcументс[:30], топ_н=3). Рўйхат файлларнинг тасодифий тартибида емас, дастлабки қидирув бўйича сараланган бўлсин. 3. Ўлчовларни такрорланг. Сифат йўқотилиши мақбул бўлсагина киришни қисқартиринг: керакли ҳужжат дастлабки 30 таликдан ташқарида қолиши мумкин. Номзодлар сони билан бирга узунлигини ҳам чекланг.

Хато: 0.6B ҳар қандай cонтехт’да бир хил VRAM сарфини кафолатламайди. Гпу’ни ҳақиқий кириш узунлиги ва параллел юк бўйича танланг. Тижорий жорий етиш учун литсензияни Жина AI билан алоҳида келишинг. Бу инференcе учун маслаҳат, траининг учун емас.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Манбалар / Источники: ҳттпс://жина.аи/ен-ус/моделс/jina-reranker-v3.5 ҳттпс://ҳуггингфаcе.cо/жинааи/jina-reranker-v3.5/блоб/маин/моделинг.пй

AI 1000 та ёзув сўради, 100 тасини олди ва «жами» дедими?

Факт: Гитҳуб REST Апи’да пер_паге бутун експортни емас, саҳифа ҳажмини белгилайди. Расмий ҳужжатга кўра, кўпчилик ендпоинтс учун максимум — 100. Лимитдан кўп сўралса, Гитҳуб қийматни хатосиз камайтиради. Муваффақиятли HTTP жавоб ҳисобот тўлиқлигини исботламайди.

Қандай қўллаш керак 1. Йиғишдан олдин ендпоинт, филтрлар ва даврни белгиланг. Унинг пер_паге лимитини текширинг; саҳифаларни ўтишни пер_паге=1000 билан алмаштирманг. 2. Ҳар бир муваффақиятли жавобдан кейин ёзувларни сақланг ва Линк ҳеадер’даги рел="нехт" Урл’ига ўтинг. Ласт ҳаволаси бўлмаслиги мумкин — бу кейинги саҳифа йўқ дегани емас. 3. Натижада олинган саҳифалар, дастлабки ёзувлар ва ноёб ID сонини кўрсатинг. Оддий пагинатед лист учун тугаш белгиси — нехт’сиз муваффақиятли охирги саҳифа. Хато ёки рате лимит бўлса, експортни «жами топилди» емас, қисман деб белгиланг.

Тайёр промпт: Шу Гитҳуб REST ендпоинт’дан ма’лумот йиғ: [URL]. Филтрлар: [шартлар]. Линк рел="нехт" орқали саҳифаларни ўт, ҳар бирининг натижасини сақла. Саҳифалар, ёзувлар ва ноёб ID сонини ҳамда тўхташ сабабини кўрсат. Қисман експортни тўлиқ деб берма; сўровлар бажарилмаган бўлса, очиқ айт.

Тузоқ: барча саҳифаларни олиш снапшот яратмайди: йиғиш пайтида ма’лумотлар ўзгариши мумкин. ID бўйича такрорларни олиб ташлаш ёзувлар тушиб қолмаганини исботламайди. Муҳим ҳисобот учун белгиланган давр бўйича алоҳида солиштириш керак. Лойиҳа сайти: ҳттпс://верум-аи.уз

Источник / Манба · Гитҳуб: ҳттпс://доcс.гитҳуб.cом/ен/рест/усинг-тҳе-рест-апи/усинг-пагинатион-ин-тҳе-рест-апи

GPU кутяпти, CPU еса банд: тҳреадс сонини текширинг

Факт: ҳар бир PyTorch жараёни жуда кўп тҳреадс ишга туширса, бир нечта жараён CPU учун рақобатлашади. Бу CPU оверсубсcриптион: алмашишларга вақт кетади, кўпроқ параллелизм еса кўпроқ фойдали иш дегани емас.

Нега муҳим: пипелине’нинг CPU қисми ма’лумот тайёрлашга улгурмаса, кучлироқ GPU сотиб олиш шу кутиш сабабини йўқотмайди.

Амалий қадамлар: 1. Вазифага ажратилган Н вcпу буджети ва бир вақтда ишлайдиган М жараён сонини аниқланг. Фақат бутун серверни емас, контейнер лимитларини ҳам ҳисобга олинг. Даталоадер ва бошқа хизматлар учун захира қолдиринг. 2. Ҳар бир PyTorch жараёнида ҳисоблашдан олдин торч.сет_нум_тҳреадс(Т) ни белгиланг. Ҳужжатдаги бошланғич қоида — Т кўпи билан Н/М нинг бутун қисми; бу буджет, оптимал тезлик ва’даси емас. Жараёнлар вcпу’дан кўп бўлса, аввал уларнинг сонини камайтиринг. 3. Қиздиришдан кейин бир хил ма’лумотларда дастлабки режим ва кичикроқ Т қийматларини солиштиринг: тўлиқ батч вақти, тҳроугҳпут ва GPU кутиши. Созламани фақат ўлчанган фойда бўлса сақланг.

Хато: сет_нум_тҳреадс Пйторч’нинг CPU интра-оп параллелисм’ини бошқаради, CUDA тҳреадс ёки токенизер/бошқа кутубхоналарнинг барча оқимларини емас. CPU юқори юкламасининг ўзи оверсубсcриптион исботи емас.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источники / Манбалар · PyTorch: ҳттпс://доcс.пйторч.орг/доcс/2.14/нотес/мултипроcессинг.ҳтмл ҳттпс://доcс.пйторч.орг/доcс/2.14/генератед/торч.сет_нум_тҳреадс.ҳтмл

Qwen3.5-0.8B: кичик модел ҳам чексиз ўйлаб қолиши мумкин

Алибаба Қwен бу моделни 02.03.2026 да чиқарган — бугунги янгилик емас. Wеигҳтс Апаче 2.0 остида очиқ; кириш — матн, расм ва видео, чиқиш — матн. Е’лон қилинган cонтехт — 262 144 токенс. Гап Басе емас, пост-траинед версия ҳақида.

Факт: ишлаб чиқувчи огоҳлантиради: тҳинкинг моде’да айнан 0.8B тавсия етилган самплинг параметерс билан ҳам бошқа Qwen3.5 моделларга қараганда кўпроқ фикрлаш сиклига тушади. Кичик модел қисқа жавоб ёки кам Гпу-вақт сарфини кафолатламайди.

Уч қадам: 1. Вазифангизни аввал нон-тҳинкинғда текширинг — бу моделнинг дефаулт режими. Сифат, генератед токенс сони ва тўлиқ жавобгача вақтни қайд етинг. Тҳинкинғни фақат мавжудлиги учун ёқманг. 2. Реасонинг керак бўлса, уни баcкенд’ингиз параметрлари орқали ёқиб, айни топшириқларда солиштиринг. Оутпут токенс ва сўров вақтига лимит қўйинг; қўлланса, такрорларни кўриб, қотиб қолган генератсияни бекор қилиш учун стреаминг ишлатинг. Стреаминг ўзи сиклни тўхтатмайди. 3. GPU танлашдан олдин ишчи cонтехт ва батч’да пеак VRAM ҳамда латенcй’ни ўлчанг. Бекор қилиш фақат cлиент ойнасини ёпмай, сервердаги ҳисоблашни ҳам тўхтатишини текширинг. Тҳинкинг сифатни яхшиламаса, нон-тҳинкинғда қолинг.

Тузоқ: токен будгет’ни ошириш сиклни фақат узайтириши мумкин. Расмий модел cард прототиплар ва таск-спеcифиc фине-тунинғни кўзда тутади; универсал минимал VRAM бермайди. Генератсия лимити wеигҳтс хотирасини камайтирмайди, кесилган жавобни еса тугалланган деб бўлмайди.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источники / Манбалар: ҳттпс://ҳуггингфаcе.cо/Қwен/Qwen3.5-0.8B ҳттпс://гитҳуб.cом/Қwенлм/Qwen3.5

AI .енв’ни .гитигноре’га қўшди — сир енди ҳимояланганми?

Факт: .гитигноре Гит аллақачон кузатаётган файлларга та’сир қилмайди. Шунинг учун cодинг-агентнинг «қоида қўшдим, енди хавфсиз» жавоби йетарли емас: калитлар бор файл кейинги cоммит’га ҳам кириши мумкин.

Cоммит’дан олдин уч қадам: 1. Сирлар сақланадиган файлнинг аниқ йўлини белгиланг. Репоситорй илдизидаги .енв учун илдиздан бажаринг: гит лс-филес -- .енв Буйруқ мазмунни емас, йўлни чиқаради. .енв сатри чиқса, файл индех’да бор: игноре қоидасининг ўзи йетмайди.

2. Тайёрланган файлларнинг фақат номларини текширинг: гит дифф --cачед --наме-онлй Улар орасида сирлар бор файл бўлса, cоммит’ни тўхтатинг. «Текшириш учун» Аи’дан файл мазмунини чиқаришни сўраманг.

3. Файлни кузатишдан чиқаришни алоҳида келишинг. Сир аллақачон ошкор бўлган бўлса, аввал уни бекор қилинг ёки алмаштиринг; тарихни тозалашни автоматик форcе пуш билан емас, жамоа билан ҳал қилинг.

Тайёр промпт: Cоммит’дан олдин [йўл] кузатилаётганини текшир ва фақат стагед файллар номларини кўрсат. Сирларни ўқима ва чиқарма. Хавф бўлса тўхта. Алоҳида рухсатсиз cоммит, пуш, файл ўчириш ёки тарихни қайта ёзишни бажарма.

Тузоқ: биринчи буйруқнинг бўш натижаси бошқа файллар ёки ески cоммитс’да сир йўқлигини исботламайди. .гитигноре Аи’нинг файлни ўқишини ҳам тақиқламайди — кириш ҳуқуқи алоҳида чекланади.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источники / Манбалар: ҳттпс://гит-сcм.cом/доcс/гитигноре ҳттпс://гит-сcм.cом/доcс/гит-лс-филес ҳттпс://доcс.гитҳуб.cом/ен/аутҳентиcатион/кеепинг-ёур-аccоунт-анд-дата-сеcуре/ремовинг-сенситиве-дата-фром-а-репоситорй

DDP епоч охирида қотдими? Батчес сонини солиштиринг

Факт: дистрибутед траининғда бир ранк бошқалардан олдин ма’лумотни тугатиши мумкин. Бошқа жараёнлар мос cоллеcтиве оператионс’ни кутишда қолади. PyTorch Ддп’да жоин() бор; тҳроw_он_еарлй_терминатион=Труе режими бир ранк ма’лумотни тугатганда барча ранкс’да хато чиқаради.

Нега муҳим: аниқ хато Гпу-вақтини кутишга сарфламасликка ва номувофиқ ма’лумот оқимини тармоқ муаммосидан ажратишга ёрдам беради.

Уч қадам: 1. Ҳар бир ранк учун охирги батч рақами ва итератор тугаганини локал логга ёзинг. Айниқса ёзувларни филтрлашдан кейин амалда ишланган батчес сонини солиштиринг. Бундай лог учун сиклга янги алл_редуcе қўшманг. 2. Қисқа текширувда ҳар бир ранк’даги бутун траининг лооп’ни wитҳ ддп.жоин(тҳроw_он_еарлй_терминатион=Труе): ичига олинг; ддп — Ддп-моделингиз. Форwард, баcкwард ва оптимизер.степ ичкарида қолсин. Ехcептион’ни сақлаб, текширувни муваффақиятсиз деб тугатинг; хатони яширманг. 3. Қадамлар сони фарқи тасдиқланса, шардинг, самплер ва локал филтрларни текширинг. Тузатгач, узоқ траининғдан олдин тест ва батчес солиштиришни такрорланг.

Тузоқ: оддий жоин() уневен инпутс билан ишни давом еттира олади, лекин Сйнcбатчнорм ёки ўзингизнинг алл_редуcе каби қўшимча cоллеcтивес’дан бехабар. Улар бўлса, ҳужжат тҳроw_он_еарлй_терминатион=Труе ни талаб қилади. Бу фаил-фаст: ма’лумотни тузатмайди ва ҳар қандай қотишни бартараф етмайди.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источник / Манба · PyTorch: ҳттпс://доcс.пйторч.орг/доcс/2.14/генератед/торч.нн.параллел.дистрибутеддатапараллел.ҳтмл

Немотрон 3 Нано 4B: FP8 — бутун модел FP8 дегани емас

NVIDIA моделни 16.03.2026 да чиқарган; бу таҳлил, бугунги янгилик емас. Матн → матн, cонтехт 262K гача, wеигҳтс NVIDIA Немотрон Опен Модел Лиcенсе асосида очиқ. BF16, FP8 ва GGUF Q4_К_М мавжуд; асосий кўрсатилган тил — Енглиш.

Факт: расмий FP8 чеcкпоинт селеcтиве қуантизатион ишлатади. Тўртта Аттентион лайер ва улардан олдинги тўртта Мамба лайер BF16’da сақланган; барча Мамба лайер’лардаги Conv1D ҳам BF16. Демак, FP8 белгиси ҳар бир компонент BF16’ga нисбатан айнан икки баравар кам хотира олишини англатмайди.

Қандай қўллаш керак: 1. Форматни енгине ва Гпу’га мосланг: баселине учун BF16, алоҳида таққослаш учун расмий FP8 ёки GGUF Q4_К_М. Расмий FP8 чеcкпоинт’ни барча қисмларни бир хил дтйпе’га ўтказиб «ҳаммаси FP8»га айлантирманг. 2. Бир хил промптс, cонтехт, батч ва жавоб лимитида wарм-уп’дан кейин пеак VRAM ва латенcй’ни ўлчанг. Ўз вазифаларингизда жавоб сифати ва тоол аргументс тўғрилигини текширинг; тҳинкинг моде бир хил бўлсин. 3. Гпу’ни 4B/FP8 номига емас, бутун инференcе’нинг енг юқори хотира сарфига захира қўшиб танланг. Cаче ва рунтиме буфферс’ни ҳисобга олинг. Модел cард ҳар қандай wорклоад учун универсал минимал Врам’ни бермайди.

Тузоқ: NVIDIA танланган бенчмаркс’да FP8 учун 100% медиан аccураcй реcоверй билдирган. Бу муайян тестлар медианаси, ҳар бир жавоб сифати тенг бўлишига ва’да емас. RU/UZ учун ўз тестингиз керак; фине-тунинг харажатлари бу инференcе тести билан ўлчанмайди.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источники / Манбалар · NVIDIA: ҳттпс://ҳуггингфаcе.cо/блог/нвидиа/nemotron-3-nano-4b ҳттпс://ҳуггингфаcе.cо/нвидиа/NVIDIA-Nemotron-3-Nano-4B-BF16

AI «тасодифий» ҳавола яратди — уни ҳимояланган деб бўладими?

Факт: Пйтҳон’нинг стандарт рандом генератори сеcуритй токенс учун емас, моделлаштириш учун яратилган. Паролни тиклаш ҳаволаси учун сеcретс сўранг: тартибсиз кўринган сатр ҳали криптографик жиҳатдан олдиндан айтиб бўлмаслигини англатмайди.

Уч қадам: 1. Аи’дан фақат токен узунлиги текширувини емас, токен яратиладиган жойни топишни сўранг. У йерда рандом.чоиcе бўлса, бутун тиклаш механизмини емас, айнан генераторни алмаштиринг.

2. Урл-сафе токен учун тасодифий байтлар сонини аниқ белгиланг: импорт сеcретс токен = сеcретс.токен_урлсафе(32) Бу йерда 32 — сатр узунлиги емас, тасодифий байтлар сони. Қисқа ҳавола учун натижани кесманг.

3. Тест муҳитида ҳаёт сиклини текширинг: амалдаги токен қабул қилинсин, муддати ўтгани рад етилсин, муваффақиятли тиклашдан кейин қайта ишлатиш тақиқлансин. «Сатрлар ҳар хил» текшируви генератор хавфсизлигини исботламайди.

Тайёр промпт: Бу Пйтҳон кодида пассwорд-ресет токен яратилишини текшир. Рандом емас, сеcретс.токен_урлсафе(32) ишлат. API контрактини сақла. Амал қилиш муддати ва бир марталик фойдаланиш тестларини қўшиб, бажар. Натижаларни токен қийматларисиз кўрсат; продуcтион’ни ўзгартирма.

Чеклов: сеcретс бутун ресет флоw учун емас, тасодифийлик учун жавоб беради. Хавфсиз сақлаш, амал қилиш муддати ва уринишлар чеклови керак. Ҳақиқий токенларни AI чатига ёки логларга юборманг.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источники / Манбалар: ҳттпс://доcс.пйтҳон.орг/3/либрарй/сеcретс.ҳтмл ҳттпс://чеатшеетсериес.оwасп.орг/чеатшеетс/Форгот_Пассwорд_Чеат_Шеет.ҳтмл

MIG: Гпу-утил’даги Н/А — нол юклама емас

Факт: MIG моде’даги A100/A30’da NVML ва нвидиа-сми утилизатион метрикаларини алоҳида MIG девиcес’га боғлашни қўллаб-қувватламайди. Шунинг учун CUDA вазифаси ишлаётганида ҳам Н/А кўриниши мумкин. NVIDIA MIG мониторинг учун Дcгм’ни тавсия қилади.

Нега муҳим: дашбоард «ма’лумот йўқ»ни 0% билан алмаштирса, банд бўлим бўшдек кўринади. Бундай график асосида сервер бекор турибди ёки Гпу’ни ўчириш керак деган қарор чиқариб бўлмайди.

Уч қадам: 1. нвидиа-сми -л бажаринг: GPU, MIG профиле ва бўлим Ууид’сини вазифангизга ажратилган ресурс билан солиштиринг. Бу конфигуратсияни ўзгартириш емас, кўриш буйруғи. 2. Метрика йиғувчида Н/А’ни нол емас, миссинг/нулл сифатида сақланг. «Паст юклама» ва «телеметрия мавжуд емас» алертс’ини ажратинг. 3. MIG метрикалари учун мос NVIDIA DCGM версиясини созланг. Қисқа тест юкламасида айнан керакли инстанcе’нинг вақт қатори ўзгараётганини текширинг; уни илова ишлаши, масалан токенс/с билан солиштиринг.

Чеклов: мавжуд метрикалар GPU, дривер ва DCGM версиясига боғлиқ. Бу йерда A100/A30 ҳақида гап кетмоқда: чекловни автоматик равишда барча авлодларга татбиқ қилманг. Дашбоард’да чиройли фоиз кўриш учун Миғни ўчирманг — бу ресурслар тақсимотини ўзгартиради.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источник / Манба: ҳттпс://доcс.нвидиа.cом/датаcентер/тесла/миг-усер-гуиде/610/геттинг-стартед-wитҳ-миг.ҳтмл#мониторинг-миг-девиcес

Немотрон Парсе v1.2: ески промпт ишлайди — аммо ёмонроқ

NVIDIA бу OCR/VLM моделини 17.02.2026 да чиқарган — бугунги янгилик емас. Кириш: расм + промпт; чиқиш: матн, синфлар ва боундинг бохес. Wеигҳтс NVIDIA Немотрон Опен Модел Лиcенсе асосида очиқ. Бу ҳужжат парсер’и, универсал чатбот емас.

Факт: v1.2 да тўртинчи таск токен мажбурий: расмлар ичидаги матн ажратилсинми? v1.1 даги ески промпт хато бермайди: рунтиме уни текширмайди, лекин NVIDIA сифат сезиларли пасайишидан огоҳлантиради. Демак, «сўров ўтди» — мигратсия учун йетарли тест емас.

Уч қадам: 1. Модел билан бирга проcессор ва таск промпт’ни расмий мисол асосида янгиланг. Расмлар ичидаги матнни ўтказиб юбориш учун: </с><с><предиcт_ббох><предиcт_cлассес><оутпут_маркдоwн><предиcт_но_техт_ин_пиc> 2. Ички фото ёки чизмалардаги ёзувлар муҳим бўлса, охирги токен’ни <предиcт_техт_ин_пиc> билан алмаштиринг. Оддий матн, жадвал ва расм бор битта саҳифада иккала режимни текширинг; тушиб қолган қисмлар ва ўқиш тартибини асл нусха билан солиштиринг. 3. Кейин латенcй ва пеак Врам’ни ўлчанг: аввал батч=1, сўнг ишчи батч. Расмлардаги кераксиз матнни ташлаб кетиш генератсияни қисқартиради, wеигҳтс ҳажмини емас. Расмий мисол — CUDA/BF16; A100/H100 минимал конфигуратсия емас, синов қурилмалари сифатида кўрсатилган.

Чеклов: бу модел cард умумий cонтехт лимит, минимал VRAM ва сонли бенчмарк натижаларини бермайди. Гпу’ни фақат «1B дан кам параметр»га қараб танламанг; хато йўқлиги аниқ OCR исботи емас.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источник / Манба · NVIDIA: ҳттпс://ҳуггингфаcе.cо/нвидиа/NVIDIA-Nemotron-Parse-v1.2

AI файл номини қидириб, ортиқча натижа топяптими?

Факт: Пйтҳон регех’да нуқта стандарт ҳолатда янги қатор белгисидан ташқари исталган белгини англатади. Шунинг учун ре.фуллматч("инвоиcе.пдф", наме) нафақат инвоиcе.пдф, балки инвоиcехпдф’ни ҳам қабул қилади. Код хатосиз ишлайди, аммо саралаш нотўғри.

Уч қадам: 1. Вазифани аниқланг: айнан матн мос келиши керакми ёки регех керакми? Аниқ ном учун наме == таргет, матн ичидан айнан бўлакни излаш учун таргет ин наме оддийроқ. 2. Регех зарур бўлса, киритиладиган оддий матн бўлагидаги махсус белгиларни ре.есcапе(таргет) билан екранланг. Бутун ном мослиги учун: ре.фуллматч(ре.есcапе(таргет), наме) ис нот Ноне 3. Аи’дан тестни бажаришни сўранг: таргет = инвоиcе.пдф бўлса, инвоиcе.пдф ўтсин, инвоиcехпдф ва инвоиcе.пдф.бак еса ўтмасин. Локал Пйтҳон тестида бу вариант фақат биринчи номни қабул қилди.

Тайёр промпт: Бу Пйтҳон-коддаги қидирувни текшир: фойдаланувчи регех емас, аниқ ном беради. Оддий таққослашни афзал кўр; регех керак бўлса, фақат оддий матн бўлакларини екранла. Битта мос ва иккита ўхшаш, лекин мос бўлмаган ҳолатни тест қил. Ҳақиқий натижани кўрсат, файлларни ўзгартирма.

Тузоқ: ре.есcапе — паттерн учун, ре.суб’даги алмаштириш сатри учун емас. Бутун мураккаб регех’ни екранлаш атайлаб қўйилган операторларни ҳам оддий белгиларга айлантиради.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источник / Манба · Пйтҳон: ҳттпс://доcс.пйтҳон.орг/3/либрарй/ре.ҳтмл#ре.есcапе

CUDA Грапҳ: нега сақланган жавобларнинг ҳаммаси охиргисига айланди?

Факт: торч.cуда.cудаграпҳ қўлда ишлатилганда ҳар бир реплай айни оутпут тенсор’ни қайта ёзади. Ҳар батч’дан кейин ресултс.аппенд(й) қилинса, рўйхат мустақил натижаларни емас, ҳаволаларни сақлайди. Охирида уларнинг ҳаммаси сўнгги жавобни кўрсатиши мумкин — CUDA хатосисиз.

Нега муҳим: инференcе тезлашади, аммо сифатни баҳолаш учун предиcтионс сездирмай бузилади. GPU тезлигини солиштиришдан олдин натижалар сақланиб қолишини текширинг.

Уч қадам: 1. Cаптуре қилинган грапҳ оутпут’и қайерда сақланишини топинг. Бу натижа кейинги реплай’дан сўнг ҳам керакми? 2. Керак бўлса, cаптуре ташқарисида, реплай’дан кейин ва навбатдаги ишга туширишдан олдин нусха олинг: грапҳ.реплай() ресултс.аппенд(й.cлоне()) Бу йерда грапҳ аллақачон cаптуре қилинган, й — унинг оутпут’и, ресултс — рўйхат. Кириш реплай’дан олдин янгиланади. Бу парча реплай ва cлоне учун битта CUDA стреам ишлатилишини назарда тутади. 3. Икки хил кириш беринг. Сақланган оутпутс’ни айни киришлардаги оддий еагер инференcе билан солиштиринг ва иккинчи реплай’дан кейин биринчи натижа ўзгармаганини текширинг.

Тузоқ: cлоне қўшимча VRAM ва нусхалаш вақтини сарфлайди. Оутпутс’ни чексиз йиғманг; ишловдан кейин бўшатинг. Бир нечта стреамс учун аниқ боғлиқликлар керак — cлоне’нинг ўзи раcе cондитион’ни бартараф етмайди.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источник / Манба · NVIDIA: ҳттпс://доcс.нвидиа.cом/дл-cуда-грапҳ/троублешоотинг/нумериcал-еррорс.ҳтмл#оутпут-тенсор-реусе

Кими K2.5: иккита RTX 4090 — бутун сервер емас

Мооншот Аи’нинг Кими K2.5 модели 2026 йилга тегишли, бугунги янгилик емас: киришда матн, расм ва видео, чиқишда матн; cонтехт 256K, Тҳинкинг/Инстант режимлари. Wеигҳтс Модифиед MIT асосида очиқ; расмий API ҳам бор.

Факт: Мооншот деплоймент гуиде’да иккита RTX 4090’dagi LoRA SFT натижаси Интел 8488C, «1.97T RAM» ва «200G сwап» билан бирга берилган. Бу Ктрансформерс ишлатадиган CPU+GPU тизими мисоли, оддий икки картали Пc’да моделни ўқитиш ва’даси емас.

Нега муҳим: бу Мое моделида жами 1T параметр, фаол қисми 32B. Фаол параметрлар камлиги қолган wеигҳтс’ни сақлаш заруратини йўқотмайди; GPU тежалиши бутун сервер арзон дегани емас.

Хариддан олдин уч қадам: 1. Стаcк версияси ва вазифани белгиланг: инференcе, LoRA SFT ёки фулл фине-тунинг. Бир вазифа натижасини бошқасига кўчирманг. 2. Айнан ўз версиянгиз қўлланмасини очинг. Ктрансформерс 0.7.0.post4’da текширилган матнли LoRA мисоли бошқача: траининг учун 8× RTX 5090, инференcе учун 4×, иккита AMD EPYC 9355 ва тахминан 1.5 Тиб Рам. Бу универсал минимум емас, референcе конфигуратсия. 3. Сметага фақат VRAM емас, CPU, RAM, wеигҳтс ва чеcкпоинтс учун дискларни киритинг. Аввал танланган қўлланма бўйича сақлаш ва ресуме’нинг қисқа тестини бажаринг; RAM, VRAM ва қадам вақтини ўлчанг.

Чеклов: е’лон қилинган 44.55 токенс/с сизнинг wорклоад’ингизга емас, муайян ески SFT мисолига тегишли. Турли версиялар кўрсатмаларини аралаштирманг. Биз бу траининғни бажармадик; рақамлар ҳужжатлардан олинган.

Лойиҳа сайти: ҳттпс://верум-аи.уз

Источники / Манбалар: ҳттпс://ҳуггингфаcе.cо/мооншотаи/Kimi-K2.5 ҳттпс://гитҳуб.cом/Мооншотаи/Kimi-K2.5/блоб/мастер/доcс/деплой_гуиданcе.мд ҳттпс://гитҳуб.cом/квcаче-аи/ктрансформерс/блоб/маин/.гитҳуб/релеасе/ехамплес/kimi-k25/Реадме.мд

AI барча ёзувларни текширди — лекин ёзувлар йўқмиди?

Факт: Пйтҳон’да алл([]) қиймати Труе. Шунинг учун AI ёзган «барча қаторлар текширувдан ўтди» коди бўш експортни ҳам тасдиқлаши мумкин. Бу Пйтҳон хатоси емас: хато топилмагани ма’лумот борлигини исботламайди.

Уч қадам: 1. Шартни белгиланг: бу ҳисобот учун камида битта ёзув керак. Бўш експорт — алоҳида «ма’лумот йўқ» натижаси, «ҳаммаси текширилди» емас. 2. Тайёр боолеан натижалар рўйхатида елемент борлигини алоҳида текширинг: ок = боол(чеcкс) анд алл(чеcкс) Ҳисоботда текширилган ёзувлар сонини ҳам кўрсатинг. 3. Аи’дан тестларни бажаришни сўранг. Бизнинг локал синовимизда: [] → Фалсе, [Труе, Труе] → Труе, [Труе, Фалсе] → Фалсе.

Тайёр промпт: Експортни текширувчи ушбу Пйтҳон-кодни текшир. Шарт бўйича бўш тўплам муваффақиятли текширув ҳисобланмайди. «Ма’лумот йўқ», «хатолар бор» ва «ҳаммаси ўтди» ҳолатларини ажрат. Бўш тўплам, барча ёзувлар тўғри ва битта хато ёзув учун тестларни бажар. Ҳақиқий натижа ва текширилган ёзувлар сонини кўрсат.

Еҳтиёт бўлинг: юқоридаги мисол генератор учун емас, рўйхат учун: ҳатто бўш генератор’да ҳам боол(...) == Труе. Оқимда ҳақиқатда ўқилган ёзувлар сонини ҳисобланг. Вазифа бўйича бўш тўпламга рухсат бўлса, уни автоматик тақиқламанг.

Манба: ҳттпс://доcс.пйтҳон.орг/3/либрарй/фунcтионс.ҳтмл#алл Верум AI сайти: ҳттпс://верум-аи.уз