Куннинг AI ва GPU янгиликлари

Ембеддинггемма 2: қисқа вектор — кичикроқ модел емас

Ҳужжатлар бўйича қидирув жуда кўп хотира егаллади ва сиз каттароқ GPU излаяпсиз. Аввал модел хотирасини қидирув базаси хотирасидан ажратинг. Google Деепминд 2026-yil 6-oktabrda чиқарган Ембеддинггемма 2’da моделнинг ўзини кичрайтирмасдан, унинг натижаларини ихчамлаштириш мумкин.

Бу ембеддинг-модел: у ма’лумотларни ма’но жиҳатидан таққослаш учун векторларга — сонлар тўпламига айлантиради. Google ҳужжатига кўра, Матрёшка Репресентатион Леарнинг ёрдамида 768 сонли натижани 256 сонгача қисқартириш мумкин. Сонлар формати бир хил бўлса, векторларнинг ўзи уч баравар кам жой олади. Бутун база ҳам шунча кичрайиши кафолатланмайди: индекс ва метама’лумотлар ҳам жой егаллайди.

Синов индекси учун сентенcе-трансформерс’да модел.енcоде чақирувига трунcате_дим=256 ва нормализе_ембеддингс=Труе параметрларини беринг. Иккинчиси қисқартирилган векторларни қайта нормаллаштиради. Сўровлар ва ҳужжатлар учун бир хил ўлчамдан фойдаланинг. Кейин ўз саволларингиз билан 768 ва 256 ўлчамда керакли ҳужжатлар дастлабки натижаларга қанчалик тушишини солиштиринг.

Айнан модел вазнлари учун VRAM йетишмаса, чиқиш векторини қисқартириш бу муаммони ҳал қилмайди. Қисқа вектор натижалар учун жой тежайди, модел вазнларини кичрайтирмайди. Қидирув сифати пасайиши мумкин: тежамкорликни фақат файл ҳажми билан емас, натижалар билан ҳам текширинг.

AI папкани нусхалади — кириш ҳуқуқлари-чи?

Сиз Аи’дан иш папкасининг захира нусхасини яратадиган скрипт ёзишни сўрадингиз. Файллар янги дискда пайдо бўлди ва очиляпти. Аммо бундай нусхага ишонишдан олдин фақат мазмунини емас, енди уни ким ўқий олишини ҳам текширинг.

Пйтҳон ҳужжатида огоҳлантириш бор: ҳатто shutil.copy2() ҳам барча метама’лумотларни — файл мазмунидан ташқари ма’лумотларни — кўчирмайди. Хусусан, Wиндоwс’да файл егаси ва ACL, я’ни кириш қоидалари рўйхатлари нусхаланмайди. Демак, скриптда шу функсия борлиги аввалги кириш чекловлари сақланганини билдирмайди.

Ёрдамчига аниқ вазифа беринг: Wиндоwс учун нусхалаш скриптини текшир. Мазмун, файл егаси ва ACL сақланиши керак. Танланган усул нималарни кўчирмаслигини ҳужжат асосида тушунтир. Иш ма’лумотларисиз алоҳида папкада синов таклиф қил: олдинги ва кейинги файл егаси ҳамда Аcл’ни солиштир. Ҳозирча ҳеч нарсани ишга туширма ва ўзгартирма. Кейин текшириш усулини администратор билан келишиб, синов файлларида нусхалашни текширинг.

Шунда фақат файллар пайдо бўлганини емас, «захира нусха» деган ва’дани текширасиз. Бу синов талабларнинг фақат бир қисмини текширади: бутун иш тизими носозликдан кейин тикланишини исботламайди. Аи’га нимани нусхалаш ва қайси кириш ҳуқуқларини сақлаш кераклигини алоҳида айтинг.

ECC ёқилди — GPU янги режимда ишлаяптими?

Созлашдан кейин GPU серверни қабул қиляпсиз. ECC — хотира хатоларини назорат қилиш — ёнида Енаблед ёзувини кўриб, ишни бошламоқчисиз. Аввал бу ёзув қайси майдонга тегишли еканини текширинг: Cуррент ёки Пендинг.

NVIDIA ҳужжатида Cуррент ҳозир ишлаётган ECC режимини, Пендинг еса кейинги қайта юклашдан сўнг ишлайдиган режимни билдиради. Бу созламани ўзгартириш учун ребоот керак. Демак, Пендинг: Енаблед ECC ҳозирнинг ўзида ёқилганини тасдиқламайди.

Қабул қилишдан олдин фақат ма’лумот ўқийдиган буйруқни бажаринг: нвидиа-сми --қуерй-гпу=наме,еcc.моде.cуррент,еcc.моде.пендинг --формат=cсв. Cуррент: Дисаблед ва Пендинг: Енаблед чиқса, техник хизмат вақтини келишинг ва қайта юклашдан сўнг яна текширинг. Бу натижани ўқиш мисоли, бизнинг серверимиздаги ўлчов емас. Иккала натижани қабул қилиш далолатномаси билан сақланг.

Фақат белги қўйиш учун ишлаётган серверни келишмасдан қайта юкламанг. Н/А бу қурилма ёки муҳитда кўрсаткич қўллаб-қувватланмаслигини билдиради, Дисаблед дегани емас. Бундай ҳолатда айнан шу модел Еcc’ни қўллашини аниқланг. Қабул қилишда фақат режалаштирилган емас, амалдаги ECC режимини текширинг.