Куннинг AI ва GPU янгиликлари

Аи’дан аввал иқтибос, кейин хулоса сўранг

Сиз узун ҳисобот юкладингиз ва равон ёзилган қисқа мазмун олдингиз. Аммо лойиҳа кечиккани ҳақидаги хулоса қайердан чиқди? Иш тартибини ўзгартириб кўринг: аввал Аи’дан керакли парчаларни кўрсатишни, кейин уларнинг мазмунини тушунтиришни сўранг.

Антҳропиc’нинг узун ҳужжатлар билан ишлаш қўлланмасида шу усул тавсия етилади: Cлауде’дан аввал саволга тегишли қисмларни иқтибос қилиб келтиришни сўраш. Ишлаб чиқувчи изоҳига кўра, бу бутун ҳужжатга емас, керакли мазмунга диққатни жамлашга ёрдам беради.

Масалан, муддат нега сурилганини билмоқчисиз. Ҳисобот билан бирга шуни юборинг: Лойиҳа муддати нега сурилган? Аввал илова қилинган ҳисоботдан қисқа, айнан кўчирилган иқтибосларни бўлим номи билан келтир. Кейин хулоса бер ва уни қайси иқтибос тасдиқлашини кўрсат. Сабаб айтилмаган бўлса, «ҳужжатда кўрсатилмаган» деб ёз. Тахмин қўшма.

Жавобдан сўнг кўрсатилган бўлимни очиб, ёнидаги гапларни ҳам ўқинг. Иқтибоснинг ўзи тўғри хулосани кафолатламайди: муҳим шарт ундан ташқарида қолган бўлиши мумкин. Шунчаки жавоб емас, ҳужжат парчасидан хулосага қандай келинганини сўранг.

Кўпроқ wоркерс — ҳар доим ҳам кўпроқ турли ма’лумот емас

GPU ма’лумот кутмасин деб, юклаш жараёнларини кўпайтирдингиз. Аммо тезликни ўлчашдан олдин ҳар бир жараён бир хил ма’лумотни қайта ўқимаётганини текширинг. Оқимли датасет’да параллел юклаш учун ишни аниқ тақсимлаш керак.

Пйторч’да ҳар бир wоркер’да Итерабледатасет’нинг — мисолларни кетма-кет берадиган тўпламнинг — алоҳида нусхаси бор. Ҳужжатдаги мисолда оқим бўлинмаса, икки wоркер бир хил елементларни такроран қайтаради. гет_wоркер_инфо() берган ма’лумот ёрдамида ҳар бир жараёнга алоҳида қисм ажратиш мумкин.

Аввал Ид’лари такрорланмайдиган қисқа, чекли оқимни олинг. Уни нум_wоркерс=0 билан, кейин нум_wоркерс=2 билан тўлиқ ўқинг. Фақат батчес сонини емас, Ид’ларни солиштиринг. Такрорлар бўлса, оқимни __итер__() ичида ёки wоркер_инит_фн орқали бўлинг. Бу сизнинг юклагичингиз учун тавсия етилган текширув, биз ўтказган тест ҳисоботи емас.

Тузатишдан сўнг текширувни такрорланг, кейин ўқитиш тезлигини ўлчанг. Маслаҳат Итерабледатасет учун: уни индекс орқали ишлайдиган оддий датасет’га автоматик қўлламанг. Аввал wоркерс ма’лумотни такрорламай, ўзаро бўлишаётганига ишонч ҳосил қилинг.