Главные новости ИИ и GPU за день

GPU 0 — это номер в списке, а не имя устройства

Вы перезагрузили сервер и снова проверяете «GPU 0». Но тот ли это ускоритель, за которым вы наблюдали вчера? Для истории сбоев лучше сохранять UUID — постоянный идентификатор GPU.

NVIDIA предупреждает: порядок устройств между перезагрузками не гарантирован. Поэтому для стабильного выбора в nvidia-smi рекомендуются UUID или PCI bus ID. Номер в списке — не надёжная замена имени.

Выполните nvidia-smi --query-gpu=index,name,uuid --format=csv. Сохраните результат вместе с именем сервера в журнале обслуживания. После перезагрузки сравните UUID, а не только index; для запроса к нужному GPU передайте его UUID параметру -i в nvidia-smi.

Так проще не смешать наблюдения о разных ускорителях. UUID не совпадает с физической наклейкой на плате: для выезда к стойке отдельно фиксируйте соответствие устройства его месту в сервере.

Привязывайте историю GPU к UUID, а не к порядковому номеру.

Gemma 4 31B: дайте модели рассмотреть детали

Вы показываете модели фотографию склада, а она пропускает мелкие предметы. Прежде чем менять модель, проверьте, с какой детализацией она получает изображение. Для Gemma 4 31B это настраивается отдельно.

Gemma 4 от Google DeepMind поддерживает переменный бюджет visual tokens — элементов представления картинки. В документации указаны 70, 140, 280, 560 и 1120. Больший бюджет позволяет сохранить больше деталей при подготовке изображения, но увеличивает объём обработки. Это не лимит длины ответа.

Попробуйте небольшой сравнительный тест: возьмите десять своих снимков и вручную отметьте нужные предметы. В Transformers pipeline из примера Google для начала задайте vqa_pipe.image_processor.max_soft_tokens = 280, затем повторите с 560. Не меняйте модель, вопрос и настройки генерации. Сравните пропуски, время ответа и пиковую VRAM — видеопамять GPU.

Выберите меньший бюджет, при котором результат вас устраивает, и уже на нём оценивайте сервер. Больше visual tokens не гарантирует правильного распознавания.

До замены модели сравните детализацию входа на одних и тех же снимках.