Что такое NPU, и почему он есть в каждом новом процессоре?
NPU прошли путь от нишевой функции до стандартного пункта в спецификациях каждого нового процессора за короткий срок — вот что они реально делают.
Для чего конкретно построен NPU
NPU (Neural Processing Unit, нейронный процессор) — специализированный компонент чипа, построенный специально для выполнения инференса нейронных сетей — шага «использования уже обученной модели ИИ для получения результата» — гораздо более энергоэффективно, чем CPU или даже GPU, выполняющие ту же задачу.
Почему бы просто не использовать CPU или GPU для этого?
- CPU универсальны и гибки, но относительно энергонеэффективны для конкретной, повторяющейся математики (умножение матриц в масштабе), на которую сильно полагается инференс нейронных сетей.
- GPU гораздо лучше подходят для такого рода параллельной математики и используются для обучения моделей ИИ и тяжёлых нагрузок инференса, но они потребляют значительно больше энергии, чем специализированный NPU, для меньших, повседневных задач инференса.
- NPU обменивают общую гибкость на эффективность именно в этой одной задаче — выполнении инференса на уже обученных моделях — вот почему они могут делать это, используя долю той энергии, которая понадобилась бы GPU для той же конкретной задачи.
Где NPU реально используются сегодня
- Функции ИИ на уровне ОС — некоторые функции реального времени, такие как размытие фона/шумоподавление в видеозвонках, живые субтитры, и определённые функции обработки изображений всё чаще работают на NPU, а не на CPU/GPU, специально для экономии заряда батареи на ноутбуках.
- Творческое и продуктивное ПО — некоторые инструменты редактирования фото/видео используют ускорение NPU для функций с помощью ИИ (удаление объектов, апскейлинг), когда доступно.
- ИИ-ассистенты на устройстве — запуск меньших языковых или визуальных моделей локально, а не отправка данных в облачный сервис, частично для конфиденциальности и частично для отзывчивости.
Почему эффективность, а не чистая скорость, — реальное преимущество
NPU обычно не о том, чтобы делать что-то, чего GPU не мог бы уже сделать — это о том, чтобы делать это, используя драматически меньше энергии, что важнее всего для времени работы от батареи на ноутбуках и для включения функций ИИ «всегда включено», которые быстро разрядили бы батарею, если бы работали на GPU вместо этого.
Простое сравнение
| CPU | GPU | NPU | |
|---|---|---|---|
| Гибкость | Наивысшая | Высокая | Узкая (специфичная для инференса) |
| Эффективность для инференса ИИ | Низкая | Умеренная | Высокая |
| Типичное использование здесь | Общая логика | Обучение, тяжёлый инференс, графика | Повседневные задачи инференса «всегда включено» |
Практический вывод
NPU — не то, что вам нужно активно использовать или настраивать — это фоновый компонент, которым конкретный софт всё чаще пользуется автоматически при наличии. Его отсутствие не критично для большинства текущих случаев использования, но его наличие становится стандартным, низкозатратным включением в новые процессоры по мере того, как всё больше повседневного софта добавляет функции с ускорением NPU.
Частые вопросы
NPU — это то же самое, что и GPU?
Нет — GPU — это универсальный параллельный процессор, изначально построенный для графики, способный разумно хорошо выполнять нагрузки ИИ. NPU специально построен именно для более узкой категории — инференса нейронных сетей, обменивая общую гибкость на гораздо лучшую эффективность в этой конкретной задаче.
Действительно ли мне нужен NPU прямо сейчас?
Это зависит от того, есть ли в используемом вами софте функции с ускорением NPU (некоторые функции ИИ на уровне ОС, некоторые творческие и продуктивные приложения) — если пока нет, NPU в вашем текущем процессоре в основном простаивает, что распространено, и не причина избегать процессора, который случайно его включает.
Заменяет ли NPU необходимость в дискретном GPU?
Нет — они служат разным целям. NPU эффективно обрабатывает конкретные задачи инференса ИИ; GPU по-прежнему то, что вам нужно для игр, рендеринга видео и других общих параллельных вычислительных нагрузок.