Вычислительные ресурсы ИИ - это больше, чем основной SoC! Четкий взгляд на реальную роль RK1820 в системе RK3588

Почему все больше устройств Edge говорят о NPU и сопроцессорах? RK3588 уже является мощным SoC с производительностью 6 TOPS (INT8), но в сложных сценах, таких как многозадачный вывод, параллелизм моделей и видео-AI аналитика, вычислительный потолок одного чипа все еще существует. RK1820 был создан именно для того, чтобы взять на себя эту часть нагрузки и избавить основной SoC от «вычислительной тревожности». В оборудовании edge-AI хост-процессор больше не сражается в одиночку; когда задачи AI перерастают возможности планирования традиционного CPU/NPU, сопроцессор тихо вступает в игру и берет на себя часть интеллектуальной рабочей нагрузки.

RK1820 - это сопроцессор, созданный специально для AI-вывода и расширения вычислений; он гибко сочетается с хост-SoC, такими как RK3588 и RK3576, и эффективно взаимодействует с ними через интерфейсы PCIe или USB.

В системе RK3588 + RK1820 конвейер AI-задач разбит на четырехуровневую архитектуру:
Приложение → Промежуточное ПО → Выполнение сопроцессора → Управление и представление.
Хост RK3588: обрабатывает планирование задач, предварительную обработку данных и вывод результатов, управляя всем рабочим процессом.
Сопроцессор RK1820: предназначен для высокопроизводительного AI-вывода, соединен с хостом через PCIe, образуя модель сотрудничества «легкое управление + интенсивные вычисления».

Уровень приложения - это место, где начинается каждая AI-задача; он преобразует требования пользователя — анализ изображений, обнаружение объектов, ответы на вопросы LLM на границе и т. д. — в системные исполняемые команды задач и передает их на уровень промежуточного ПО через стандартизированные API. Этот уровень полностью обрабатывается хостом RK3588, который управляет взаимодействием с пользователем, бизнес-логикой и периферийными данными.

Получение задач: получает команды пользователя через камеры, сенсорные панели, Ethernet, UART и т. д.

• Интеллектуальная безопасность: обнаружение людей в видеокадрах
• Промышленный контроль: выявление дефектов поверхности изделий
• Edge LLM: преобразование голосового ввода в текст и формирование задачи вопросов и ответов

Стандартизация команд: преобразует неструктурированный ввод в структурированные параметры задач

• Задача обработки изображений: разрешение ввода, версия модели, требования к выводу
• Задача LLM: входные токены, версия модели, максимальная длина вывода

Уровень промежуточного ПО — это центр сотрудничества: он оценивает каждую задачу, распределяет ресурсы, выполняет предварительную обработку данных и управляет трафиком шины. Он решает, выполняется ли задача на хосте или переносится на сопроцессор.
Только RK3588; RK1820 не принимает участия в конфигурации PCIe или управлении прерываниями — он просто выполняет задачи вывода, отправленные хостом.

Классификация и планирование задач

• Локальная обработка: задачи с низкими вычислениями или критичные к задержкам (масштабирование изображений, облегченный AI-вывод) обрабатываются CPU/NPU/RGA RK3588.
• Перенос на RK1820: задачи с высокими вычислениями (многоклассовое обнаружение YOLOv8, вывод LLM, семантическая сегментация) отправляются на RK1820. После того, как RK1820 берет на себя управление, CPU/NPU хоста освобождается для другой работы.

Предварительная обработка данных

• Обработка изображений: обрезка, шумоподавление, нормализация, переупорядочение каналов.
• Текст: токенизация, заполнение, кодирование.

Управление связью по шине

• Устанавливает связь через PCIe или USB3.
• Передача данных использует DMA, без вмешательства CPU.
• Выдает команды управления выводом: запуск NPU, установка точности, выдача прерывания завершения.

Этот уровень является ядром вывода, управляемым исключительно сопроцессором RK1820, предназначенным для высокопроизводительного AI-вывода.
RK1820 активен; RK3588 не вмешивается в вывод, он только ждет результатов. Тайм-аут или исключения обрабатываются RK3588 через команды сброса PCIe.

Получение и подготовка задач

Получает данные, веса модели и команды, отправленные RK3588; записывает их в локальную высокоскоростную DRAM, загружает модель и настраивает NPU.

Вычисления вывода NPU

• Обнаружение объектов (YOLOv8n): conv → BN → активация → pool → постобработка NMS.
• Вывод LLM (Qwen2.5 3B): предварительное заполнение входных токенов → поколение токен за токеном.
• Оптимизация вывода: слияние операторов, сжатие весов.

Возврат результатов

• Возвращает координаты ограничивающей рамки, идентификаторы классов и оценки достоверности для обнаружения.
• Возвращает массив токенов для LLM.

Этот уровень является конечной точкой каждой AI-задачи: он преобразует необработанные результаты вывода от RK1820 в визуальный или готовый к работе вывод и замыкает цикл.
RK3588 активен; RK1820 предоставляет только необработанные данные вывода.

Постобработка результатов

• Сопоставление координат с исходным размером изображения.
• Декодирование токенов в естественный язык.
• Подсчет дефектов при промышленном контроле.

Управление системой и вывод обратной связи

• Интеллектуальная безопасность: отображение видео с наложениями обнаружения, срабатывание сигнализации.
• Промышленный контроль: командная строка для отклонения дефектных изделий.
• Edge LLM: отображение текста + голосовое объявление.

Ценность синергии: не просто быстрее, а умнее

Проще говоря: RK3588 управляет процессом и держит все под контролем, в то время как RK1820 обеспечивает необработанные вычислительные всплески; вместе они делают устройства edge-AI «умнее, быстрее и без проблем».
Следите за нами, чтобы получать больше новостей о RK1820 и обновлениях SDK, новые учебные пособия и готовые к запуску демонстрации.