MG冰球突破官网

       MG冰球突破官网微 RK1820/RK1828 AI 协处置器 RKNN3 SDK V1.0.0 正式版颁布， 美满适配 RK3588/RK3576+RK1820/RK1828 硬件组合，为端侧 AI 模型部署提供全栈式软件支持，在机能、模型适配、职能、精度上全方位升级，兼具高机能、高适配、高能耗迸着势。

       本次 SDK 覆盖 PC 端开发套件、板端运行 API、模型转换部署示例，支持 Android/Linux 系统，PCIe/USB 高速接话柄现低延长数据交互；主题职能优化亮点凸起：

1. 推理效能升级：支持数据传输与推理并行，优化主题算子，多核多模型同时推理适配高并发；

2. 大模型适配更强：支持 mRoPE、Function Call，兼容主流大模型个性；

3. 开发部署更便捷：支持连板精度分析，提供 Python API 轻量化工具包，协处置器可自界说模型后处置，rkllm3 server 新增 embedding 模型支持。

       本次 SDK 正式版的主题突破之一，就是LLM Decode 机能整体提升超过 15%，针对 0.5B-8B 分歧参数量级 LLM 模型实现深度适配优化，RK1820/RK1828 凭据算力个性做差距化适配，可满足分歧端侧场景的 LLM 推理需要。

       测试数据显示，RK182X 在轻量型 LLM 模型上的机能阐发尤为亮眼，3B 量级模型实现了 Decode TPS 破百的关键突破，Qwen2.5-3B 模型 Decode TPS 达 102.01，为端侧实时大模型交互提供了高效支持；极致轻量的 Qwen2.5-0.5B 模型同样阐发杰出，TTFT 仅 21.89ms、TPOT 4.63ms、Decode TPS 215.86；中大型 LLM 模型方面，Qwen3-8B 在 RK1828 上实现不变推理，Decode TPS 达 61.11，可充分满足端侧中大型 LLM 的部署需要。

*分歧参数量 LLM 模型在 RK182X 上的主题肠能数据如下：

       在一样尺度测试环境下，RK182X 对多款主流 VLM 及全模态模型实现深度推理优化，RK1820/RK1828 凭据算力个性实现差距化适配，分歧视觉分辨率下均维持不变的视觉推理耗时，且 LLM 解码端机能高效，其中美满支持 Qwen3-VL 系列模型，Qwen3-VL-4B 的 LLM Decode TPS 靠近 90TPS，RK1828 更实现中大型 VLM 模型全协处置器端推理，多模态交互机能阐发优异。

*分歧 VLM 模型在 RK182X 上的主题肠能数据如下：

       RK1828 美满适配 Qwen2.5-Omni-3B 全模态模型，实现音视觉 + 说话全链路高效推理，解码 TPS 达 102.63 成功破百；全协处置器端独立实现推理，392*392 视觉分辨率下推理耗时不变，音频推理仅 98.91ms，多模态处置效能优异。

CNN 模型机能：单核算力扎实，多核多 batch 吞吐能力大幅跃升

       RK182X 针对经典分类、检测类 CNN 模型实现单核及多 batch 多核推理深杜着化，依附多核多模型同时推理的个性充分开释算力，DINOv3 的 ViT 机能阐发尤为凸起；在维持单核算力不变的基础上，多batch 多核模式下帧率实现数倍提升，高吞吐个性可高效适配智能监控、工业检测等高并发推算机视觉利用场景，机能与能耗比兼具。

* 分歧 CNN 模型在RK182X 上的主题肠能数据如下： 

       RKNN3 SDK V1.0.0 针对分歧类型模型选取差距化量化战术，其中 LLM/VLM 模型选取 W4A16 G32 量化战术，CNN 模型选取 W8A8 量化战术。在大幅提升推理机能的同时，量化后模型精杜纂原始 float32 版本根基吃旖，部门模型精度实现反超，有效节造精度损失，真正做到机能升级、成效不减。

       RKNN3 SDK V1.0.0 紧扣 AIoT2.0感知 - 决策 - 执行的主题架构，实现超 30 款主流 AI 模型全维度适配，深度联动高低游主题合作同伴，买通硬件算力、软件栈与算法模型的生态壁垒，模型支持齐全、适配成效好，充分开释 RK182X 协处置器的算力价值。

       在感知层：多模态数据采集能力拉满，头部同伴模型深度适配。打造端侧多模态智能数据入口，视觉端全面适配 Mobilenet、YOLO 系列等经典 CNN 视觉模型及深度估计模型；音频端深度联动科大讯飞、思必驰、大象声科等感知层头部同伴，实现 ASR、TTS 等主题语音模型适配，多模态感知能力高效落地。

       在决策层：全规格模型生态关环，头部厂商主题模型逐一适配。适配 Qwen3-VL、GLM Edge 等主流开源大模型，全兼容 0.5B-8B全规格 LLM 模型，同时深度适配千问 Qwen2.5-Omni-3B、智谱 MiniCPM、阶跃星辰 Step-GUI-Edge 等头部厂商主题模型，全模态智能决策能力端侧高效运行。

       在执行层：软硬协同赋能场景落地，适配全链路模型能力转化。依附 RK3588/RK3576+RK182X 软硬件组合，支持协处置器自界说模型后处置，可矫捷适配各类模型决策了局执行逻辑；兼容 Android/Linux 系统，让全品类 AI 能力无缝落地到智能硬件、工业检测等多元场景，实现从算法到利用的齐全转化。

       此表，SDK 全面兼容 Hugging Face、ModelScope、GitHub 等开源平台，用户可直接从Github获取预先转好的 RKNN 模型：

• Model Zoo地址：https://github.com/airockchip/rknn3-model-zoo；

• 工具提取地址：https://github.com/airockchip/rknn3-toolkit；

 

       RK1820/RK1828 RKNN3 SDK V1.0.0 正式版的颁布，是MG冰球突破官网微在端侧 AI 协处置器领域的沉要突破，从机能跃升、模型扩大到精杜着化，每一项更新均紧扣开发者现实部署需要，让 RK182X 的高算力、高能耗迸着势充分开释。将来，MG冰球突破官网微将持续迭代优化 RKNN3 SDK，不休扩大模型支持领域、提升算力阐发，打造更高效的端侧 AI 开发工具链，助力更多 AI 创新利用在端侧落地。

       MG冰球突破官网微市场部邮箱：rkmarketing@rock-chips.com，迎接各来自五湖四海的AI 同伴对接互换，携手索求端侧 AI 多场景落地新可能。