4路HDMI视频输入，天嵌基于3588核心板+RK628D CSI输入方案
本方案基于TQ3588核心板（搭载瑞芯微 RK3588 旗舰 SoC）外挂四颗瑞芯微 RK628D 视频转换芯片，构建一套四路独立HDMI视频输入的嵌入式捕获与处理平台。
四路HDMI信号各自最高支持4K@30fps，经RK628D转换为 MIPI CSI-2后，由RK3588内部的VICAP子系统并行接收，实现「无独立采集卡」「低延迟」「高画质」的多路4K视频接入，并可同步利用RK3588的NPU（6 TOPS）、多核编解码引擎进行AI推理、拼接、编码与多屏输出。
应用场景
| 场景 | 价值点 |
| 多路视频会议 / 远程协作 | 四路 4K 多人画面同屏采集，AI 取景 / 发言人跟踪，编码后低延迟上云 |
| 医疗影像 / 内窥镜 / 手术示教 | 多路 4K 医疗信号高保真采集，NPU 辅助病灶识别 |
| 安防 / 全景拼接 | 多路相机/画面输入并拼接成超宽画幅，NPU 做实时目标检测 |
| 工业视觉 / AOI 检测 | 多工位 4K 图像并行采集，NPU 完成缺陷检测与分类 |
| 直播导播 / 切换台 | 四路 HDMI 切换、画中画、多画面合成后编码推流 |
| KVM 矩阵 / 多 PC 监控 | 多主机画面集中采集、记录与回放 |
| 数字孪生 / 指挥调度 | 多源 4K 信号汇聚到单一算力节点做融合分析与大屏呈现 |
核心优势
| 优势 | 说明 | |
| 1 | 四路 HDMI 4K@30 并行输入 | 四通道独立 HDMI，单路最高 3840×2160@30fps，总吞吐能力满足多路超高清采集 |
| 2 | MIPI CSI 直连 SoC | RK628D 输出 MIPI CSI-2 直入 RK3588 VICAP，省去 USB/PCIe 采集卡，布线短、延迟低、BOM 低 |
| 3 | 免主机端采集卡 | 无需 USB3.0 / PCIe 采集卡，系统体积小、可靠性高、功耗与成本可控 |
| 4 | 片上 AI 与编解码 | 捕获数据直接进 RK3588 的 NPU/VPU 流水线，支持边采集、边推理、边编码、边推流 |
| 5 | 低延迟体验 | 端到端「HDMI → CSI → 显示/编码」链路优化，适合对时延敏感的实时场景 |
| 6 | 高集成度 | 单 SoC + 四颗转换芯片即可完成四路 4K 输入与智能处理，整机结构紧凑 |
| 7 | 生态成熟 | RK3588/RK628D 配套 Linux、Android BSP 与 RKMEDIA/MPP/V4L2 驱动完善，开发周期短 |
| 8 | 显示接口完善 | 支持MIPI、HDMI、DP、EDP接口，支持四路视频输出 |
系统硬件架构
信号链路拓扑
┌─────────────────────────────┐
HDMI-IN 1 ───▶ [ RK628D #1 ] ──MIPI CSI-2──┐ │ RK3588 SoC │
HDMI-IN 2 ───▶ [ RK628D #2 ] ──MIPI CSI-2──┼─四路并行──▶│ VICAP 接收子系统 │
HDMI-IN 3 ───▶ [ RK628D #3 ] ──MIPI CSI-2──┤ │ ├─▶ NPU (6TOPS) AI 推理 │
HDMI-IN 4 ───▶ [ RK628D #4 ] ──MIPI CSI-2──┘ │ ├─▶ VPU H.265/H.264 编解码 │
│ ├─▶ 多屏拼接 / 多路输出 │
│ └─▶ 网络 RTSP/RTMP 推流 │
└─────────────────────────────┘
关键芯片角色
1.RK3588（主控 SoC）
8nm 工艺，8 核 CPU（4×A76 + 4×A55），Mali-G610 MP4 GPU；
内置 6 TOPS NPU，支持 INT8/INT16/FP16；
多路 MIPI CSI-2 输入接口（VICAP），支持多通道并发接收；
8K 级硬解码 / 8K 级硬编码能力，支持 H.265/H.264/AV1 等；
支持多屏异显 / 同显输出（HDMI、DP、eDP、MIPI DSI、LVDS）。
2.RK628D（HDMI→MIPI 转换芯片，×4）
HDMI 1.4 输入，最高支持 4K@30fps；
输出 MIPI CSI-2（可配置 DSI），直连 RK3588；
内置缩放（Scaling）/格式转换/隔行转逐行（De-interlace）等图像处理能力；
支持热插拔检测（HPD）与 EDID 协商，自适应输入分辨率。
3.数据通路说明
每路 HDMI 输入 → RK628D 完成「接收 → 格式转换 → 缩放」→ 以 MIPI CSI-2 串行差分信号送入 RK3588 → 进入 DDR → 由 VPU 编码、NPU 推理或显示控制器输出。四路通道时序独立、互不阻塞，可同时以 4K@30 状态稳定工作。
软件支持
1.操作系统与驱动
提供完善的 Linux BSP，RK628D 驱动已并入主线 Rockchip SDK；
四路 CSI 通道在设备树（DTS）中以独立节点配置，即插即用。
支持buildroot debian ubuntu
2.多媒体框架
RKMEDIA / Rockit：多路 pipeline 并行，支持「采集 → 编码 → 推流」一站式配置；
MPP（Media Process Platform）：硬件编解码加速，多路 4K 编码性能充裕；
V4L2：标准 Linux 视频接口，便于对接自有应用与第三方框架。
3.AI 推理
RKNN-Toolkit2 模型转换工具链
NPU 可直接对采集到的视频帧做人脸识别、目标检测、缺陷检测、行为分析等。
4.推流与网络
支持 RTSP / RTMP / SRT / WebRTC 推流，多路同时上云；
可选本地 HLS/DASH 切片与 HTTP-TS 分发。
效果展示
1.四路1080P60输入
命令如下：
效果图
2.四路4KP30输入
命令如下：
效果图
3.四路通路异显输出
使用四路1080P60输入
命令如下：
将四路输入映射到不同屏幕上
vi /etc/profile.d/weston.sh
注释掉 export WESTON_DRM_MIRROR=1
效果图：
HDMI通路，示例屏幕分辨率：3840x2160
EDP通路，示例屏幕分辨率：1920x1080
