Back to Blog

基于RK3576+FPGA+AI具有深度学习功能的PLC设计

#人工智能

引言

随着人工智能(Artificial Intelligence,AI)大

潮流的不断推进,越来越多的领域利用AI来助推产

业升级,提升产品或者项目的效率。在工业控制的

应用中,对自动化的要求也越来越高,不少场景下也

迫切希望AI技术的引入能够带来产品性能的提升。

尤其是在工厂制造流水线,工业机器人等领域,往

往需要借助AI技术来提升图像识别、故障分析的效

率[1~3]。另一方面,工业控制讲究产品的稳定性,以及

产品编程应用的便捷性,如何能同时满足两方面的

应用需求是目前业内都在努力的方向。

目前常见的模式主要有两种:

(1)直接在AI计算机上进行AI算法的开发、AI

运算和工业控制的逻辑编程。

采用该模式主要存在3个问题:

1)整个系统比较庞大,成本比较高。

2)AI计算机毕竟不像嵌入式系统,其系统的

稳定性无法保证,这对工业的可靠性要求来说是致

命的。

3)有一个不能忽视的问题是在计算机上进行

工业控制的编程,有较高的开发门槛,且功能的调

整和变更都很麻烦,无法满足现场应用工程师的

需求。

(2)采用有AI算力的嵌入式系统配合PLC进行

功能开发[4],这种方式能够解决稳定性问题,但是总

体成本比较高,而且两个系统的组合,需要进行数据

通信和指令交互,这当中的开发和适配工作门槛较

高,投入也大。

针对上述问题,本文提出一种新型PLC控制器,

能够支持AI功能的同时,也能降低AI技术应用带来

的技术门槛,又能满足电气工程师擅长的组态编程

开发方式。

1 PLC功能总体架构

本文提出的PLC控制器是AI计算核心和PLC

控制一体化设计方式。其编程使用方式与通用PLC

完全一致,提供组态编程环境,支持IEC 61131-3标

准的5种编程语言,包括ST、LD、IL、FBD和SFC语

言,支持常用的数字量、模拟量输入输出,内置的

Modbus RTU/TCP、CANopen协议也适用于大部分

的工业控制场景下。针对AI功能,该PLC提供了多路

摄像头输入接口,通过功能块的配置,实现AI图像

处理。整体系统功能框图如图1所示。

图1中,AI PLC(即本方案提出的带AI功能的

PLC),与一般PLC不同的是,本方案的PLC能够直

接接入多路摄像头视频信号,根据内置的深度学习

框架对视频信号进行处理。可应用于需要接入工业

摄像头进行产品缺陷检测或者模板匹配定位的智能

设备上,如智能裁床、流水线物品抓取识别等[5~6]。

另外,也可用于工业现场的人员安全检测,如头盔的

佩戴检测、危险区域的视觉围栏识别检测等。

除视频信号接入外,该PLC也支持采用4G或者

5G的方式将检测数据[7]、PLC状态数据上传到工业

云平台,实现远程的监视和管理。

另外,本方案PLC同样支持数字量和模拟量的

输入输出,可外接诸如限位开关、指示灯、中间继电

器、传感器等配件,满足一般控制场景的要求。

外接的触摸屏,可通过Modbus TCP/RTU总线

方式访问PLC内部的数据,进行本地化的人机交互。

PLC组态程序的编写、下载、调试则可通过网口或者

串口与PC相连实现,除了组态程序的通信调试外,当

内置的AI模型无法满足现场应用要求时,也可以通

过PC对其中的AI框架、参数进行调整以适用于不同

的场景。

本方案PLC也同样支持运动控制功能,依托于

CMC芯片强大的性能,可实现4轴3联动的运动控

制,直接控制伺服或者步进驱动器,进行独立多轴

控制,也可以用来控制多种类型的工业机械臂,如

SCARA机械臂、龙门机械臂等。

总体而言,不论是AI性能还是工业应用便携

性、稳定性上都有着广泛的应用场景。下面针对该

PLC的软硬件方案进行详细说明。

2 硬件方案设计

本方案PLC总体采用双核协同的设计方案,AI

部分采用的是瑞芯微电子的RK3588作为核心,而工

业控制部分则以中控微电子的CMC芯片为核心实

现。两者再通过SPI通信实现数据交互和指令协同,

其具体的硬件框架如图2所示。

其中,RK3588是一款8核64位高性能处理器,

有独立的GPU和NPU模块,拥有6TOPS算力,有

很强的影像处理能力,最多可接入超过6路摄像

头信号。同时拥有丰富的通信接口,如PCIe3.0、

SATA3.0、RGMII、USB3.1等高速接口,也有SPI、

I2C、UART等低速通信接口。

RK3588可通过DDR接口外接不同容量的内存

器件。一般8G内存能够应对大多数场景,也可通过

eMMC或者SATA接口外接不同的存储器件,以此形

成一个最小系统。

RK3588的千兆以太网接口,一方面可用于有线

网络传输,另外也可用于工业摄像头的接入。而其丰

富的USB接口和PCIe接口可接入多路视频信号和外

扩4G/5G模块,不同于用普通串口扩展网络模块,采

用PCIe接口直接扩展的4G/5G模块,其无线传输速

率高,能够直接传输视频流信号,保证工业互联网

接入视频的流畅性。本方案采用移远RM500U模块

进行无线数据的传输。

CMC芯片是一款内置了逻辑控制和运动控制内

核的工业控制芯片。该芯片可根据芯片功能配置,设

计成各种不同功能的PLC,通过在组态软件上的设

备导入,快速实现组态编程,CMC芯片面向工业控

制设计,性能稳定。通过与RK3588的协同处理,能

够发挥各自性能上的优势。

RK3588和CMC之间主要进行参数配置数据、

AI模式选择数据和AI计算结果数据的传输,不存

在大数据的通信,所以两者之间通过SPI即可满足要

求,SPI通信采用1MHz波特率。其中CMC芯片作为

主机,RK3588作为从机,其执行的工作内容受控于

CMC的指令。

工业控制常用的点位控制,由CMC芯片引出,

通过继电器、光耦进行隔离设计保证系统内部电源

的稳定。同时,CMC自带丰富的接口资源,其中以太

网口用于组态程序的下载和调试,RS485接口则通

过Modbus RTU协议对外进行通信,实现与HMI或

者其他传感器的通信。

CMC内置的运动控制内核,输出脉冲+方向、

CW/CCW、AB相等信号,可用来控制多轴伺服电

机,实现各种梯形/S型曲线加减速运动。此外支持

的3轴直线插补、2轴圆弧插补,则用于各类机械臂

控制。

3 软件方案设计

本方案PLC的软件方案设计主要包含两个方

面:一个是RK3588上的AI模型导入以及关键参数

的接口定义;另一个是CMC上的组态功能开发。其

中又以两者之间的数据通信最为关键,直接关系到

现场应用开发的便捷度。

CMC上点位控制和对外通信功能使用较为

简便,直接在组态软件中进行调用即可实现,对

于运动控制的功能,本方案的组态软件提供满足

PLCopen标准的功能块,包括单轴和轴组功能均可

便捷实现,本文不再赘述。

RK3588支持多种AI框架,比如TensorFlow、

Caffe、pyTorch等一系列框架。同时在RK3588中,

导入了多种目标检测的深度学习模型,如YOLO、

RetinaNet、Mask R-CNN等,它们各自有不同的训

练参数,并针对这几个模型各自适用的场景进行了

基本参数的匹配,且留出部分接口供CMC主控进行

设置和读取。在目标检测应用中,可以通过不同模型

的调用,挑选出最适合的模型应用到实际环境中,

并通过功能块配置识别间隔时间等参数,达到最佳

效果。

下面重点是对RK3588和CMC的通信进行设

计说明。两者采用SPI进行通信,所有SPI通信均由

CMC主机发起,双方采用一问一答的方式进行。在

组态软件中可对SPI通信的超时进行设置,本方案

提供了4种读写方式,如表1所示。

针对AI的应用,结合设计的SPI通信接口和协

议,本方案封装了多种默认功能块,能够实现常规的

AI使用配置,大大降低了开发的难度。此外,在组态

软件中也支持用户自定义功能块,如果当前默认功

能块无法满足要求,可以通过提供的SPI接口,编写

新功能块,目前已有的部分功能块如表2所示。功能

块效果如图3所示。

辑功能的编写。

当然,本方案仍然保留了RK3588的开发接口。

当需要增加新的AI网络、重新制定训练参数、增加

新的功能时,可以通过USB方式对其内核和应用做

修改。

=================RK3576+FPGA+AI=================

搭载新一代八核 AIOT  RK3576,采用先进工艺制程,内置 ARM Mali G52 MC3 GPU,集成 6 TOPS 算力 NPU,支持主流大模型的私有化部署。具备强大的高清高帧率显示能力,支持外部看门狗,拥有工业级的稳定性,广泛适用于 AI 本地部署应用场景。

八核 64 位 AIOT 处理器 RK3576

新一代八核 64 位高性能 AIOT 处理器 RK3576,采用大小核构架(4×A72 +4×A53),先进工艺制程,主频高达 2.2GHz,为高性能计算和多任务处理提供了强大支持。搭载 Mali - G52 MC3 GPU,145G FLOPS 的 GPU 可以支持有效的异构计算,满足图形密集型应用的需求。

更多的工业新特性

相对上一代芯片,RK3576更新多种工业新特性,包括:实时网络、信号输入、MCU、DSMC、Flexbus、资源隔离。

全面的AI私有化部署

内置强劲 NPU,算力可达 6 TOPS;能够进行更智能的数据处理、语音识别、图像分析,满足大多数终端设备边缘计算 AI 应用需求。支持 Transformer 架构下大规模参数模型,如 Gemma-2B、Qwen1.5-1.8B、Llama2-7B、ChatGLM3-6B 等大模型的私有化部署。

4K@120 fps 高帧率视频解码

支持 8K@30fps / 4K@120fps 解码(H.265 / HEVC、VP9、AVS2、AV1 ) 和 4K@60fps 解码(H.264 / AVC),4K@60fps 编码(H.265 / HEVC、H.264 / AVC)。支持 HDMI2.1(4K@120fps)、DP1.4(4K@120fps0)

丰富的扩展接口

拥有 HDMI2.1、千兆以太网、百兆以太网、USB 3.0、USB2.0 、type-c(OTG / DP1.4)RS232、RS485、CAN、光耦隔离输入、继电器输出等接口,配置工业级全金属外壳,高效散热。

广泛的应用场景

RK3576可广泛适用于:边缘计算、大模型本地化、智慧商显、云终端产品、工控主机、汽车电子等行业领域。