【技术成熟】AI视觉在开放式复杂场景下的多维应用

公司专注于AI视觉产品的研发，已入驻国家级人工智能产业基地“中国声谷”。基于AI视觉的前景建模、目标检测、目标跟踪、目标分类识别、语义分割、骨架检测、基于图片的对比、动作识别等技术，成功研发了多项复杂场景下的应用产品，包括人员作业与现场智能监管、设备与仪表运行监测、操作流程及生产过程管控、设备与产品缺陷检测等应用场景。目前公司已积累多项人脸检测、着装识别、行为识别、设备识别、环境及其他识别等领域的算法，并且依旧在不断拓展其算法库。截至19年，公司已成功与多家变电站，检修公司，供电局，工地等企业成功合作项目落地。其核心科研人员，校企合作经验丰富，产业化能力卓越，擅长成果转化落地。目前企业正在寻求更多的横向合作。

信息技术

产业化

技术详情

一、公司背景

2015年

1.为国网南瑞继远开发AI视觉成果转化落地产品应用；

2.电力作业可视化智能行为管控系统上线、设备运行状态智能检测系统上线；

2016年

1.输电线路综合智能隐患识别监管系统交付使用；

2.变电站辅控系统交付使用；

2017年

为继远电网提供“行为管控系统V1.0”被中国机电工程学会鉴定为国际领先水平；

2018年

1.为继远电网参加武汉电科院绝缘子缺陷竞赛获得第二名；

2.为继远电网导地线缺陷检测北京比赛第一名；

3.“安全行为管控系统”获得珠海供电局一等奖；

2019年

1.被认定为国家高新技术企业、合肥市大数据企业、合肥市高新区雏鹰企业；

2.荣获安徽省“创响中国” 创新创业大赛二等奖；

3.“两票作业行为安全智能管控系统解决方案”在中国电机电力行业人工智能技术创新应用大赛中获得三等奖；

4.“绿动未来”国家电投大数据及智能应用创新大赛中荣获“智能成果产品类优秀奖”；

2020年

“大场景作业面安全生产行为管控系统”被天津市科技局鉴定为国内领先、国际先进水平；

二、技术介绍

前背景建模

通过帧与帧之间像素点颜色信息变化情况，分析其属于背景点还是前景点，用于找出在场景中运动的目标区域，可辅助后续处理，也可用于物品遗留/移除判别。常用方法是混合高斯背景建模。

目标检测

找出画面中所关注目标所在的位置（边界框），适合于外观特征比较明确的目标，如人、车、人脸、安全帽、仪表、绝缘子等等。常用方法是一些深度模型如SSD、YOLO、Faster R-CNN。

目标跟踪

对视频中的目标进行前后帧的匹配、保持，是算法实际使用过程中的重要手段，也可用于轨迹跟踪。受实时性、多目标、遮挡、漏检等各种影响，难度较大。可用方法有常规方法KCF、深度网络RT-MDNet等。

目标分类识别

对检测到的目标进行辨识，确定其类别。外形特征明显、区分度大的目标，往往在检测网络中同时进行分类，如是否佩戴安全帽的检测分类。外形特征不能较好定位的目标，可采用检测+分类两阶段处理，如工作服。常用网络有Resnet、DenseNet、MobileNet等。

语义分割

对画面中的像素按照所属目标类别进行划分，常用于外形不固定，不适合于边界框检测处理的目标，如输电线检测、街景识别等。常用网络有Mask R-CNN、Deeplab等。

骨架检测

对目标骨架进行估计，用于部件识别、姿态识别、动作识别等。常用网络有OpenPose等。

基于图片的对比

对相同场景、不同时刻点采集的图片进行对比分析，用于工器具遗留检测、违规倾倒建筑垃圾等。由于光线变化、场景不固定，难度较大。常用网络有FCSMN等。

动作识别

对视频连续帧中的目标动作进行分类识别，如攀爬、跌倒、打架等。常用网络有LSTM、3D卷积神经网络等。

三、产品介绍

主要应用场景

现有AI视觉算法

拟研发算法

现有产品

四、各场景下的解决方案

1. 可视化智能行为管控系统解决方案

系统总体采用边缘计算+云端管理的架构。现场边缘计算装置进行实时智能分析处理，通过信息内网或者运营商4G APN专网与平台通讯，将终端采集的音视频、GPS等信息及分析结果传回监控中心，管理人员通过平台对前端作业现场终端进行集中管理，系统支持多级平台级联，用户可通过WEB客户端、APP等多种方式与平台互联。

此方案应用场景

2. 设备运行状态智能识别系统解决方案

以实现保护压板运行状态自动化监控为目标，利用智能图像建模及分析识别技术，对电站巡检时采集的现场屏柜图片中的各保护压板进行检测定位及状态自动识别，利用信息化管理技术实现压板巡检结果的数字化管理及异常状况的自动预警。

系统部署实施后，将代替人工观察、手工记录的方式实现保护压板的智能巡检处理，由此大幅提高现场识别的工作效率，降低操作人员的劳动强度，提高变电运维巡检工作的智能化和网络化，达到减员增效的目的。

此方案应用场景

3. 设备缺陷智能识别系统解决方案

通过变电站设备数据采集，一方面各类监测系统可以实现监测设备状态的告警，另一方面可通过采样值、图像识别、温度曲线等多元数据分析智能预警，实现部分缺陷的主动发现；

缺陷处理流程管理，通过缺陷的“主动预警+人工填报”的方式，形成管控系统设备缺陷库，将缺陷分级分类，生成缺陷时效信息和统计分析报表，并将缺陷的处理、验收纳入系统线上流程，形成闭环管理，减轻运维人员缺陷管理工作负荷。

此方案应用场景

4. 产品尺寸缺陷智能识别系统解决方案

5. 环境隐患智能识别系统解决方案

传统高压输电线路的防护主要依赖于人工巡检，存在着人员短缺与输电线路增长较快的矛盾，以及部分特殊地段巡视困难等问题。输电线路综合智能隐患识别分析系统主要为了实现电网事故发生前的及时准确预知，将线路事故隐患消除于萌芽状态，系统采用图像智能建模分析技术，对高压输电线路杆塔上定期采集的沿线图片进行检测分析，识别其中有可能导致输电线路被破坏的异常情况，将预警信息推送给管理人员，实现输电线路的智能防外破监控。

6. 设备操作远程智能确认系统解决方案

将先进的自动控制技术、传感和物联网技术、状态自动识别和智能判断技术应用于传统的变电倒闸操作，将传统人工填写操作票为主的繁琐、重复、易误操作的倒闸操作模式转变为操作项目软件预制、操作内容模块式搭建、设备状态自动判别、防误联锁智能校核、操作任务一键启动、操作过程自动顺序执行的一键顺控模式，大幅减少无效劳动，大幅降低误操作风险，大幅提升效率和效益。

7. AR精细化作业流程指引/管控解决方案

通过佩戴AR眼镜，实时采集现场视频，本地和云端协同分析识别场景及设备布局，再与平台交互，获取该场景设备详细信息，叠加显示在现场视频上。操作内容和步骤也以引导的方式叠加显示在视频上，并识别操作流程的正确性。进一步的还可以结合语音识别技术，实现更强的交互性，在实际操作之前先进行模拟操作，确保操作的正确性。

五、实践案例