当前位置:首页 » 《关注互联网》 » 正文

基YOLOV5实现的AI智能盒子

29 人参与  2024年03月30日 15:55  分类 : 《关注互联网》  评论

点击全文阅读


基于yolov5实现的AI智能盒子框架

开发背景技术实现产品效果源码预览功能介绍
2021-2023是沉淀的几年,经济不景气,各行各业都不太好混,所以这几年也没有太多心思花在csdn上为各大网友写一些技术文章,2024年初,也算是给自己留下一点岁月的足迹吧,所以把这段时间精心研究的东西写出来供大家交流,顺带也看看是否有机会遇到能帮助到其他技术公司或朋友,在交流中实现双赢,有需要的朋友可以威信(幺捌零叁捌捌伍陆柒零贰,威信与电画同号),具体合作方式具体交流。

首先看一下AI盒子的效果(安全帽检测预警、语音播报)

AI智能分析预警盒子

开发背景

从事安防多年,但基本都是从事音视频的编解码工作,很少处理图形图像相关算法,原因如下:
(1)图形图像相关算法如车牌识别识别、人脸识别等如果是自己研发,涉及到高等数学等及图形图像处理等高深的支持,开发难度较大;
(2)前n年基本没有开源的、简易的不需要熟悉底层算法的AI识别框架,很难将生活中涉及的AI识别或机器学习的相关算法变成现实;
主要基于以上两点,导致AI相关的算法落地很难、实现很难、应用更难!

然后,基于百度paddle和yolo的开源框架出现了,这使得AI识别难度大大下降,应用门槛大大降低,然而paddle则是面向服务器,对硬件要求较高,部署也相对复杂,很难将普遍应用到生活中,所以经过多番调研yolo则是我们最好的选择。
选择yolo有如下优势
(1)开源且识别效率非常高,仅需一次识别即可完成所有对象的分类识别。
(2)可以应用到服务器中,也可以应用到小型硬件中,本文部署的硬件就支持windows/ubun,支持jetson nano、jetson orin nano等3款中高低档硬件(约5000元、3000元、1000元)
(3)开源技术论坛和资料较多
(4)支持使用python,支持跨平台部署(一套代码,多套环境部署)

在安防领域,基于音视频的基础操作已经基本上没有任何难度(看视频、直播、录像等),但基于音视频的AI应用却很难,但随着技术的成熟,这些应用也变得越来越多,结合生活实际需求的场景就有很多,例如
(1)非法闯入:夜间无人值守或重要地点进出监控
(2)摔倒检测:关爱老人,老人摔倒检测或打架斗殴跌倒检测,可用于社区、监狱、广场、学校等场所。
(3)明火识别:严禁烟火的第三方识别火焰,防止火宅,可用于森林、车间、化工产等场所。
(4)烟雾排放:同明火场景。
(5)越界检测:越过指定边界,产生报警,一般用于行人识别与闯入检测,结合视频区域检测。可用于无人值守场景。
(6)睡岗检测:工作期间睡觉检测,避免安全事故发生。
(7)离岗检测:工作期间离开岗位检测,避免安全事故发生。
(8)人群聚众:检测人员聚集,避免打群架、避免踩踏事件发生。
(9)攀高检测:检测人员是否进行攀爬,避免安全事故发生。
(10)打架斗殴:检测人员是否打架,可用于学校、公共场所。
(11)人脸抓拍:人脸数据抓拍,可推送给人脸识别服务进行1&1识别及陌生人识别。
(12)遮挡检测:检测摄像机是否被人为遮挡或被损坏。协调运维人员进行维护。
(13)垃圾满溢:检测垃圾桶垃圾是否满溢,协助环卫人员智能调度环卫车辆,节省人力和物力。
(14)占道经营:检测是否有占用道路非法经营,协助城管管理,减轻工作量。
(15)安全帽识别:工地安全帽识别,提高工地安全。
(16)反光衣识别:工地反光衣识别,防止非工作人员闯入工地区域。
(17)电动车进电梯:检测电动车进出电梯,防止火灾发生。
(18)口罩检测:明厨亮灶,检测食品从业人员是否佩戴口罩。
(19)虫害识别:智慧农业,通过AI识别虫害,智能指导农户作业。
(20)动物识别:公共场所,不允许动物进出场所。
(21)电梯超员检测:电梯人员是否超载工作。
(22)河边垂钓检测:严禁垂钓河边检测人员是否有钓鱼或捕鱼行为。
(23)河边游泳检测:严禁游泳河边检测人员是否有下水游泳行为。
(24)人数统计:人数统计或客流统计,通过AI方式统计绘制市场的客流热力图。
(25)抽烟检测:明厨亮灶,检测从业人员是否有吸烟行为。
(25)泥头车识别:街道泥头车随意、掉土的事件。
(27)打电话识别:检测开车是否有打电话行为。
(28)机动车/非机动车识别:机动车和非机动车识别。
(29)车流量统计:识别车辆及统计车流量
以上是我总结的贴近生活,很有可能在生活中非常实用的场景,这些算法都是可以通过数据采集进行一一训练的。

技术实现

开发环境:pycharm
开发语言:python、vue2.0、pytorch、vision
部署环境:
(1)windows-conda、jetson-nano:conda(低配)、
(2)jetson orin nano:python、cuda、cudnn(sdk)(中高配)
(3)orange PI(正在适配中)
硬件选型:
(1)低配jetson naco(b01替换版本),ubuntu,价格1312元(含外壳),0.5tops,分析实时视频约4路;一张图约200ms~300ms耗时;
(2)中配jetson orin nano,ubuntu,价格3200元上下,20tops,分析实时视频约8路;一张图约100ms耗时;
(3)高配jetson orin nano,Ubuntu,价格在5200元上下,70-100tops,分析实时视频约16路;一张图约30ms耗时;
(4)国产华为芯片orange PI,4G,16核心,价格在1000元左右,分析视频预估在16路;(正在适配中,硬件一片难求)
在这里插入图片描述

产品效果

为此,我开发了一个AI盒子框架,这个框架可以动态添加训练好的模型、动态添加需要分析的网络摄像机、动态为每一路摄像机添加不同的分析场景(算法)、动态配置AI盒子参数、动态重启AI盒子等功能;
AI盒子提供了

(1)登录AI盒子
AI盒子登录页面提供用户名和密码模式登录,登录后可以修改初始密码。
在这里插入图片描述

为适配不同的地方需求,AI盒子最新版本,支持中文简体版本、英文版本和中文繁体版本。
在这里插入图片描述

(2)系统首页
AI盒子主要提供设备管理、报警管理、录像管理、模型配置以及系统设置功能。
在这里插入图片描述

(3)设备管理
可以动态添加需要分析的设备,此处的设备为网络设备,AI盒子通过设备的rtsp标准协议从摄像机获取视频流,然后进行抽帧分析,抽帧间隔可以动态进行配置。
在这里插入图片描述
可以控制设备进行AI抽帧的分析时间段控制,如早上08:00开始分析,到晚上23:00截止。在这里插入图片描述
可以配置设备分析的区域,区域支持多边形绘制(区域入侵)、绘制边界线段(周界检测)在这里插入图片描述

(4)场景管理
一个设备抽帧的图片,可以做不同场景的算法分析,例如一个摄像机可以同时分析明火烟雾检测、攀爬检测,也可以分析更多的算法(当然,算法越多,耗时就增加,不过对于在1-3秒内能实时响应就已经是非常适用了,可以忽略)在这里插入图片描述

(5)报警管理
当分析场景检测到超过设定置信度的预警时,会存储到AI盒子中,AI盒子会将报警异步推送到配置的第三方平台中,可以在AI盒子中保存n天
在这里插入图片描述
如果AI盒子打开报警录像功能,AI盒子会自动录取事件发生的前3秒以及后3秒,总共6秒录像,这些录像也会被推送给第三方平台
在这里插入图片描述

(6)录像管理
此外AI盒子支持视频转发(rtmp)、手动抓拍、远程录像功能,录像后可以存储在AI盒子,当推送给第三方平台后会自动从本地移除
在这里插入图片描述

(7)模型管理
AI盒子提供模型载入、识别、上报等完整框架,并不固化整个流程,所以对AI盒子而已,算法、设备、场景都是灵活可以配置的,支持动态的模型添加功能,我们可以将训练好的模型动态添加到AI盒子中
在这里插入图片描述
模型可以包括所有分析,哪些是属于正常的(不会报警的),哪些属于异常的(显示红框,可能要报警的)
在这里插入图片描述

(8)系统配置
AI盒子支持系统配置,配置项目包括AI盒子编码(推送到第三方,区别多个盒子)、报警保存天数、并发分析数量控制、识别后是否显示标签、是否支持报警联动录像、是否凌晨自动重启、报警第三方平台介绍地址、长连接控制地址。
在这里插入图片描述
(9)GPIO及modbus联动
此外,AI盒子支持自身引脚联动或t通过外接modbus协议进行对接,以下为AI盒子定制的一个仓库物料领取场景:
A、人通过人脸机刷脸开门进入物料仓库(人脸机器联动门磁)
B、门禁从常开(1状态)变为断点开门状态(0),AI盒子检测到人员进入,开始联动摄像机进行录像;
C、人员进入仓库后领取物料,拿去完成之后将物料放置到物料台,然后按墙壁上的拍照IO开关;
D、AI盒子检测到AI开关后,联动摄像机视频进行物料实物抓拍,可以抓图多张;
E、人员拍照后拿取物料并离开物料仓库,门磁从开门(0)状态恢复为常闭状态(0);
F、AI盒子检测到关门信号,停止联动录像,并将从门禁到出门的录像+物料拍照打包存储并发送给第三方平台;
这样,一个人从进门领取物料开始录像==>物料拍照==>停止录像整个过程留影留像,保留了整个过程的证据。如果是非法闯入则自动通过AI预警进行报警录像,产生非法闯入预警,如果正常人脸刷脸进入则不会产生非法报警。

源码预览

(1)服务启动

"""===========导入安装的python库==========="""import sysfrom pathlib import Pathfrom box.box import Boxfrom utils.general import check_requirements# 获取当前文件路径FILE = Path(__file__).resolve()# 获取当前文件父目录-YOLOv5根目录ROOT = FILE.parents[0]# 获取绝对路径PARENT = ROOT# 将根目录添加到系统path中if str(ROOT) not in sys.path:    sys.path.append(str(ROOT))# 程序启动入口if __name__ == '__main__':    # 检查请求参数    check_requirements(ROOT / 'requirements.txt', exclude=('tensorboard', 'thop'))    # 创建AI盒子    box = Box()    # 初始化盒子    box.init()    # 启动AI盒子    box.start()    # 等待盒子退出    box.join()    # 停止AI盒子    box.stop()

(2)websocket协议

# 报警推送实现class SocketService(threading.Thread):    # 构造函数    def __init__(self):        # 重写父类方法        threading.Thread.__init__(self)        # 套接口        self.ws = None        self.connected = False        self.do_run = True        # 数据接收        self.msg_thread = None        # 视频数量        self.count = 0        # 视频回调        self.video_back = None        pass    # 停止服务    def stop(self):        self.do_run = False        # 关闭套接口        if self.ws is not None:            self.ws.close()        # 等待接收退出        if self.msg_thread is not None:            if self.msg_thread.is_alive():                self.msg_thread.join()        pass    # 设置命令回调    def set_video_back(self, call):        self.video_back = call    # 响应结果    def send_result(self, url, cmdId, state, desc, data=None, file_path=None):        try:            if url is None or cmdId is None:                return            # 请求字典            dict_info = {}            # 追加文件            if file_path is not None:                # 读取文件内容                file = open(file_path, "rb")                name = os.path.basename(file_path)                dict_info['file'] = (name, file, 'application/octet-stream')            # 追加数据            if data is not None:                dict_info['data'] = data            # multipart编码            encoder = MultipartEncoder(                fields=dict_info            )            # 请求头部            headers = {'Content-Type': encoder.content_type}            # 发送到第三方            result_url = (url + "?boxId=" + SystemConfig.ID + "&cmdId=" + cmdId +                          "&state=" + str(state) + "&desc=" + desc)            response = requests.post(result_url, json=data, headers=headers)            if response.status_code != 200:                return False            # 处理返回结果            result = response.json()            # 处理返回结果            if result['error'] != 0:                error = result['error']                LOGGER.error(f'upload box {SystemConfig.ID} command result failed, reason: {error}')                return False            # 返回成功结果            return True        except Exception as e:            LOGGER.error(f'upload alarm error {e}')        pass    # 报警推送    def run(self) -> None:        # 开始时间        last_time = datetime.datetime.now()        while not Global.restart and self.do_run:            try:                # 查询通信地址                result_url = SystemConfig.ALARM_URL                if SystemConfig.ALARM_URL is not None:                    if not result_url.endswith("/"):                        result_url += "/"                    result_url += "result"                # 系统重启                if Global.restart:                    break                # 连接服务器                if not self.connected:                    if SystemConfig.SOCKET_URL is None or SystemConfig.SOCKET_URL == '':                        time.sleep(1)                        continue                    try:                        # 连接服务                        self.ws = create_connection(SystemConfig.SOCKET_URL)                        self.connected = self.ws.connected                        # 连接成功                        if self.ws.connected:                            LOGGER.info(f'@connect websocket success: {SystemConfig.SOCKET_URL}')                            # 连接信息                            box = {                                'id': SystemConfig.ID,                                'ip': Global.ip,                                'port': Global.port,                                'cmd': 'connect'                            }                            # 发送连接                            self.ws.send(json.dumps(box))                            # 更新心跳时间                            last_time = datetime.datetime.now()                            # 同步盒子数据                            self.sync_server_data()                            pass                    except Exception as e2:                        LOGGER.error(f'websocket connect error:{e2}')                        self.connected = False                        pass                    # 链接失败等待                    if not self.connected:                        time.sleep(3)                        continue

(3)系统配置

# 系统全局配置import uuidfrom box.util import SystemUtil# 全局配置class Global:    # 数据库配置    dbIp = '127.0.0.1'    dbPort = 3306    dbUser = 'root'    dbPwd = 'root'    dbName = 'box3'    # web配置    ip = '127.0.0.1'    port = 5700    # 系统重启标志    restart = False    # 启用串口信号读取    enableIO = False    # linux-设备名    LUX_IO_NAME = '/dev/ttyCH341USB0'    # win-设备名    WIN_IO_NAME = 'COM13'    # 初始化    def __init__(self):        pass    # 获取本机ip    @staticmethod    def local_ip():        try:            if Global.ip == '127.0.0.1':                Global.ip = SystemUtil.get_local_ip()        except Exception as e:            print(f'get local ip error {e}')# 系统配置class SystemConfig:    # 盒子当前编码    ID = str(uuid.uuid1()).replace("-", "")    # 系统登录账号    ADMIN = 'admin'    # 系统账号密码    PASSWORD = 'dd123456'    # 系统并发分析数    PATROL_NUM = 4    # 报警保存天数    SAVE_DAYS = 1    # 是否显示标签    SHOW_LABEL = 1    # 是否报警录像    ALARM_RECORD = 1    # 是否定时重启    AUTO_RESTART = 1    # 报警推送地址    ALARM_URL = ''    # 长连接地址    SOCKET_URL = ''

(4)文件清理

import threadingimport osimport timefrom threading import Lockfrom box.config import Globalfrom utils.general import LOGGER# 文件异步清理class FileClear(threading.Thread):    # 待清理文件列表    files = []    # 全局文件列表锁    lock = Lock()    # 构造函数    def __init__(self):        # 重写父类方法        threading.Thread.__init__(self)        pass    # 添加清理文件    @classmethod    def push(cls, file):        if file is None:            return        cls.lock.acquire()        try:            cls.files.append(file)        except Exception as e:            LOGGER.warning(f'add clear file error {e}')        finally:            cls.lock.release()        pass    # 报警推送    def run(self) -> None:        # 系统未重启        while not Global.restart:            try:                # 系统重启                if Global.restart:                    break                # 尝试清理                try:                    # 获取文件大锁                    self.lock.acquire()                    # 当前系统无任务                    if len(self.files) <= 0:                        # 释放文件大锁                        self.lock.release()                        # 睡眠等待1秒                        time.sleep(1)                        continue                    # 删除所有文件-忽略异常                    for file in self.files:                        try:                            os.remove(file)                        except Exception as e1:                            LOGGER.warning(f'{e1}')                            pass                        pass                    # 清空数据                    self.files.clear()                    # 释放文件大锁                    self.lock.release()                    time.sleep(0.1)                except Exception as e:                    # 释放文件大锁                    self.lock.release()                    LOGGER.warning(f'clear file error {e}')                pass            except Exception as e:                LOGGER.warning(f'clear file error: {e}')

由于功能较多,此处不在一一赘述,有需要合作的请联系我(威信:幺捌零叁捌捌伍陆柒零贰,威信与电画同号),咱们在进一步沟通。

功能介绍

AI盒子是基于yolov5框架开发的一套AI识别框架,可以支持多模型、多设备、多场景(算法)识别,支持http协议(同一个局域网)通信、支持websocket协议(不同局域网)通信,支持视频取流识别,支持接口图片AI识别、支持媒体视频转发(视频播放)等功能。
AI盒子是独立的个体,可以单独部署(外接显示器,通过浏览器即可实时查看报警、实时播放报警),AI盒子也可以集成外部平台,通过AI盒子对接接口(包括http协议、websocket协议),将报警及录像等信息推送至第三方平台。

具体功能介绍如下所示
(1)系统配置
可以配置AI盒子的基本配置,包括AI盒子的编码(多个盒子时对接外部使用)、录像及报警保存天数、并发AI分析设备路数、AI预警是否显示预警标签、是否12点自动重启(用不上,异常情况下处理)、第三方报警推送地址、第三方平台信令下发连接地址(服务端下发指令到AI盒子,如模型下发、设备下发、场景下发、设备重启、系统配置等)。这些配置都可以实时配置实时生效,不需要重启。
在这里插入图片描述

(2)模型管理
可以通过AI盒子自带的web端管理界面管理AI盒子中的模型,也可以通过AI盒子对接协议管理AI盒子模型,AI提供与模型无关的处理框架,训练的模型分类根据实际填写即可
在这里插入图片描述

(3)设备管理
AI盒子主要通过rtsp协议(标准)分析设备视频流(海康、大华等都可以),通过视频流帧采样的方式(采样帧频率可以动态配置)分析对应设备的图片流,并且支持指定时间段内进行分析(如工作时间或下班时间进行AI分析),实现设备动态管理、动态配置,除支持分析视频流之外,当然AI盒子也提供了图片分析接口(可以第三方通过接口投递图片并进行分析)并返回结果
在这里插入图片描述

(4)场景管理
AI分析的每一个设备(视频流)都可以配置多个场景,如一个摄像机同时支持火焰识别、安全帽识别、摔倒检测、打架斗殴等多个场景,由于AI盒子是框架,摄像机配置哪些场景都是可以动态灵活配置的。
在这里插入图片描述

(5)录像管理
AI具有设备远程录像动能,当AI盒子启动视频转发之后,可以通过websocket接口控制AI盒子进行手动录像,AI会临时存储录像信息在本地,当服务器正常时会自动将录像信息推送给第三方平台,然后清理本地的临时录像。
AI盒子也提供了web管理页面对这些录像进行管理,包括查询、录像播放、录像清理等功能
在这里插入图片描述
在这里插入图片描述

(6)协议支持
AI盒子支持通过Http协议管理AI盒子配置、模型、设备、场景等(如AI的WEB端),也可以通过websocket协议下发和操作AI盒子,实现与AI和的多协议交互。

Http协议代码案例

# 登录盒子@app.route("/user/login", methods=["POST"])def login():    # 获取用户信息json对象    user_data = request.json    #  获取post的form表单账号密码    username = user_data['username']    password = user_data['password']    # 账号密码无效    if username is None or password is None:        return jsonify({"error": -1, "description": "账号或密码无效!"})    # 账号信息校验    if username != SystemConfig.ADMIN:        return jsonify({"error": -1, "description": "用户名或密码错误!"})    # 用户密码校验    if password != SystemConfig.PASSWORD:        return jsonify({"error": -1, "description": "用户或密码不正确!"})    # 用户密码正确    md5 = get_md5(username + ":" + password)    # map字典转json    return jsonify({"error": 0, "description": "success", "value": md5})# 更新密码@app.route("/user/setPwd", methods=["PUT"])def set_pwd():    # 校验用户令牌    result = check_token()    if result['error'] != 0:        return jsonify({"error": result['error'], "description": result['description']})    # 获取用户信息    user_data = request.json    if user_data['oldPassword'] is None:        return jsonify({"error": -1, "description": "原密码为空"})    if user_data['newPassword'] is None:        return jsonify({"error": -1, "description": "新密码为空"})    if SystemConfig.PASSWORD != user_data['oldPassword']:        return jsonify({"error": -1, "description": "原密码不正确"})    # 更新密码    SystemConfig.PASSWORD = user_data['newPassword']    # 更新系统用户    user_info = {"username": SystemConfig.ADMIN, "password": user_data['newPassword']}    config_mapper.update('ADMIN', json.dumps(user_info), 1)    # map字典转json    return jsonify({"error": 0, "description": "success"})# 重启盒子@app.route("/system/reboot", methods=["GET"])def reboot():    # 停止web应用服务    print("reboot box...")    try:        # 获取app停止函数        func = request.environ.get('werkzeug.server.shutdown')        if func is None:            raise RuntimeError('Not running with the Werkzeug Server')        # 停止app服务        func()    except Exception as e:        print(e)    # 设置为重启标志    Global.restart = True    # 等待5秒主程退出    time.sleep(5)    # posix:linux nt:windows    SystemUtil.reboot()    # 如果机器还未重启先返回成功    return jsonify({"error": 0, "description": "success"})

websocket协议代码

# 报警推送实现class SocketService(threading.Thread):    # 构造函数    def __init__(self):        # 重写父类方法        threading.Thread.__init__(self)        # 套接口        self.ws = None        self.connected = False        self.do_run = True        # 数据接收        self.msg_thread = None        # 视频数量        self.count = 0        # 视频回调        self.video_back = None        pass    # 停止服务    def stop(self):        self.do_run = False        # 关闭套接口        if self.ws is not None:            self.ws.close()        # 等待接收退出        if self.msg_thread is not None:            if self.msg_thread.is_alive():                self.msg_thread.join()        pass    # 设置命令回调    def set_video_back(self, call):        self.video_back = call    # 响应结果    def send_result(self, url, cmdId, state, desc, data=None, file_path=None):        try:            if url is None or cmdId is None:                return            # 请求字典            dict_info = {}            # 追加文件            if file_path is not None:                # 读取文件内容                file = open(file_path, "rb")                name = os.path.basename(file_path)                dict_info['file'] = (name, file, 'application/octet-stream')            # 追加数据            if data is not None:                dict_info['data'] = data            # multipart编码            encoder = MultipartEncoder(                fields=dict_info            )            # 请求头部            headers = {'Content-Type': encoder.content_type}            # 发送到第三方            result_url = (url + "?boxId=" + SystemConfig.ID + "&cmdId=" + cmdId +                          "&state=" + str(state) + "&desc=" + desc)            response = requests.post(result_url, json=data, headers=headers)            if response.status_code != 200:                return False            # 处理返回结果            result = response.json()            # 处理返回结果            if result['error'] != 0:                error = result['error']                LOGGER.error(f'upload box {SystemConfig.ID} command result failed, reason: {error}')                return False            # 返回成功结果            return True        except Exception as e:            LOGGER.error(f'upload alarm error {e}')        pass

(7)视频转发
AI盒子具有视频转发功能,如AI盒子一般是最靠近摄像机的硬件(从服务器资源、带宽和延时、效率等多方面考虑),所以AI盒子是可以访问摄像机的,如果平台是云端的或者服务端与AI盒子或摄像机不在同一个局域网,那么这样就很有可能平台无法播放摄像机视频(除非使用海康的平台-ehome协议或萤石云协议播放,或大华的自动注册协议播放),为了能通过AI盒子查看摄像机的视频,AI盒子就集成了这个功能,通过AI盒子就可以将视频转发到rtmp服务器,可以使用srs进行部署,使得视频播放支持rtmp、http-flv、webrtc、hls等协议。
在这里插入图片描述

(8)报警预览
AI盒子是独立的个体,我们通过AI盒子的WEB端即可实时查看报警信息,当报警发生时候,AI盒子即可接收到报警信息,如下所示
在这里插入图片描述

(9)语音播报
web端支持tts预警语音播报功能,当开启报警预览时,接收到报警后,浏览器端就会播放对应的报警语音,只需要查看一个小音箱即可实现安保语音通知功能。

(10)web管理
AI盒子提供以上所有功能的web端管理功能。

(11)GPIO联动录像
AI盒子可以通过硬件连接的释放实现对AI盒子联动接入的摄像机进行实时录像,也可以进行抓拍,这个场景主要用于仓库物料管理系统的解决方案:
当人员通过人脸机正常刷脸进入仓库时,人脸机联动门磁开门,AI盒子通过APIO信号监测门磁开启联动关联摄像机开始录像;当人员进入仓库后,领取物料,将物料放置到物料台,按IO开关进行实物拍照(可以按多次),AI盒子通过信号监测联动关联摄像机进行抓拍,人员携带物料走出仓库,关闭门禁,AI盒子通过检测停止关联摄像机的联动录像;
当人员通过非人脸方式非法闯入仓库时,AI盒子通过区域入侵、人形识别等算法进行抓拍、录像,并将报警信息实时推送给后台管理员(第三发平台或web端),管理员安排安保人员介入预警事件,保证公司财产安全;

实现场景如下所示
在这里插入图片描述
演示视频如下所示

仓库领料系统解决方案

第三方平台进出仓库记录以及录像信息
在这里插入图片描述
在这里插入图片描述

(12)远程录像
同GPIO联动录像之外,AI盒子 也支持手动远程录像和停止录像功能,接口如下所示
在这里插入图片描述
在这里插入图片描述

(13)远程抓拍
如图上所示,AI盒子也支持播放视频的同时进行实时抓拍。

(14)报警推送
AI可通过接口将报警推送到第三方平台,如下所示
在这里插入图片描述

(15)录像推送
如上所示,推送的报警包含录像信息
在这里插入图片描述

(16)区域配置
AI盒子可以配置检测视频范围的某一部分区域,可以配置区域内检测,也可以配置边界检测,当检测物体跨过边界触发报警
在这里插入图片描述

(17)文件清理
AI盒子会定期清理报警信息、报警录像信息、联动录像信息等;

(18)资源国际化(多语言支持)
支持简体中文、繁体中文、英文3中语言
在这里插入图片描述

(19)报警管理
AI盒子可以管理产生的报警信息、报警录像等信息
在这里插入图片描述
在这里插入图片描述

以上是AI盒子具备的所有功能,由于盒子由python+vue框架开发,支持ubuntu、windows,支持CPU和 GPU,已经经过jetson nano、jetson orin nx高中低3种型号的适配,欢迎有需要的朋友请来电沟通交流(幺捌零叁捌捌伍陆柒零贰,威信与电画同号),如果需要实物演示效果,可以提供远程连接或实时视频查看,目前产品已经经过3个版本(轮询版本、实时版本、国际化版本),非常成熟,已经在项目中使用。


点击全文阅读


本文链接:http://zhangshiyu.com/post/88202.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1