(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910598828.4
(22)申请日 2019.07.04
(71)申请人 苏州麦垛信息科技有限公司
自动感应垃圾桶
地址 215500 江苏省苏州市常熟市高新技
术产业开发区湖山路2号同济科技广
场1幢404
(72)发明人 王菊香 刘永俊 刘猷韬 黄海雷
(74)专利代理机构 南京知识律师事务所 32207
代理人 汪旭东
(51)Int.Cl.
G07F 11/00(2006.01)
G07F 9/00(2006.01)
G06K 9/00(2006.01)
(54)发明名称
锁架
(57)摘要
本发明采用基于深度学习的动态计算机视
扣款。本发明所涉及的一种基于动态计算机视觉
识别的智能售卖柜系统包括：箱体，人机交互组
设备端控制模块，通讯装置，云端中央控制系统，
后台商品及危险动作数据库，后台视频分析系
高压变频柜统，消费者结算管理系统，货柜管理系统，移动终
端，门，主摄像头，副摄像头。该发明识别消费者
在开门后的所有动作及动作关联的商品（如拿取
或放回），该方案对商品在货柜内如何摆放完全
没有要求，且由于识别消费者开柜后的所有动
作，如果消费者将有潜在危害的货柜外的商品放
入柜内时，系统可以自动识别出来，并自动进行
锁柜防止异常情况扩大并保留证据。有效防范了
自取式售货机潜在的食品安全问题。权利要求书2页 说明书4页 附图2页CN 110298965 A 2019.10.01
C N 110298965
A
1.一种基于动态计算机视觉识别的智能售卖柜系统及其方法，其特征在于：包括箱体（1），人机交互组件（2），常闭电控锁（3），视频采集系统（4），视频暂存系统（5），设备端控制模块（6），通讯装置（7），云端中央控制系统（8），后台商品及危险动作数据库（9），后台视频分析系统（10），消费者结算管理系统（11），货柜管理系统（12），移动终端（13），门（14），主摄像头（15），副摄像头（16）；
所述门（14）固定于箱体（1）一侧，人机交互组件（2）固定在门（14）上或箱体（1）上，门（14）上安装有常闭电控锁（3）；
所述人机交互组件（2）关联用户移动终端进入的地址及设备编号；
所述视频采集系统（4）包括位于门（14）上部的主摄像头（15）及位于门（14）中下部的副摄像头（16）；
所述设备端控制模块（6），通过通讯模块（7）与云端中央控制系统（8）进行通信，处理机器和云端的信息通讯，信息包括开关门信号、购物视频；同时指挥设备端的电子零配件进行工作；
所述云端中央控制系统（8），接收用户移动终端（13）及机器端发送的信息，并结合规则判断并发送处理指令；
本地摄像头所述后台货柜管理系统（12）对管理系统内的所有货柜及相关人员的身份ID和操作行为进行管理，根据需要授权各种工作人员对系统和货柜的操作；
所述方法步骤为：消费者用移动终端（13）扫描该人机交互组件（2），系统判断消费者是否签署免密扣款协议及是否满足开门的条件，如满足则云端中央控制系统（8）通过通讯装置（7）通知设备端控制模块（6），发送开锁信号给常闭电控锁（3），门（14）打开，消费者购物，同时视频采集系统
（4）开始采集购物过程视频；消费者购物结束后，云端中央控制系统（8）通过通讯装置（7）通知设备端控制模块（6）发送闭锁信号给常闭电控锁（3），门（14）关上，常闭电控锁（3）落锁，并向设备端控制模块（6）反馈门已落锁的信号，设备进入其他工作流程，同时视频采集系统（4）停止采集消费者购物视频；
所述后台商品及危险动作数据库（9）将售卖柜内所有可售商品的主要特征及消费者潜在危险动作的特征深度学习并记录进商品数据库；
所述视频采集系统（4）采集的视频信号存储在各个摄像头关联的视频暂存系统（5）中，消费者购物结束后，视频暂存系统（5）将跟这个消费者相关的视频信息上传到云端，由后台视频分析系统（10）进行分析，消费者的购物行为及关联商品通过计算机视觉识别后与后台商品及危险动作数据库（9）内数据进行比对，符合度达到要求的则反馈识别结果，如果没有到符合要求的或异常的购物行为，也反馈相关的结果；
所述后台视频分析系统（10）识别分析得出消费者正常拿取商品的种类和数量后，消费者结算管理系统（11）根据系统内商品的单价生成账单，从消费者的关联账户进行扣款。
2.根据权利要求1所述的一种基于动态计算机视觉识别的智能售卖柜系统及其方法，其特征在于：所述箱体（1）是发泡冷藏箱体或常温钣金箱体；所述门（14）为单开门或双开门。
3.根据权利要求1所述的一种基于动态计算机视觉识别的智能售卖柜系统及其方法，其特征在于：视频采集系统（4）包括主摄像头（15）和副摄像头（16），主摄像头（15）为向下拍摄，视线为竖直方向；副摄像头（16）从货柜外向货柜内拍摄，视线为水平方向。
4.根据权利要求1所述的一种基于动态计算机视觉识别的智能售卖柜系统及其方法，其特征在于：所述后台视频分析系统（10）由两部分组成：一部分是一套基于深度学习的人体动作识别算法，另一部分是消费者手部关联物品的颜图像特征识别算法，主要基于慢速精确的Mask R-CNN算法。
一种基于动态计算机视觉识别的智能售卖柜系统及其方法
技术领域
[0001]本发明涉及智能售货设备技术领域，尤其涉及一种基于动态计算机视觉识别的智能售卖柜系统及其方法。
背景技术
[0002]目前市场的售货机主要分为两大类。
[0003]一类是传统机械出货售货机，即消费者在售货机关联的选货界面上选定商品，支付相应的电子
货币或现金后，售货机管理系统指挥商品对应的机械结构进行出货，将商品推送到取货口，消费者自行取出。
[0004]另外一类是最近这两年才出现的开门自取式售货机，这种新型的售货机由消费者开通免密支付后正常使用，一般步骤为：消费者扫码进入系统，消费者扫码带入的身份被系统确认后系统打开货柜电控锁，消费者开门选择自己想要的产品后关门，系统盘点识别消费者拿走的商品种类和数量，并通过消费者的免密支付账户进行扣款。其中识别消费者拿取商品的方案主要为三大类：商品上张贴的RFID识别、重力识别及基于深度学习的计算机视觉识别。计算机视觉识别又分为静态计算机识别及动态计算机视觉识别两类。[0005]传统售货机的出货机构复杂，制造成本高，装配较难。货道商品摆放种类少。有些老旧机型付款方式还为投币或者纸币结算，给现在习惯电子支付的年轻消费者带来极大的不便利。并且货道对商品的包装以及外形尺寸都有特定的要求，运营商不能随意更换所销售的品类。客户购买商品时只能一次购买一件，效率很低。
[0006]而消费者自取式售货机机械结构简单，制造容易，箱体空间利用率高，且对所售商品的大小限制较小，且消费者一次可以购买多件，电子支付免密扣款，使用就像打开自己家冰箱一样，体验较传统的售货机更好。
绷带装[0007]但是自取式售货机的三大类商品识别方案各有利弊：
由商品附带RFID标签进行商品识别的方案，由于需要有额外的RFID标签成本及商品贴附RFID标签的人工成本，在日常低值快消品中应用难度较高，且运营过程中标签容易被人撕坏造成货损或多扣消费者的钱，体验较差。
[0008]依据重力方式识别商品的虽然不要贴标签，但机器及系统对每份产品的重量要求及在机器里的摆放方式要求比较高，在商品种类较多的情况下难以适用。
[0009]而计算机视觉识别商品的方案中，静态计算机视觉识别方法依据每层货架购买行为前后商品数量的差异来确定消费者到底购买了哪些商品。该方案主要特征为在每层货架的上方安装摄像头拍摄消费者开门前后下面货架上的商品变化或在侧边安装摄像头识别商品上部镜像中的该层商品的变化。总体来说，如摄像头视野下的商品中有互相遮挡的状态，该视觉识别方法就可能造成识别误差。
[0010]同时上述这些自取式售货机由于大多投放在无人看管的场景下且人货不分离，且识别方案无法精准监控货柜内商品变动的全部过程，如果恶意用户将一些有毒商品放入货柜，后续消费者不经意间拿到并食用了，将会对其造成致命性的危害，同时也给经营者带来
巨大的食品安全管理风险。
发明内容
[0011]本发明主要为了解决了传统售货机对商品品类及外包装的限制要求，改善提高消费者体验的同时，规避其他类型开门自取式售货机的各项弊端，减少运营者的货损及潜在的安全隐患。
[0012]本发明采用基于深度学习的动态计算机视觉的识别算法，自动识别消费者从货柜中拿取商品的动作及关联拿取的商品，并进行相应的支付扣款。
[0013]本发明所涉及的一种基于动态计算机视觉识别的智能售卖柜系统包括：箱体（1），人机交互组件（2），常闭电控锁（3），视频采集系统（4），视频暂存系统（5），设备端控制模块（6），通讯装置（7），云端中央控制系统（8），后台商品及危险动作数据库（9），后台视频分析系统（10），消费者结算管理系统（11），货柜管理系统（12），移动终端（13），门（14），主摄像头（15），副摄像头（16）。
[0014]所述门（14）固定于箱体（1）一侧，人机交互组件（2）贴附在门（14）上或箱体（1）上，门（14）上安装有常闭电控锁（3）。
[0015]所述箱体（1）可以是发泡冷藏箱体或常温钣金箱体；所述门（14）可以是单开门或双开门。
[0016]所述人机交互组件（2）关联用户移动终端进入的地址及设备编号。
图像拼接器[0017]所述视频采集系统（4）有两个部分：位于门（14）上部的主摄像头（15）及位于门（14）中
下部的副摄像头（16）；所述主摄像头（15）主要为向下拍摄消费者的购物过程，视线为竖直方向；副摄像头（16）主要从货柜外向货柜内拍摄消费者的购物过程，视线为水平方向；主摄像头（15）和副摄像头（16）拍摄的互为补充，防范可能的视野死角。
[0018]所述设备端控制模块（6），通过通讯模块（7）与云端中央控制系统（8）进行通信，处理机器和云端的信息通讯，信息包括开关门信号、购物视频；同时指挥设备端的电子零配件进行工作，如常闭电控锁（3）的开合、视频的压缩上传。
[0019]所述云端中央控制系统（8），接收用户移动终端（13）及机器端发送的信息，并结合规则判断并发送处理指令。
[0020]所述后台视频分析系统（10）由两部分组成：一部分是一套基于深度学习的人体动作识别算法，另一部分是消费者手部关联物品的颜图像特征识别算法，主要基于慢速精确的Mask R-CNN算法。
[0021]所述后台货柜管理系统（12）对管理系统内的所有货柜及相关人员的身份ID和操作行为进行管理，根据需要授权各种工作人员对系统和货柜的操作，包括上线、下线货柜，货柜的补货、盘点，销售记录统计分析等。
[0022]所述移动终端（13）包括手机、平板电子产品，消费者通过扫码、刷脸或刷卡方式进入后可以进行开柜购物，也可以查询自己的购买记录或进行付款操作。
[0023]进一步的，一种基于动态计算机视觉识别的智能售卖柜系统其方法步骤为：消费者用移动终端（13）识别人机交互组件（2），系统判断消费者是否签署免密扣款协议及是否满足开门的条件，如满足则云端中央控制系统（8）通过通讯装置（7）通知设备端控制模块（6），发送开锁信号给常闭电控锁（3），门（14）打开，消费者购物，同时视频采集系统（4）开始
