图像识别技术,一种基于图像识别的烟箱高效进出库检测方法与流程

图像识别技术,一种基于图像识别的烟箱高效进出库检测方法与流程

1.本发明属于烟草物流技术领域，具体涉及一种基于图像识别的进出库高效检测方法。

背景技术：

2.成品烟物流园区进出仓库的烟盒由于自动化程度低，经常会出现漏检条码、盒子破损、错牌混装等问题。现有的烟盒进出系统烟盒的条码识别和烟盒外观缺陷的识别是由不同的设备完成的。烟盒的图像采集由不同的摄像头和扫码设备进行。相机和扫码设备之间没有直接连接。识别结果需要上传到云服务器。服务器对烟盒的条码和烟盒的外观缺陷进行匹配。在实际生产过程中，

技术实施要素：

3.本发明的目的是通过烟盒三个侧面的表面图像识别烟盒的条码，判断烟盒的外观缺陷，输出烟盒的信息通过与条码信息对应的光链路进出仓库。

4.为了实现上述目的，本发明通过以下装置实现：一种基于图像识别的高效进出库检测方法，该方法包括：步骤1、获取三者图像烟盒的侧面；步骤2，处理烟盒表面图像，识别烟盒条码；步骤3，烟盒表面图像处理，判断烟盒外观缺陷；步骤4，将对应的条码信息与烟盒外观缺陷检测结果关联，输出烟盒进出库信息。

5.进一步，步骤2包括： 步骤2-1，获取烟盒表面图像，进行灰度处理，将烟盒表面图像转换为灰度图像；step 2-2，对比灰度图使用scharr算子得到灰度图像在水平和垂直方向的梯度幅值表示；步骤2-3，从x梯度中减去y梯度，得到高水平梯度、低垂直梯度的图像；步骤2-4，使用9*9核对梯度图进行平均模糊，对平均模糊图像进行二值化处理。像素的灰度值设置为255；步骤2-5，对二值化图像进行形态学运算，消除间隙；步骤2-6，找到最大的轮廓，拟合轮廓矩形，确定条码区域并进行识别，将识别出的三边条码数据进行对比，判断烟盒品牌是否有误。步骤2-7，如果条码区域无法识别，则恢复运动模糊图像，重新识别。

6.进一步，步骤2-5的具体步骤是构造一个矩形核，核的宽度大于长度，4次腐蚀再膨胀4次，去除其中的小点图片。

7.进一步，步骤2-7的具体步骤是获取传送带的传送速度，根据传送速度确定模糊长度l和模糊角度θ，得到点扩散函数，还原运动模糊图像，并分析恢复的图像。来识别。

8.进一步，在步骤2-2中，scharr算子，卷积核在x方向和y方向的公式为：

9.进一步，步骤3包括：步骤3-1，读取烟盒的表面图像，将rgb图像转换为

ycbcr格式，输出ycbcr图像的y分量，并将图像转换为灰度图像；步骤3-2，对灰度图像进行高斯滤波；步骤3-3，使用sobel算子对灰度图像进行图像梯度检测；Step 3-4，判断烟盒的三向图像检测结果是否都是矩形，并将图像特征与烟盒的标准完整图像特征进行比较。如果都是长方形且比对结果合格，则说明烟盒是完整的，否则判断烟盒有外观缺陷。

10.进一步，步骤3-3中的sobel算子，x方向和y方向的卷积核公式为：

11.进一步，步骤3-4包括， 3-4-1，计算深度测量误差值δi， 3-4-2，根据深度测量误差值δi建立补偿值序列表补偿值序列表 构建测量距离序列表 3-4-3 对补偿值进行加权平均计算，得到基于像素的加权补偿值δd(u, v)，步骤3-4-4，携带出初始等高线图顶点的深度测量误差补偿：z

补偿后

(u,v)=z(u,v)+δd(u,v)，步骤3-4-5，根据补偿后的顶点坐标生成烟盒轮廓图。

12.本发明的有益效果：将一次采集的烟盒三面表面图像分别转换为传统灰度图像和ycbcr格式的y分量灰度图像，烟气识别后处理传统的灰度图像。烟盒条码用于判断烟盒条码是否有误。对ycbcr格式的y分量灰度图像进行处理，生成二值图像进行边缘检测，判断烟盒的外观缺陷。烟盒外观缺陷的检测结果与相应的条码信息相关联，通过一套图像采集模块和图像处理模块可以整合烟盒的条码信息。

图纸说明

13. 图。附图说明图1是本发明的步骤流程图；

14.图2为深度误差补偿补偿示意图。

详细方法

15.为使本发明的目的、技术方案和有益效果更加清楚，下面结合附图对本发明的优选实施例进行详细说明，以利于理解技术人员的。

16.一种基于图像识别的烟盒进出仓库高效检测方法包括：

17.第一步，获取烟盒三个侧面的表面图像；具体地，通过烟箱输送带上、左侧、右侧布置的摄像头图像采集模块获取烟箱三个侧面的图像，并将表面图像发送至图像处理模块.

18.第二步，处理烟盒表面图像，识别烟盒条码；

19.进一步，步骤2包括： 步骤2-1，获取烟盒的表面图像，进行灰度处理，将烟盒的表面图像转换为灰度图像；具体来说，烟盒的表面图像是彩色图像，根据rgb转灰度公式：gray=r*0.299+g*0.587+b*0. 114、将烟盒表面图像转换为灰度图像。

20.步骤2-2，对灰度图像使用scharr算子，得到灰度图像在水平和垂直方向的梯度幅度表示；具体使用步骤2-1得到灰度图像和x方向卷积核g

1x

进行卷积得到水平梯度图，public

公式表示如下：

[0021] [0022]

将步骤2-1得到的灰度图与y方向卷积核g结合

1年

进行卷积得到一个垂直梯度图，公式如下：

[0023] [0024]

步骤2-3，从x梯度中减去y梯度，得到高水平梯度和低垂直梯度的图像。使用scharr具体：从水平梯度图x-gradient中减去垂直梯度图y-gradient 减法后的梯度图梯度是高水平梯度和低垂直梯度的图像，使得图像中的条码区域更加明显。

[0025]

Step 2-4，使用9*9核对梯度图像进行平均模糊，对平均模糊后的图像进行二值化处理，将灰度值小于等于255的像素的灰度值设置为0，并设置灰度值 将大于 255 的像素的灰度值设置为 255。

[0026]

Step 2-5，对二值化图像进行形态学运算，消除间隙；优选地，步骤2-5的具体步骤为构建矩形内核，内核的宽度大于长度，4次腐蚀后进行4次腐蚀。膨胀去除图像中的小斑点。具体来说，使用 cv2.getstructuringelement 构造一个矩形内核。这个内核的宽度大于长度，因此可以消除条码中垂直条之间的间隙。这里进行形态学运算，将上一步得到的核应用于第二个值图，以消除竖条之间的间隙。

[0027]

Step 2-6：找到最大的轮廓，拟合轮廓矩形，确定条码区域并识别，对比识别出的三边条码数据，判断烟盒是否有误。

[0028]

步骤2-7，如果条码区域无法识别，则恢复运动模糊图像，重新识别。烟盒在运输过程中，移动速度快，会产生运动模糊图像。输送带的输送速度有高、中、低等不同等级，不同等级的模糊长度l和模糊角度θ均为固定值。通过实验得到高、中、低档图像的像斑长度和角度。光斑长度对应于模糊长度l，光斑角度对应于模糊角θ。，得到点扩散函数h(x,y)：

[0029] [0030]

通过点扩散函数得到原始图像：

[0031]

g(x,y)=f(x,y)*h(x,y)

[0032]

g(x,y)是原始条形码图像，f(x,y)是获取的图像，h(x,y)是点扩散函数，*是卷积。

[0033]

第三步，烟盒表面图像处理，判断烟盒外观缺陷。

[0034]

Step 3-1，读取烟盒表面图像，将rgb图像转换为ycbcr格式，输出ycbcr图像的y分量，将图像转换为灰度图。具体来说，ycbcr是一种色彩空间，由三元y、cb和cr组成。rgb转ycbcr图像的计算公式为：

[0035] [0036]

其中图像识别技术，y代表图像的亮度和密度，ycbcr图像的y分量变换比传统的灰度变换可以检测到更精细的细节，提高了判断烟盒外观缺陷的准确率。

[0037]

步骤3-2图像识别技术，对灰度图像进行高斯滤波处理。对ycbcr图像的y分量进行变换后，会显示出图像的小细节，导致图像噪声较大，需要通过滤波进一步消除图像噪声。高斯滤波算法的原理是先用mask模板对图像中的所有像素进行扫描，然后对mask中的像素值进行加权平均运算，将运算结果替换为灰度值蒙版的中心像素。本发明选择掩模模板为3*3的模板，其数学公式为：

[0038] [0039]

式中，g(x,y)表示(x,y)点的原始像素灰度值，f(x,y)表示(x,y)点经过高斯滤波后的灰度值。

[0040]

步骤3-3，使用sobel算子对灰度图像进行图像梯度检测，具体是将步骤3-2得到的灰度图像与sobel算子g进行比较

2x

进行卷积得到水平梯度图，公式如下：

[0041] [0042]

步骤3-2得到的灰度图和sobel算子g

2年

进行卷积得到一个垂直梯度图，公式如下：

[0043] [0044]

梯度值

[0045]

阈值比较，通过设置阈值法确定风的梯度值大小，梯度值g大于阈值t的任意像素点为灰度变化明显的点，梯度较大，设置灰度值将这些点的值设为0，这样就显示为黑色，这样就标记了这些点，将梯度值小于阈值的像素的灰度值设置为255，显示为白色，这样就形成了一个边缘检测的二值图像。公式如下：

[0046] [0047]

这个二值图像是一个烟盒三边的矩形轮廓。

[0048]

Step 3-4：对初始等高线图的顶点进行深度测量误差补偿图像识别技术,一种基于图像识别的烟箱高效进出库检测方法与流程，根据补偿后的顶点坐标生成烟盒等高线图。由于烟箱三侧设置的摄像头与烟箱距离不同，不同测量距离下得到的深度数据误差明显不同，深度测量误差随着距离的增加而增大. 最终，三边型材的尺寸存在明显差异，无法匹配。

[0049]

所述步骤3-4包括， 3-4-1，计算深度测量误差值δi，设置从相机到ri的空间中某一平面的真实深度值图像识别技术,一种基于图像识别的烟箱高效进出库检测方法与流程，利用相机测量深度值平面为 zi，则深度测量的误差值 δi 可表示为：

[0050]

δi=r

i-zi(i=1,2,

…

,k)

[0051]

3-4-2，根据深度测量误差值δi建立补偿值序列表。在相机测量距离的范围内，平均选择k个等距离标记的空间平面。根据上式得到的深度测量误差值δi，建立深度误差补偿的补偿值序列表 根据补偿值序列表构建测量距离序列表

[0052]

步骤3-4-3对补偿值进行加权平均计算，得到基于像素的加权补偿值δd(u,v)。如图。图2为深度误差补偿示意图。对补偿值进行加权平均计算，实现相机在有序空间中的深度测量误差值的补偿。设补偿前深度图中某个像素点的深度值为z(u,v)，即在测量距离z(u,v)和z的序列表中

我+1

在 (u,v) 的邻域中，将阈值设置为 s(s=1,2,3,

…

), 查找表中的 zi 和 z 由下式计算

我+1

s

×

从 s 到 z 的邻域中的所有点的欧几里得距离：

[0053] [0054] [0055]

其中us≤m≤u+s，vs≤n≤v+s，xi(m,n)和yi(m,n)为zi(m,n)所在点的横纵坐标，x

我+1

(m,n) 和 y

我+1

(m,n) 是 z

我+1

(m,n) 是 x(u,v) 所在点的水平和垂直坐标，y(u,v) 是 z(u,v) 所在点的水平和垂直坐标。

[0056]

基于像素加权补偿值的计算公式推导为：

[0057] [0058]

在，

[0059] [0060]

Step 3-4-4，对初始轮廓图像的顶点进行深度测量误差补偿：z

补偿后

(u,v)=z(u,v)+δd(u,v)

[0061]

步骤3-4-5，根据补偿后的顶点坐标生成烟盒等高线图。补偿后的顶点坐标不受摄像头安装距离的影响，避免了三边大小的差异，减少了烟箱外观缺陷检测中的误报。

[0062]

步骤3-5，判断烟盒三边的烟盒轮廓是否都是矩形，同时将图像特征与标准完成对比

比较了烟盒的图像特征。如果都是长方形，比对结果合格，则表示烟盒完整；否则，判断烟盒有外观缺陷。

[0063]

第四步：将对应的条码信息与烟盒外观缺陷的检测结果关联起来，输出烟盒进出库信息，对合格的烟盒进行记录和运输，消除外观缺陷和缺陷。错误品牌的烟盒。

[0064]

具体是将步骤3中得到的烟盒外观缺陷检测结果与对应的条码信息关联起来，将烟盒出入库信息输出到出入库管理系统和分拣剔除设备，记录并运输合格的烟盒，并剔除外观缺陷、错误等品牌烟盒。

[0065]

以上所述仅为本发明的具体实施例而已，但本发明的保护范围并不局限于此，凡在没有创造性劳动前提下所作的改动或替换，均应包含在本发明的保护范围之内。