矩阵基于结构平衡网络的图像识别新方法

基于结构平衡网络的图像识别新方法

高沛涛 王银河

摘要针对机器视觉中的图像识别问题提出一种新的基于结构平衡网络的图像识别方法。从一种新的结构平衡网络特殊的复杂网络视角重新审视平面灰度图像将图像灰度矩阵视为结构平衡网络的连接关系权值矩阵像素点可不作为节点通过Hadamard乘积变换得到像结构平衡矩阵再利用像结构平衡矩阵的拓扑结构产生新的图像识别特征参量对图像进行描述。该方法具有高速率、高识别率、尺度不变性及旋转不变性等特点。最后的实验仿真验证了该方法的有效性。

关键词 图像识别;结构平衡网络;Hadamard乘积变换

DO I 10. 11907/rj dk. 191658

中图分类号 TP317.4 文献标识码 A 文章编号 1672-7800 2020 003-0220-05

A Structural Balance Network-based New Methodology for Image Recognition

GAO Pei-tao WANG Yin-he

Faculty o f Automation Guangdong University o f Techno lo gy Guangzhou 510006China

Abstract

Aiming at the prob lem o f image reco gnition in machine vision a new image reco gnitionmethod based on structural balance network is proposed.The planar grayscale image isre-examined from the perspective of a new structural balanced network special complexnetwork and the image gray matrix is re garded as the connection re lation we ight matrixof the structural balanced network pixels may not be used as nodes .The image structuralbalance matrix is obtained by Hadamard product transformation and then the topologystructure o f the structural balance matrix is used to generate a new image recognition featureparameter to describe the image.The method has the characteristic s of high speed highrecognition rate scale invariance and rotation invariance.Finally the simulation example isgiven to show the validity of the method in this paper.

Key Wordsface recognition; structural b alance networks;Hadamard product transformation

0引言

圖像识别方法是计算机视觉的重要基础其在机器视觉、交通监控、智能无人机等领域都应用广泛。 目前图像识别方法有很多在不同条件下具有各自的优势[1]。值得注意的是在图像识别研究领域速度和识别率是衡量图像识别方法优劣的两个重要指标。一般情况下 图像识别方法的速度和识别率不仅与相应算法有关而且也与现场图像处理设备的计算性能有关。例如基于卷积神经网络的深度学习算法被广泛应用于图像识别研究领域但是网络中的高深度隐层训练需要大数据量需要大容量高速计算设备 因而受限的硬件设备不仅影响其识别速度而且影响其识别率。另外梯度消散或梯度爆炸问题算法问题也会影响其识别率[2-5]。因此寻找一种高速、高识别率的图像识别方法具有重要的理论与工程实践意义。

基于复杂网络的图像识别方法目前已成为图像识别领域的研究热点之一[6]。复杂网络不同于通常的人工神经网络其利用数学图论作为模型 由众多节点与节点之间的连接关系构成连接关系强弱利用实数权值大小加以度量通过节点间的“连”与“不连”形成复杂网络的拓扑结构。网络节点并不“分层” 由此形成“节点度、 平均距离、度分布、聚类系数、小世界”等量化拓扑概念这些量化拓扑概念只与网络拓扑结构有关而与节点顺序和位置无关[7-8]。

值得注意的是从复杂网络角度看一幅平面灰度图像可视为由众多像素点节点构成的复杂网络节点间合适的度量距离或灰度值差构成其连接关系 由此产生的量化拓扑概念可作为图像识别的特征参量。因此理论上而言将复杂网络方法引入图像识别中将会减小图像在出现旋转、平移、缩放时对识别准确率的影响。

依据相关理论思想近年来针对基于复杂网络的图像处理方法 国内外学者已取得了许多有价值的研究成果[9-19]。

然而现有基于复杂网络的图像识别方法主要存在以下两个缺点一是复杂网络建模时将灰度图像中的像素点作为网络节点当节点增多时网络计算速度缓慢;二是利用节点间度量距离或灰度值差构成的连接关系尚不恰当 由此产生的图像识别特征参量并不能保证提高识别率。

针对上述问题文献[20]-[23]结合其它类型图像识别方法混合方法对该方法进行改进识别率得到了一定程度提升。但这些改进方法仍然是将像素点作为网络节点 因此当节点增多时仍然存在网络计算缓慢的现象。

为此本文将从一种新的复杂网络视角重新审视平面灰度图像将图像灰度矩阵视为复杂网络的连接关系权值矩阵像素点可不作为节点通过Hada mard乘积变换得到像结构平衡矩阵再利用像结构平衡矩阵的拓扑结构产生新的图像识别特征参量 以此提高识别速度和识别率。最后的数值仿真验证了本文方法的有效性。

1结构平衡网络

1946年 He ider[24]首先提出结构平衡网络概念随后Cartwright等[8]学者使用数学图论方法对其重新进行描述并且推广到具有正负实数权值的网络。

考虑由N个节点构成的复杂网络本文将节点i与节点j之间的连接关系权值记为xij约定xij=xji i j=1 2 3 … N 由此构成无向复杂网络。因此其连接关系矩阵为对称矩阵记为[X= xij ∈RN×N]。结构平衡网络定义如下

定义1[25]如果对于任意的i j k=1  2 3…N都有[xikxkjxj i0]成立则该无向复杂网络称为结构平衡网络 相应的连接关系矩阵[X= xij ∈RN×N]称为结构平衡矩阵。

注1结构平衡网络的条件意味着 网络中任何3个节点构成三角关系的3个边权值乘积为正。在社会网络意义下这种三角关系遵循了“朋友的朋友是朋友朋友的敌人是敌人”的社会关系原则。特别地结构平衡网络的条件意味着连接关系矩阵的对角元素都为正值。

定理1[26]复杂网络是结构平衡网络的充分必要条件其所有节点可以分成一类或两类 同类节点的连接关系是正的不同类节点的连接关系是负的。

注2定理1意味着在社会网络意义下结构平衡网络中的所有节点可以分成一个或两个“朋友圈” 同一个“朋友圈”中的节点是朋友关系正连接关系不同“朋友圈”中的节点是敌对关系负连接关系 因此网络中3个不同节点间的三角连接关系只有如下两种形式如图1所示。

如果网络的连接关系有负权值则定理1意味着结构平衡矩阵[X= xij ∈RN×N]中的元素权值可被分成3部分其中两部分分别由对应两个朋友圈内的正权值构成

分别记为[F+1]、 [F+2] 另一部分由连接两个朋友圈之间节点的负权值构成记为[L-]。特别地如果结构平衡网络的连接关系权值都为正则[F+1=F+2] [L-]为空集合。

定义2注2中的集合[F+1]、 [F+2]分别称为结构平衡网络或结构平衡矩阵[X]的第一、二个朋友权值集统称为朋友权值集 [L-]称为隔离权值集。

定义3结构平衡矩阵[X]朋友权值集[F+i]中的最大最小;平均权值称为第i个最大最小;平均朋友权值记为[ma xF+i] [minF+i];[me a nF+i] [i=1 2];隔离权值集[L-]中绝对值最大最小;平均的权值称为最大最小;平均绝对隔离权值记为[maxL-]

[minL-];[me anL-]。

注3 由定义3可以看出结构平衡矩阵[X]的最大最小;平均朋友权值、最大最小;平均绝对隔离权值等都是网络的拓扑参量只与网络连接关系有关而与网络节点顺序及位置无关该特点为利用结构平衡矩阵概念方法提高图像识别速度提供了可能。定义3中的网络拓扑参量基于结构平衡网络的可分类性质 因此使用这些网络拓扑参量的关键是如何从结构平衡矩阵角度看待平面灰度图像。

2 Hadamard乘积变换及图像识别

考虑两个都具有N个节点的结构平衡网络分别记为[∑]、 [∏] 其连接关系矩阵分别记为[B= b ij ∈RN×N] [Y= yij ∈RN×N] 都是[N]阶结构平衡矩阵。所有[N]阶结构平衡矩阵构成的集合记为[SN]。

定义4[27]设[F]是[SN]上的一个映射 [F SN→SN] [B→Y]若映射[F]是可逆的则称[F]为结构平衡变换简记为 [Y=F B ][ B∈SN ]。

如何构造结构平衡变换是一个重要问题。设[A= aij ∈RN×N]是一个给定的N阶结构平衡矩阵则容易验证对于任意[N]阶结构平衡矩阵[B= bij ∈RN×N]利用定义1可以直接验证矩阵[Y=A°B]仍然为结构平衡矩阵其中“[°]”表示矩阵间的Hada mard乘积定义为[yij= A°B ij=][aijbij]。 [1 i jN]。此时容易验证变换[B=A-1°Y]是[Y=][A°B]的逆变换 其中N阶结构平衡矩阵[A-1=  1/a ij ]利用该结果给出下面的Had a mard乘积变换定义。

定义5对于给定的N阶结构平衡矩阵[A] 由[Y=A°B] [B∈SN]构成的变换称为Hadamard乘积变换矩阵[A]称为变换矩阵。

注4定义5意味着Hadamard乘积变换是保持像矩阵为结构平衡矩阵的变换映射遗

传原像矩阵结构平衡的特点。

需要特别注意的是如果Hada mard变换矩阵[A]的元素存在负值而原像矩阵[B]是正矩阵元素都为正值则H adamard乘积变换的像矩阵[Y]是具有负元素的结构平衡矩阵因而由定理1及定义2可知像矩阵[Y]的所有元素可以分類为两个朋友权值集合和一个隔离权值集合。

下面从结构平衡网络视角重新审视平面灰度图像并且利用上列定义和定理给出图像识别基本思路。首先对于给定的一幅方形平面灰度图像一般可将其灰度矩阵[M]视为正矩阵 因而可将该矩阵与其转置和[M+MT]视为某个结构平衡网络的连接关系矩阵正连接关系 ;其次通过选择合适的具有负元素的变换矩阵[A]使Hada mard乘积变换的像矩阵[Y=A° M+MT ]具有定义2所示分类;最后得到定义2所示的两个朋友权值集合和一个隔离权值集合 由此得到定义3所示的最大最小;平均权值和最大最小;平均绝对隔离权值 因此产生图像识别特征参量。

定义6矩阵[B=M+MT]称为原图像的原像结构平衡矩阵其对应图像称为初始结构平衡矩阵图其中[M]为输入图像经预处理后具有正值灰度值的方矩阵。

注5其中图像预处理方法包括剔除0灰度值利用小的正实数代替将非方灰度矩阵转化为方矩阵等。

利用结构平衡网络方法进行图像识别的关键是如何选择合适的具有负元素的变换矩阵[A] 使Hada mard乘积变换的像矩阵具有定义2的分类分为两个朋友权值集和一个隔离权值集 目前尚未有统一的选择方法。

本文提出一种利用向量生成的选择方法该方法使变换矩阵带有“具有中心阵的十字带”的特点多个类似矩阵与原像结构平衡矩阵[B=M+MT]Had a mard乘积的效果相当于利用“具有中心阵的十字带”模块遍历原像结构平衡矩阵。

记二维向量[q=[1 1]T∈R2] 二阶矩阵[I1=qqT∈R2×2] 考虑[N=2kk=1  2   rr为自然数 ]维向量[Z=[1 1   ][1]T∈RN]对向量[Z]作分块处理形成如下的分块向量序列[Zi]。

[Z1=[-1 -1 1 1   1]∈RNZi=[qT1  qT2   -qTi   qTk] 1 ik=N/2 ] 1

若[Zi]的第[m]个子块为[αm]则定义[αm=qTm≠i -qTm=i ] 由此得到秩为1的分块矩阵序列为[Ai=ZiZTi= as t ] [i=1 ][2   k]。其中[ast]表示处于位置[ s t ]

的二阶矩阵分块容易看出[ast]可以表示为

[ast=qqT{ s=t=i或s≠i t≠i }-qqT其它 ]

定义7 对于给定的N维分块向量[Z i][ 1 ik=N/2 ] 由[A i=Z iZ Ti= ast ]构成的矩阵称为“具有二阶中心阵的十字带” The Cross Band with the Second Order Central Matrix2-CM-CB的结构平衡矩阵。

注6 在定义7中 2-CM-CB结构平衡矩阵是一个二阶分块矩阵其中的2-CM-CB是由相邻二行、相邻二列构成的“带状”其“中心阵”是一个元素都为1的二阶子矩阵块十字带内除中心阵以外的元素都是-1十字带以外的元素都是1 见图2 ;在2-CM-CB结构平衡矩阵中其“二阶中心阵”的元素构成第一个朋友权值集合[F+1] 十字带以外的元素构成第二个朋友权值集合[F+2]十字带内除中心外的元素构成隔离权值集合[L-]。

由图2可以看出其中“圈1”表示元素都是“+1”的子矩阵块利用2-CM-CB结构平衡矩阵与原像结构平衡矩阵[B=M+MT]的Had amard乘积结果具有如下特点乘积矩阵内形成了一个相同符号的2-CM-CB结构平衡矩阵其中心阵对角线落在乘积矩阵对角线上。

因此多个这样的Hadamard乘积效果相当于利用2-CM-CB模块、沿着主对角线遍历原像结构平衡矩阵。如果被识别平面灰度图像的特征点分布在其灰度矩阵对角线上这些特征点则被这种沿对角线遍历原像结构平衡矩阵的十字带模块所覆盖。

由定义5至定义7得到2-C M-C B的像矩阵集合为[Yi=A i°B]其中每个子集[Yi] [i=1

2   k]均为2-C M-C B结构平衡矩阵记每一个[Yi]对应的两个朋友权值集合和一个隔离权值集合分别为 [F+i1]、 [F+i2]和[Li-]相应的网络拓扑参量分别为[maxF+i1]

[minF+i 1];[me a nF+i 1]、 [ma xF+i2][minF+i2];[me a nF+i2]和[ma xL i-] [minL i-];[me a nL i-]由多个“具有二阶中心阵十字带”的像矩阵构成的网络拓扑参量作为图像识别特征参量。

根据以上定义和定理可得图像数据集分为样本组和测试组 [et]中每一幅图像对应的图像识别特征参量[θet ]与样本组[es]对应的图像识别特征参量[θes ]之间的二阶范数记为[Gθ et θ es ]。当测试组图像识别特征参量与样本组图像识别特征参量之间的二阶范数[Gθ et θ es ]取得最小值时该样本图像所处分组即是该测试图像分组。

3实验与结果分析

實验使用的YALE人脸数据库包含15组人脸图像每组11幅图像共165幅。采用

不同拍摄角度获取各种表情及脸部细节。数据库图像规格统一其中分辨率为100*100灰度级为256 图片格式为bmp如图3所示。

图像识别程序的训练级由每组前5幅图像组成共45幅。剩余图像用于测试对算法进行验证。实验主要分为①通过图像预处理得到定义6中输入图像对应的原像结构平衡矩阵;②与定义7中的2-C M-C B结构平衡矩阵模板分别作Hadamard乘积变换得到2-CM-CB的像结构平衡矩阵;③提取每个2-CM-CB像结构平衡矩阵的图像识别特征参量构成特征脸;④通过比较训练组和测试组中特征脸之间的二范数进行图像识别分类。

实验过程中先对输入图像原图图a进行二值化处理得到二值化图图b再进行阈值处理以去除背景即原来图像灰度值为零的位置用非常小的正整数代替值为1的位置用原来图像的灰度值代替再进行转置相加得到预处理后去除背景影响的原像结构平衡矩阵对应的初始结构平衡矩阵图图c原像结构平衡矩阵再与预先构建的5个2-C M-C B的结构平衡矩阵模板[A i i=3 8 13 ][18 23 ]分别作Hada mard乘积变换得到2-C M-C B像结构平衡矩阵[Yii=3 8 13 18 23]的灰度图像图d再提取每个2-CM-CB像结构平衡矩阵的图像识别特征参数构成特征脸。

本文算法通过如图4所示流程进行图像识别处理得到5个2-CM-CB像结构平衡矩阵提取对应的网络拓扑参量作为其图像识别特征参数构成特征脸用于图像识别。该方法的主要优点是从一种新的复杂网络视角重新审视平面灰度图像将图像灰度矩阵视为复杂网络的连接关系权值矩阵像素点可不作为节点通过使用结构平衡网络特殊的复杂网络拓扑结构作Hadamard乘积变换产生新的图像识别特征参量并通过实验验证了该方法的有效性。

最后通过两组实验从存储空间占用、时间开销及识别效率等方面将本文提出方法与几种常见算法进行比较。实验在统一的P C平台上进行采用Inte l i7处理器主频

1.80GHz 8 G内存软件选用Windows10操作系统及Matlab20XX。

实验1选取YALE人脸数据库中每组图像的前5幅图像作为训练样本其余图像作为测试样本进行图像识别对基于原始复杂网络建模的图像处理方法 以及结合轮廓形状与复杂网络建模的图像处理方法的运行时间进行比较结果如表1所示。

从表1可以看出文献[7]中直接采用复杂网络建模的图像处理方法从建立模型到网络拓扑参量提取耗费时间大约为6.6h;文献[21]采用结合轮廓形状和复杂网络建模的图像

处理方法从建模到网络拓扑参量提取耗费时间大约为36 min;采用本文方法从图像预处理到得到2-CM-CB原像结构平衡矩阵整个过程只需要2.20s速度远快于文献[7]与文献

[21]的方法为实现机器视觉的实时识别提供了可能。

文献[7]中提出运用复杂网络识别人脸图像的方法以下称为原文方法。本实验将通过软件模拟该方法核心步骤并与本文方法进行比较。原文方法通过设置阈值建立不同的复杂网络模型得到不同的识别参数向量构成特征脸。原文方法设置起始值为1步长为1终止值为200分别提取对应复杂网络模型的最大值和均值得到400个识别参数再通过克罗内克乘积处理后得到800个识别参数;本文方法采用输入图像与预先构建的5个2-C M-C B结构平衡矩阵模板作Hadamard乘积得到5个2-C M-C B像结构平衡矩阵提取每个结构平衡矩阵的3个识别参数得到15个识别参数。识别参数明显减少从而减少了算法运行所需的存储空间识别速度较快。

实验2选取每组图像的前58幅图像作为训练样本其余图像作为测试样本进行目标识别并与PCA[28-29]、 Fisherface以及基于歐氏距离的建模算法进行比较实验结果如表2所示。

表2算法在YALE数据库中识别结果

[训练样本数PCA% Fisherface % 欧氏距离建模% 本文方法%577.3378.8986.6757.58673.3374.6787.2763.03780.0078.33

95.1572.73886.6784.4497.5796.97]

从表2可以看出本文方法在YALE人脸数据库中的实验结果较为理想。从识别率来看在训练样本数超过8张时本文方法效果优于经典Fisherface方法与PCA方法。文献

[21]提出的基于轮廓形状与复杂网络建模的图像识别方法虽然识别率高于本文方法但识别时间过长无法满足机器视觉技术对实时性的要求在误差允许的条件下本文方法更具有优势。

本文只是简单选取了3种图像识别方法进行对比在今后研究中可以对更多识别算法进行对比研究并考虑将其与结构平衡网络进行融合以减少结构平衡网络连接权值数量减少数据储存空间从而提高运算速度。

4结语

本文从一种新的复杂网络视角重新审视平面灰度图像将图像灰度矩阵视为复杂网络

的连接关系权值矩阵像素点可不作为节点通过Hadamard乘积变换得到像结构平衡矩阵再利用像结构平衡矩阵的拓扑结构产生新的图像识别特征参量 以此提高识别速度和识别率。最后的数值仿真验证了本文方法的有效性。然而将本文方法应用于不同的图像数据集识别效果不稳定可考虑融合其它类型的图像识别算法以提高算法鲁棒性。该方法的识别率和识别速度与Hadamard变换矩阵选择有着密切联系 因此寻找一种鲁棒性更强、更具代表性的图像识别算法是后续研究方向。