神经网络基于多层感知器神经网络的小微企业信贷风险研究6800字

基于多层感知器神经网络的小微企业信贷风险研究6800字

摘要文章以多层感知器神经网络算法为基础对某小贷公司的小微企业信贷数据库中的信贷记录进行了信贷评估并将该结果与决策向量机、线性判别、二次判别和逻辑回归等数据挖掘方法进行了比较。分析结果表明从总体上看多重感知器神经网络算法优于传统的基于参数的分类方法 即多层感知器神经网络算法拥有相对较高的ROC曲线下面积和较低的预期错误分类成本。更进一步在研究所采用的4种MLP算法中基于BFGSQuasi-Newton训练算法的MLP表现最为出色可以作为金融机构进行小微信贷风险评估的辅助决策模型。

关键词多层感知器神经网络小微企业信贷评估数据挖掘辅助决策模型

一、 引言

根据《全国小型微型企业发展情况报告》 2014截至2013年末全国各类企业总数为1 527.84万户。其中小微企业1 169.87万户占企业总数的76.57%。如将4 436.29万户个体工商户纳入统计范围小微企业所占比重达到94.15%。我国的小微企业创造GDP价值占总量的60%纳税占总量的50%完成了65%的发明专利和80%以上的新产品开发。然而根据《中国小微企业白皮书》显示 目前我国小微企业融资缺口高达22万亿元超过55%小微金融信贷需求未能获得有效支持。

如何有效地评估小微企业的信贷风险对学界和业界都是一个挑战。根据Blanco等[7]的建议采用自动信用评分系统能够加快信贷审批速度降低贷前分析成本并减少人为因素对信贷审批的影响。因此从理论上研究小微企业信用风险预警体系调整商业银行对小微企业的风险评价模式构建专门的小微企业信用风险预警模型是解决小微企业融资难问题的一个重要途径。

进入20世纪90年代基于数据挖掘的信用风险评价方法大幅度提高了预测的精度以人工神经网络ANNs为代表的非参数分析方法已广泛应用于企业财务危机预警分析。ANNs信用风险模型以其较强的逼近非线性函数的优势从众多方法脱颖而出其对历史数据的模拟仿真和预测能力也显示了独特的优势。然而 由于ANNs自身的限制和理论上的不完善单一利用ANNs来评估信用风险的效果往往不理想且信用风险评估是一个综合因素作用的过程而多层感知器MLP神经网络所追求的目的就是基于多因素评估结果的最优决策。为了突破传统ANNs的局限本文引入MLP对小微企业的信用风险进行评估研究并将结果和传统的线性判别LDA二次判别分析法QDA和逻辑回归LR进行比较。

二、 文献综述

小微企业信贷风险评估主要包括两个方面 1对新申请者做出判断 2贷后违约预测。以往学界研发了大量的方法和模型加速信贷决策的过程。如线性判别分析和逻辑回归是两类最常用的用于构造信贷风险评估模型的线性统计工具。然而有学者指出在现实环境下 由于LDA所依赖的两个假设 即输入变量服从多元正态分布违约和非违约样本的色散矩阵或方差-协方差矩阵相等通常得不到满足 因而精度欠佳。

ANNs的出现有效地弥补了传统方法的不足。 由于ANNs具备在复杂环境下利用大量不确定信息对研究群体进行分类的能力 因而近年来被广泛应用于对复杂过程的估计和预判。神经网络也称人工神经网是近年来信用评估领域的热点方法作为一门新兴的信息处理科学 ANNs对人脑若干基本特征进行抽象和模拟 以人的大脑工作模式为基础研究自适应

及非程序信息处理方法。 ANNs的优点是对数据的分布要求不严格也不要求详细表述自变量与因变量之间的函数关系能有效解决非正态分布、非线性信用评估问题。但神经网络也有自身的缺点即为了获得最优的网路而导致训练时间过长和难以辨别输入变量的相对重要性。

在ANNs方法中多层感知器MLP神经网络因其出色的性能而被应用于风险评估领域。Werbos创立的反向传播算法已被广泛应用于MLP。 MPANN Memetic pareto artificialneural networks通过多目标进化算法和以梯度为基础的局部搜索对BP算法进行优化。

对神经网络的改进包括改变训练的比率和测试数据库 隐藏阶段的数目和训练循环等。Khashman通过对德国数据集进行研究通过9种学习方案对不同的训练/验证比数据进行了研究。结果发现用400个例子做训练并用600个例子总验证的学习方案表现最佳总准确率达83.6%。情感神经网络是一类改进的BP学习算法它通过两个额外的情感参数――焦虑和自信对情感权重进行更新。通过将情感神经网络和传统的神经网络进行对比 Khashman发现传统的神经网络和情感神经网络都有效但情感神经网络在速度和准确率方面更胜一筹。另一种改善MLP的方法是人工突出可塑性MLP其在某种分类仅有少数几种可用模式或当小概率时间包含的信息对成功应用至关重要时特别有效。通过运用可塑MLPMarcano-Cedeno等在德国数据集上获得了84.67%的准确率在澳大利亚数据集上获得了92.75%的准确率。

三、 实证研究

1.数据集。本文使用某小贷公司小微信贷数据库中的信息数据的时间跨度从2010年至2014年。其中包含以下几类信息

1小微企业法人或实际控制人的个人信息

2小微企业经济和财务比率数据

3小微企业当前信贷数据

4宏观经济数据。

经过初筛并剔除异常记录共获得5434个小微企业样本。根据某绝大多数金融机构的定义贷款逾期超过15天即算贷款违约。其中4 766个小微企业未发生贷款违约 占比为87.85%剩余668个小微企业都存在不同程度的贷款违约 占比为12.15%。为了对分类模型LDA、 QDA、 LP、 SVM和MLP进行有效对比本文将数据集随机分为两个不相交的子集其中75%的样本作为训练子集 25%的样本作为测试子集。测试子集总计包含1359个小微企业样本13.23%的小微企业发生贷款违约 86.77%的小微企业未发生贷款违约。每一个模型都采用10次交叉检验。采用交叉检验的优点在于信贷模型能够最大限度地包含可用数据75%的样本。 2.数据描述。小微企业信贷风险评估的首要工作是构建一个适合小微企业特点的信用风险评估指标体系。结合我国的具体国情参照沈军彩和徐继红Blanco等Mittal等的指标设置本文选择9个财务指标 16个非财务指标和5个宏观经济指标见表1。本次研究特色之一是指标体系包含了影响小微企业信贷履约情况定性指标。之所以选择这些指标主要有以下考虑 1 Schreiner认为相比大中型企业 由于小微企业自身的原因无法全面量化运营数据。因此部分信贷数据以定性和非正式形式记录2 Blanco等的研究表明在信贷风险评估模型中加入定性指标有助于提高模型的预测能力。此外 由于借款人的履约能力与宏观经济状况存在密切联系因此在信贷风险评估模型中加入宏观经济变量能够增强模型的解释和预测能力。因变量方面采用二进制变量 0=没有违约 1=产生违约。

3.研究方法和实验设计。国内外关于ANNs在信贷风险评估中的应用类型包括模式神经网络、概率神经网络、扩展学习向量器和多层感知器MLP等。其中 MLP是在商业领域应用最为广泛的一类ANNs模型。根据相关研究本文采用三层感知器图1其中输出层

为单个违约概率判别节点。这一值由逻辑神经元激活函数g u =eu/ eu+1获得。 以H代表隐蔽层的规模 {vih i=0 1 2 … p h=1 2 … H}作为p个输入和第一层之间突触权重 {wh h=0 1 2 … H}作为连接隐藏节点和输出节点之间的突触权重。 由此 当输入向量为x1 … xp时 ANNs的输出结果为y=g w0+whg v0h+vi hxj 1

输出的结果即为根据输入参数获得的违约概率。通过将y与阈值进行比较如0.5就能对申请企业的贷款违约进行预判如y>0.5则表明 申请人贷款违约的概率较大。

在输入数据之前本文首先通过线性回归模型对变量进行筛选选择具有统计显著性的变量作为输入参数p≤0.05且预测变量都线性分布在[-1 1]之间。Matlab和R作为工具对MLP和其他算法进行分析。

R的神经网络工具箱具备对拟牛顿法Quasi-Newton算法运用BFGS过程分析单隐蔽层ANNs的功能。参考Blanco等的方法令W= W1 …WM为网络的M个相关系数矩阵令yi i=1 … n为违约标识 1代表违约 0代表没有违约 同时为了避免过度拟合特引入衰减项λ。对于分类问题合理的误差函数就是熵的条件最大化标准。因此可得如下函数

yi lnyi+ 1-yi ln 1-yi +λ W2i 2

在R中部署MLP模型需要指定两个参数 隐蔽层的规模H和衰减项λ 因此需通过10次交叉验证搜索隐蔽层H和格点{1 2 … 20}×{0 0.01 0.05 0.1 0.2 … 1.5}。Matlab包含的神经网络工具箱也能对MLP模型进行求解。有6种常用的算法可以用作训练规则分别是Gradient descent、 Gradient descent with momentum、 BFGS Quasi-Newton、Levenberg-Marquardt、 Scaled conjugate gradient和Resi l ient back-propagation。这6种算法的基本思想都是使误差平方和最小

yi-yi 2 3

在判别准则方面本文采用ROC曲线下面积AUC、测试准确率、 I类错误率、 I I类错误率和预期错误分类成本EMC。其中 AUC是反映连续变量敏感性和特异性的综合性指标它用构图法揭示敏感性和特异性的相互关系并通过连续变量设定出多个不同的临界值从而计算出一系列敏感性和特异性再以敏感性为纵坐标、 1-特异性为横坐标 曲线下面积越大诊断准确性越高。 EMC的定义如下

EMC=C21P21π1+C12P12π2 4

其中 π1和π2分别是优质与不良的信贷群体的先验概率 P21和P12分别是I类错误和I I类错误的概率。其中 P21是优质信贷群体被误判为不良信贷群体的概率 P12则是不良信贷群体被误判为优质信贷群体的概率。π1和π2是优质信贷群体和不良信贷群体的比例。

为比较MLP与其他模型的有效性本文将MLP模型与传统的LDA、QDA、 SVM和LR进行比较。其中 SVM采用径向基核函数RBF。在MLP参数设置方面设定学习精度ε=0.000

1最大训练次数为1 000根据Kolmogorov定理设置隐含层节点数65。在LDA和QDA参数设置方面最小化10次交叉验证的误差门槛值为0.35。在LR参数设置方面最小化10次交叉验证的误差门槛值为0.58。在SV M参数设置方面需要指定惩罚系数-c与核参数-γ通过对RBG径向基核函数的最优参数筛选确定c=512 γ=0.008 563作为建立模型的基本参数构造SV M分类评估模型。

4.对比分析。表2总结了MLP的6种训练算法、 SVM、 LDA、 QDA、 LR的测试结果。从中可以看出基于BFGS Quasi-Newton训练算法的MLP获得最高的AUC 0.961最高的测试准确率88.54%最低的I I类错误率16.43%和最低的EMC 0.432。 I类错误率最低3.66%的是基于Scaled conjugate gradient训练算法的MLP但与之相伴的是最高的I I类错误率22.54%。从图2 各模型的AUC值和EMC值的分布可以看出基于BFGS

Quasi-Newton训练算法的MLP效果最佳位于图2的右下部该算法3层感知器结构 由20个输入节点、 3个隐藏借点和1个输出节点构成采用10次交叉验证衰减项λ=0.2。基于BFGS Quasi-Newton训练算法的MLP之所以能够取得最高AUC值和最低EMC值是引入了二阶训练算法的缘故。根据本文使用的样本数据二阶训练算法的效果比传统的梯度下降Gradient descendent算法更有效这一结果与之前的一些研究结果相吻合。此外传统的方法如LDA、 QDA和LR无论在AUC值还是EMC值方面都明显弱于MLP二阶训练方法如BFGS Quasi-Newton、 Levenberg-Marquardt、 Scaled conjugate gradient和Resi l ientback-propagation等。在参数模型方面 LDA和QDA的AUC值都明显低于LR 0.937这一结果与West和Lee等的结论相一致 即LR优于LDA和QDA。然而本次研究的所有参数模型中 LDA拥有最高的测试准确率86.49% QDA拥有最低的EMC 0.515。因此很难对本次研究的三个参数模型 LR、 LDA和QDA的优劣做出评判 同样采用I类错误率和I I类错误率也很难做出明显的评价。 从总体看非参数模型不仅拥有较高的AUC和较低的错误分类成本。此外尽管存在黑箱属性等但在小微企业信贷风险评估方面 MLP仍不失为一种较为优良的方法。正如We st指出的对金融机构而言即使提高1%的预测精度也能带来数亿的利润。就测试准确率而言最优的MLP算法与其他算法的差别从0.72Levenberg-Marquardt到3.31 QDA。因此部署基于MLP的神经网络算法的确能够显著降低小微信贷的损失。再者采用诸如ANNs等非参数方法还能带来管理方面额优势如更符合Basel I I的内部评级法所规定的资本充足率要求等。

四、 结论

本文构建了一个包含企业财务指标非财务指标和宏观经济指标的小微信贷评价指标体系。通过对某小贷公司小微数据库内的样本进行测试本文对4种MLP神经网络算法、 1种决策向量机和3种传统的基于参数的分类方法进行了分析。实证结果表明MLP从总体上优于传统的基于参数的分类方法在4种MLP算法中基于BFGS Quasi-Newton训练算法的MLP表现最为出色可以推荐企业使用。此外本文将企业的信贷评价指标作为模型的学习样本进行评估推理知识学习具有一定的动态特性金融机构在实际使用过程中可以酌情增删指标 以提高模型的预测精度。最后正如李晓峰和徐玖平所言 ANNs使用非线性函数更贴近复杂的非线性动态经济系统摆脱了古典经济学赖以生存的线性分析工具能够更为准确地反映企业的信息故比传统方法具有更大的优势这为企业信用的综合评估提供了可行的途径。

参考文献

[1]国家工商总局全国小型微型企业发展报告课题组.全国小型微型企业发展情况报告摘要 [N].中国工商报 2014-03-29.

[2]郭文伟陈泽鹏钟明.基于MLP神经网络构建小企业信用风险预警模型[J].财会月刊 2013 6 22-26.

[3]胡海青张琅张道宏.供应链金融视角下的中小企业信用风险评估研究――基于SV M与B P神经网络的比较研究[J].管理评论 2012 24 11 70-80.

[4]宿玉海彭雷郭胜川.基于BP神经网络的商业银行信用风险模型改进探究[J].山东财政学院学报 2012 118 2 12-19.

[5]高尚.支持向量机及其个人信用评估[M].西安西安电子科技大学出版社 2013.

[6]沈军彩徐继红.神经网络的企业信用风险评估应用研究[J].计算机仿真 2012 293 254-257.

[7]李晓峰徐玖平.商业银行客户信用综合评估的BP神经网络模型的建立[J].软科学

2010 24 2 110-113.