基于Choquet模糊积分的多分类器系统多样性研究课件.ppt

1、基于基于Choquet模糊积分的多分类模糊积分的多分类器系统多样性研究器系统多样性研究报告人：张国防报告人：张国防2022-12-301主要内容主要内容基于模糊积分多样性的定义基于模糊积分多样性的定义泛化误差不等式泛化误差不等式 模糊测度的多样性训练算法模糊测度的多样性训练算法学习学习 模糊测度的非线性规划模型模糊测度的非线性规划模型数据实验结果数据实验结果进一步的工作进一步的工作参考文献参考文献 gg2022-12-302对某输入模式 有如下输出：BACKxDecision profile(DP()xClassifiersClass labelFuzzy measureFusion outp

2、ut for each class111111()()()()()()()()()jMjMLLLjMVxVxVxVxVxVxVxVxVx1:LDDD11()()()jjMMCCC1()()()jMV xVxVx*1,2,()()max()jjjjMD xCDxVx 12,MCCC 1()()()jMfxfxfxTrue function for each class多分类器系统多分类器系统(MCS)MCS)的输出的输出2022-12-303基于模糊积分的多样性定义基于模糊积分的多样性定义 假定整个训练集合含有从概率分布为 的数据集合中随即抽取的 个样例。()p xp对于单个输入模式，基于Cho

3、quet模糊积分的多样性定义：1()()()Mjjjdxcdx d1222()()(),()(),()()Ljjjjjjjd xV xV xVxV xV xV x其中：对于整个训练集合，基于Choquet模糊积分的多样性定义：1()()MjjjDcDx d1222()()()(),()()(),()()()LjjjjjjjDxVxV xp x dxVxV xp x dxVxV xp x dxBACK2022-12-304泛化误差不等式泛化误差不等式 整个讨论中，假定学习任务是学习M个函数:0,1njfR 1,2,jM()()()e xxd x21()()()Mjjje xfxVx1()()()

4、Mjjjxcx d1222()()(),()(),()()LjjjjjjjxVxfxVxfxVxfx对于单个输入模式，泛化误差不等式：对于单个输入模式，泛化误差不等式：EED1()()MjjEex p x dx1()MjjjEcE d1,2,jM1,LjjjjE2()()()jjjVxfxp x dx1,2,3,LBACK2022-12-305模糊测度多样性训练算法模糊测度多样性训练算法该训练算法考虑了分类器的训练误差和多样性两个参数 如果两个参数之一的提高导致另一个参数的极度下降，那么我们就不对密度做任何调整。规定一个阈值为可接受的下降程度，这样密度的调整条件的判断如下：如果两个参数之一的提

5、高程度小于阈值，那么另一个参数的可接受最大下降程度等于前一个参数的提高程度。如果两个参数之一的提高程度大于阈值，那么另一个参数的可接受最大下降程度等于规定的阈值。BACK2022-12-306Step1:初始化各类密度值；Step2:对样例集合进行分类，得出训练精度，如果达到所要求的训练精度，那么停止学习，返回各类密度值，否则转Step3；Step3:计算整个训练集的多样性值 ；Step4:对训练集中被系统分错的每一个样例 进行如下操作：计算关于单个 样例 的多样性值 ，如果 进行以下过程，否则进行下一个样例；判断是否满足密度调整的条件，如果不满足，那么进行下一个样例，否则，（1）该样例类别所

6、对应的密度值增加；（2）其他类别所对应的密度值减少；对训练集搜索一遍后返回各类密度值；Step5:根据Step4得到的密度值对训练集分类，得到训练精度，若精度满足要求，则停止学习，返回密度值，否则计算对应于Step4得到的密度值的整个训练集合的多样性值 ，如果 那么 否则 不变，转Step4；Dx()d xD,DD,DDDx(),d xDBACK2022-12-307模糊密度值的调整与积分值之间的关系模糊密度值的调整与积分值之间的关系()(1)()1()()()()ncfdfxfxA()(1)(2)()0()()()1nf xf xf x()()(1)(),nAxxx(0)()0f x 满足:

7、调整步长：0.0830调整步长：0.0492BACK2022-12-308()(1)(2)()0()()()1nijijijf xf xf x()()(1)(),nAxxx(0)()0ijfx 满足:1212111(,)LLMMMDD g ggggg2()(1)2()11111()()()MLNNijijijijjjiiVVVVDAMNN ()(1)(1)()()()jjjjjjAgAgA11(1)Lsjjjsg()(1)()1()()()()nijjijijjcf dfxfxA()(1)()1()()()()nittitittcf dfxfxA121211112(1)1max(,),()(1

8、)()()1,2,1,1,(2)1(3)01,2,(1)1,2,1,2LLMMMTMNllijjlittjlf g gggggDsubject tofor i j lNLP Icf dcf dtjjMfor jlMN TiNj ,M2022-12-309x,fval fm incon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options)A xbAeq xbeq上述非线性约束优化问题可以用MATLAB优化工具箱中的fmincon函数来求解，因为约束为非线性约束，所以不可能将约束条件信息直接包含在函数的输入参数中，必须编写函数返回在每一个点处的约束值，然后再调用优化函

9、数fmincon。fun目标函数名;X0初始点;lb决策变量的下界;ub决策变量的上界;nonlcon返回约束值的函数名；options优化选项参数。x,fval fmincon(fun,x0,lb,ub,nonlcon,options)2022-12-3010数据试验结果数据试验结果(优化)BACK2022-12-3011数据试验结果数据试验结果(多样性算法多样性算法)从Abalone数据库中选取第5，6，7类数据共756个样例，输入数据属性为数据样例的7个连续值属性，训练9个神经网络分类器进行算法试验。BACK返回2022-12-301240060080010001200140016001

10、80000.10.20.30.40.50.60.7Figure 1number of cyclecapacity of diversity error and accuracy increasing50010001500200025003000350040004500500000.050.10.150.20.250.30.350.40.450.5Figure 2number of cyclecapacity of diversity error and accuracy increasing010002000300040005000600000.050.10.150.20.250.30.350

11、.40.450.5Figure 3num ber of cyclecapacity of diversity error and accuracy increasingBACK2022-12-3013进一步的工作进一步的工作利用遗传算法求解与其它多样性度量方法的比较训练集合与测试集合规模的确定BACK2022-12-3014参考文献参考文献1 Michel Grabisch,Toshiaki Murofushi and Michio Sugeno,Fuzzy Measure and Integrals Theory and Applications,New York,Physica-Verla

12、g Heidelberg,2000.2 Zhenyuan Wang and George J.Kllr,Fuzzy measure theory,New York,Plenum Publishing Corporation,1992.3 Ludmila I.Kuncheva,Fuzzy Classifier Design,New York,Physica-Verlag Heidelberg,2000.4 Ludmila I.Kuncheva,Combining Pattern Classifiers Methods and Algorithms,New Jersey,John Wiley an

13、d Sons,Inc.Hoboken,2004.5 Gabriele Zenobi,A detailed derivation of the relationship between generalization error and ambiguity in regression ensembles,Trinity College Dublin.6 Michel Grabisch,Fuzzy integral in multicriteria decision making,Fuzzy Sets and Systems 69(1995)279-298.7 Robert E.Banfield,L

14、awrence O.Hall,Kevin W.Bowyer and W.Philip Kegelmeyer,A New Ensemble Diversity Measure Applied to Thinning Ensembles,International Workshop on Multiple Classifier Systems,pp.306-316,2003.2022-12-30158 Gabriele Zenobi and Padraig Cunningham,Using Diversity in Preparing Ensembles of Classifiers Based

15、on Different Feature Subsets to Minimize Generalization Error,Trinity College Dublin.9 Dymitr Ruta and Bogdan Gabrys,New Measure of Classifier Dependency in Multiple Classifier Systems,United Kingdom.10 Zhenyuan Wang,Kwong-Sak Leung,Man-Leung Wong and Jian Fang,A new type of nonlinear integrals and

16、the computational algorithm,Fuzzy Sets and Systems 112(2000)223-231.11 Amanda J.C.Sharkey and Noel E.Sharkey,Diversity,Selection,and Ensembles of Artificial Neural Nets,U.K.12 Michel Grabisch,The representation of importance and interaction of features by fuzzy measures,Pattern Recognition Letters 1

17、7(1996)567-575.13 Zhenyuan Wang,Kwong-Sak Leung and Jian Fang,Determining nonnegative monotone set functions based on Sugenos integral:an application of genetic algorithm,Fuzzy Sets and Systems 112(2005)155-164.14 James M.Keller and Jeffrey Osborn,Training the Fuzzy Integral,International Journal of Approximate Reasoning 1996.BACK2022-12-30162022-12-30172022-12-3018