第3章非参数判别分类方法课件.ppt

1、0是一个常数，称为阈值权 g(X)/|W|R0=w0/|W|XXpR1:g0R2:g0,决策：Xw1 g(x)0,决策：Xw2 g(x)被称为广义线性判别函数，a 称为广义权向量 将g(x)中的W向量与w0统一表示成 称为增广样本向量 a:称为增广权向量(广义权向量)它使特征空间增加了一维，但保持了样本间的欧氏距离不变，对于分类效果也与原决策面相同，只是在Y空间中决策面是通过坐标原点的，这在分析某些问题时具有优点，因此经常用到。分子分母分母：对向量的求导(或偏导)的定义是 由于Sw非奇异，两边乘以Sw-1得 是在两类正态分布但具有相同的协方差矩阵时，按最小错误率的贝叶斯决策得到的结果。当 与

2、已知时（P(W1)、P(W2)已知时）实验 21YY-YYY:若若令Y)k(aYYY)k(aY)1k(a0Y)k(a)1k(aTTkTTkk，0)ya()a(JkyyTpkkyyyyTpp)y(a)ya(a)a(J)a(J0y)k(aJ)k(a)1k(akypkk，dTTdTNNNNdyyyyyyyyYyyyy11121122122212bbbb *()()()min()sgn(),sgn()()max()qqqaNiiqiiiqqaJaYabYabJaJay ay ajy ay aJaJa2111212211012102、共梯度法求解、搜索法求解dTTdTNNNNdyyyyyyyyYyyyy

3、11121122122212bbbbN12a*()()()min()NTsnnnssJ aeYaba ybJ aJ a22211n2n3n4n5T1 t2 t3 t4 t5 t6 t7t1t2t3t4t5n1n2n3可见在一般情况下P是大于零的值，只要P(1|X)P(2|X)0。有以下两种例外情况P0，这两种情况是P(1|X)1的情况或P(1|X)P(2|X)1/2。不同k值时的错误率 0 0.25 0.50.50.250原始样本集 一次迭代的结果，三次迭代留下的样本 算法终止时留下的样本 压缩近邻法得到的样本集及其分界决策面 剪辑近邻法得到的样本集剪辑近邻法得到的样本集虚线表示贝叶斯决策面实线为最近邻法相应的决策域边界