数据标准化归一化方法课件.pptx

1、数据标准化数据标准化/归一化归一化演讲人2021-08-09min-max 标准化标准化01(0,1 区间-1,1 区间特点：简单易理解，不改变数据分布缺陷：有新数据加入时，可能导致max和min的变化，需要重新定义计算公式：X*=(X-min)/(max-min)计算公式：X*=(X-xmean)/(max-min)xmean为数据均值 min-max 标准化z-score 标准化标准化021.计算公式：X*=(X-)/（为均值，为标准差）2.适用范围：适用最大值和最小值未知的情况，或有超出取值范围的离群数据的情况3.特点：改变数据分布，对离群点规范化效果好4.缺陷：要求原始数据的分布可以近

2、似为高斯分布（正态分布），否则归一化的效果很差z-score 标准化log 函数转换函数转换 03log 函数转换 计算公式：X*=log10(X)/log10(max)要求：所有的数据都要大于等于1Logistic/Softmax 变换变换 04子主题Logistic/Softmax 变换 模糊量化模式模糊量化模式05计算公式：X*=1/2+1/2sin/(max-min)*(X-(max-min)/2)模糊量化模式权重权重06权重专家咨询权数法（特尔斐法）根据专家对指标的重要性打分来定权，重要性得分越高，权数越大优点：集中来众多专家的意见缺点：通过打分直接给出各指标权重难以保持权重的合理性

3、算术平均法、频数统计法、加权统计法子主题标准化标准化07 定义：数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间 特点：去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权 归一化处理 定义：数据的归一化处理，即将数据统一映射到 0,1 区间上 优势1：提升模型的收敛速度 优势2：提升模型的精度（让各个特征对结果做出的贡献相同）标准化arctan 函数转换函数转换 08arctan 函数转换 计算公式：X*=arctan(X)*2/特点：如果想映射的区间为0,1，则数据都应该大于等于0，小于0的数据将被映射到-1,0区间

4、 小数定标标准化小数定标标准化09小数定标标准化数 据 范 围：-1,1 适 用 范 围：适 合 数 据 初 期 探 索，不 消 除 属 性 件 的 权 重 差 异计 算 公 式：X*=X/(1 0 j)（j 是 满 足 条 件 的 最 小 整 数）特 点：直 接、简 单，不 改 变 数 据 分 布注 意 点：会 对 原 始 数 据 做 出 改 变，需 要 保 存 所 使 用 的 标 准 化 方 法 的 参 数，以 便 对 后 续 的 数 据 进 行 统 一 的 标 准 化排序归一排序归一10排序归一计算公式：X*=X_rank/X_sum (X_rank 为排名，X_sum 为数据记录条数)数据范围：(0,1特点：将数据变成直线分布适用范围：对数据具体值不关心，更关心数据的相对排序感谢聆听感谢聆听