大数据预处理技术第4章数据清理课件.pptx

1、数据导入与预处理应用-第四章数据清理离不开的主题-数据数据机器学习人工智能数据挖掘数据分析 一切的美好都是建立在庞大而整洁的数据之上，然而，现实中的数据却是：为什么要数据清理？数据质量差错误缺失不一致重复不完整无效不合规数据清理做些什么？数据清理，数据清理，就是试图检测和去除数据集中的噪声数据和无关数据，处理遗漏数据，去除空白数据域和知识背景下的白噪声，解决数据的一致性、重复性问题，从而达到提高数据质量的目的。第四章 数据清理 4.1 数据清洗概述 4.2 数据排重 4.3 使用脚本组件进行数据清理4.1 数据清洗概述数据源数据源数据源数据集市数据集市数据集市数据仓库Kettle.4.常用的数

2、据清洗步骤介绍Kettle没有单一的清洗步骤清洗工作，需要结合多个步骤来完成。数据的清洗工作从抽取数据就开始了！e.g.“表输入（Table input）”步骤SELECT student_id,scoreFROM student_infoORDER BY score DESC注意注意：难维护，当SQL语句太过复杂时，后期的维护会非常困难。无法审计，数据进入Kettle已经做过清洗，Kettle无法提供审计功能。4.常用的数据清洗步骤介绍转换目录校验目录脚本目录其它目录4.常用的数据清洗步骤介绍 计算器（Calculator）字符串替换（Replace in string）字符串操作（Stri

3、ng operations）字符串剪切（Strings cut）拆分字段（Split Fields）合并字段（Concat Fields）拆分字段成多行（Split filed to rows）值映射（Value Mapper)字段选择（Select values）去除重复记录（Unique rows）去除重复记录(哈希值)（Unique rows(HashSet)转换目录下的常用清洗步骤：4.常用的数据清洗步骤介绍 信用卡号码校验（Credit card validator）电子邮箱校验（Mail Validator）数据校验（Data Validator）正则表达式验证（Regex Eva

4、luation）公式(Formula)JavaScript代码（Modified Java Script Value）用户自定义Java类（JDBC）模糊匹配（Fuzzy match）.4.2 字符串清洗IDCODECITY 0 10BJ-BeiJing10755SZ-ShenZhen 20023CQ-CHONGQING 3021aSH-shanghaiID字段有些无效的空白字符CODE也就是区号字段里有无效的字母，并且有些区号前没有0CITY字段里大小写不统一，并且可能并不需要前面两个字母的缩写4.2 字符串清洗转换目录下有三个清洗字符串的常用步骤：字符串剪切（Strings cut）字符串

5、替换（Replace in string）字符串操作（String operations）字符串剪切：他的作用正如他的名字字符串替换：由于支持正则表达式的原因，他的功能比从字面上了解的要强大许多字符串操作：功能丰富n 字符串首尾空白字符去除：Trim typen 大小写：Lower/Upper、InitCapn 填充字符设置：Padding、Pad char、Pad Lengthn 数字移除/提取：Digitsn 删除特殊字符：Remove Special character4.2 字符串清洗”字符串操作“步骤：感谢您的观赏T H A N K Y O U F O R W A T C H I N G