输入分片与记录课件.ppt

1、MapReduce的类型与格式夏瑞仙Page 2n MapReduce数据处理模型非常简单：map和reduce函数的输入和输出是键/值对（key/value pair）。n 本章深入讨论MapReduce模型，重点介绍各种类型的数据（从简单文本到结构化的二进制对象）如何在MapReduce中使用引言Page 3目录n MapReduce的类型 默认的MapReduce作业n 输入格式 输入分片与记录 文本输入 二进制输入 多种输入 数据库输入（和输出）n 输出格式 文本输出 二进制输出 多个输出 延迟输出 数据库输出Page 4MapReduce的类型n map:(K1,V1)list(K2

2、,V2)n reduce:(K2,list(V2)list(K3,V3)一般来说，map函数输入的键/值的类型（K1和V1）不同于输出类型（K2和V2）reduce函数的输入类型必须与map函数的输出类型相同，但reduce函数的输出类型可以不同于输入类型Page 5MapReduce的类型n map:(K1,V1)list(K2,V2)n combine：(K2,list(V2)list(K2,V2)n reduce:(K2,list(V2)list(K3,V3)combine函数与reduce函数通常是一样的，在这种情况下，K3与K2类型相同，V3与V2类型相同Page 6MapReduc

3、e的类型n partition:(K2,V2)integern partition函数将中间的键/值对（K2和V2）进行处理，并且返回一个分区索引。实际上分区单独由键决定Page 7MapReduce的类型n 为什么不能结合mapper和reducer导出类型呢？Page 8 默认的MapReduce作业n 默认的输入格式是TextInputFormat，它产生的键类型是LongWritable，值类型是Text（文本行）n 默认的mapper是IdentityMapper，它将输入的键和值原封不动地写到输出中 IdentityMapper是一个泛型类型，它可以接受任何键或值的类型，只要map

4、输入和输出键的类型相同，值的类型也相同就可以Page 9 默认的MapReduce作业n 默认的partitioner是HashPartitioner，它对每条记录的键进行哈希操作以决定该记录应该属于哪个分区。每个分区对应一个reducer任务 键的哈希码被转换为一个非负整数，它由哈希值与最大的整型值做一次按位与操作而获得，然后用分区数进行取模操作，来决定该记录属于哪个分区索引 Page 10 默认的MapReduce作业n 默认的reducer是IdentityReducer，它也是一个泛型类型，它简单的将所有的输入写到输出中 大多数MapReduce程序不会一直用相同的键或值类型，所以就想

5、上一节中描述的那样，必须配置作业来声明使用的类型 Page 11 默认的Streaming作业n 必须提供一个mappern 因为默认的输入格式TextInputFormat产生的键类型是LongWritable，值类型是Text，而Streaming的输出键和值（包括map的键和值）都是Text类型。默认的IdentityMapper无法将LongWritable类型的键转换为Text类型的键Page 12Streaming中的键和值nStreaming应用可以决定分隔符，该分隔符用于通过标准输入把键/值对转换为一串比特值发送到map或reduce函数。n分隔符默认情况下是Tab（制表符)，

6、但如果键或值本身含有Tab，它能将分隔符修改成其他符号n输出键/值对时，也需要用一个可配置的分隔符来进行分割Page 13Streaming中的键和值Page 14输入格式Page 15输入格式输入分片与记录输入分片与记录一个输入分片（split）就是由单个map处理的输入块每条记录就是一个键/值对在数据库的场景中，一个输入分片对应于一个表上的若干行，而一条记录对应到一行（DBInputFormat正是这么做的，它这种输入格式用于从关系数据库读取数据）。Page 16输入格式输入分片与记录输入分片与记录输入分片（split）在Java中被表示为InputSplit接口InputSplit包含一

7、个以字节为单位的长度和一组存储位置（即一组主机名）Page 17输入格式输入分片与记录输入分片与记录InputSplit是由InputForamt创建的。InputForamt负责产生输入分片并将它们分割成记录。Page 18输入格式n FileInputFormat类n FileInputFormat是所有使用文件作为其数据源的InputFormat实现的基类n 提供了两个功能：一个定义哪些文件包含在一个作业的输入中，一个为输入文件生成分片的实现。Page 19输入格式FileInputFormat类的输入路径Page 20输入格式FileInputFormat类的输入路径add和set方法

8、允许指定包含的文件。如果需要排除特定文件，可以使用setInputPathFilter（）方法设置一个过滤器即使不设置过滤器，也会使用一个默认的过滤器来排除隐藏文件（名称中以.和_开头的文件）Page 21输入格式FileInputFormat类的输入分片最小的输入分片大小通常是1字节最大的分片大小默认为Java long类型表示的最大值Page 22输入格式FileInputFormat类的输入分片若需增加map数,可以把mapred.min.split.size调小，把mapred.max.split.size调大若需减少map数,可以把mapred.min.split.size调大,并把

9、mapred.max.split.size调小Page 23输入格式FileInputFormat类的输入分片Page 24输入格式小文件与CombineFileInputFormatFileInputFormat会让每个输入文件至少产生一个map任务,因此如果你的输入目录下有许多文件,而每个文件都很小,例如几十kb,那么每个文件都产生一个map会增加调度开销.作业变慢.那么如何防止这种问题呢?CombineFileInputFormat能有效的减少map数量.CombineFileInputFormat是针对小文件而设计的抽象类Page 25输入格式避免切分有些应用程序可能不希望文件被切分，

10、而是用一个mapper完整处理每一个输入文件。Page 26输入格式把整个文件作为一条记录来处理Page 27输入格式将若干个小文件打包成顺序文件的MapReduce程序Page 28输入格式TextInputFormat默认的InputFormat，键是LongWritable类型，存储该行在整个文件中的字节偏移量，值是Text类型，是这行的内容，不包括任何终止符（换行符和回车符）Page 29输入格式KeyValueTextInputFormatPage 30输入格式NLineInputFormatPage 31输入格式XML大多数XML解析器会处理整个XML文档，所以如果一个大型XML文

11、档由多个输入分片组成，那么单独处理每个分片就有挑战了把整个文件作为一条记录来处理StreamXmlRecordReader类Page 32输入格式二进制输入SequenceFileInputFormat Hadoop的顺序文件格式存储二进制的键/值对的序列SequenceFileAsTextInputFormatSequenceFileAsBinaryInputFormat 变体 二进制对象 SequenceFile.Reader的appendRaw()方法Page 33输入格式多种输入数据格式往往会随着时间演变对不同的数据集进行连接（join，也称“联接”）操作MultipleInputs

12、允许为每条输入路径指定InputFormat和MapperPage 34输入格式数据库输入（和输出）DBInputFormat用于使用JDBC从关系数据库中读取数据最好用于加载小量的数据集，如果需要与来自HDFS的大数据集连接，要使用MultipleInputs DBOutputFormat适用于将作业输出数据（中等规模的数据）转储到数据库Page 35输出格式 文本输出默认的输出格式是TextOutputFormat键和值可以是任意类型，因为TextOutputFormat调用toString()方法把它们转换为字符串每个键和值由制表符进行分割与TextOutputFormat对应的输入格式

13、是KeyValueTextInputFormatNullWritablePage 36输出格式 二进制输出SequenceFileOutputFormatSequenceFileAsBinaryOutputFormatMapFileOutputFormatPage 37输出格式 多个输出Page 38输出格式 多个输出MultipleOutputFormat可以将数据写到多个文件，这些文件的名称源于输出的键和值抽象类，两个实体子类：MultipleTextOutputFormat和MultipleSequenceFileOutputFormatPage 39输出格式 多个输出MultipleOutput可以为不同的输出产生不同的类型，也意味着无法控制输出的命名Page 40输出格式 延迟输出 FileOutputFormat的子类会产生输出文件，即使文件是空的。有些应用倾向于不创建空文件，此时的LazyOutputFormat就有用了数据库输出