这个CombineTextInputFormat的切片机制的作用是,假如你有1000000个小文件的话,如果你用
TextInputFormat他每个小文件都会,创建一个MapTask进行处理,这样的话,就非常的慢了.
这个时候就可以用这个CombineTextInputFormat来处理,这个工具可以把多个小文件,逻辑上
规划到一个切片中,交给一个MapTask进行处理.
然后我们看,如果我们设置了CombineTextInputFormat的最大的大小是4m,那么,是否超过4m就会切片呢? 不一定,来看原理.
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）