一个关注IT技术分享,关注互联网的网站,爱分享网络资源,分享学到的知识,分享生活的乐趣。
HDFS小文件优化1.小文件弊端HDFS上每个文件都要在NameNode上创建对应的元数据,这个元数据的大小约为150byte,这样当小文件比较多的时候,就会产生很多的元数据文件,一方面会大量占用NameNode的内存空间,另一方面就是元数据文件过多,使得寻址索引速度变慢小文件过多,在进行MR计算时,会生成过多切片,需要启动过多的MapTask。每个MapTask处理
关于我们 | 我要投稿 | 免责申明
Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1