当前位置:首页 » 归档 - 第1页

02月10日

Hadoop之生产调优(六)_想当咸鱼的猫

发布 : zsy861 | 分类 : 《休闲阅读》 | 评论 : 0 | 浏览 : 313次
Hadoop之生产调优(六)_想当咸鱼的猫

HDFS小文件优化1.小文件弊端HDFS上每个文件都要在NameNode上创建对应的元数据,这个元数据的大小约为150byte,这样当小文件比较多的时候,就会产生很多的元数据文件,一方面会大量占用NameNode的内存空间,另一方面就是元数据文件过多,使得寻址索引速度变慢小文件过多,在进行MR计算时,会生成过多切片,需要启动过多的MapTask。每个MapTask处理

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1