文件名称:HDFS原理介绍
文件大小:584KB
文件格式:DOCX
更新时间:2021-10-29 05:01:01
hdfs
保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 2. 运行在廉价的机器上。 3. 适合大数据的处理。HDFS默认会将文件分割成block,64M为1个block。 然后将block按键值对存储在HDFS上,并将键值对的映射存到内存中。如果小文件太多,那内存的负担会很重。 (笔记:HDFS不适合小文件存储:小文件多,造成内存负担。)
文件名称:HDFS原理介绍
文件大小:584KB
文件格式:DOCX
更新时间:2021-10-29 05:01:01
hdfs
保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 2. 运行在廉价的机器上。 3. 适合大数据的处理。HDFS默认会将文件分割成block,64M为1个block。 然后将block按键值对存储在HDFS上,并将键值对的映射存到内存中。如果小文件太多,那内存的负担会很重。 (笔记:HDFS不适合小文件存储:小文件多,造成内存负担。)