昨天去百度面试:人家问爬虫download下来的picture 全部放到一个文件夹,
因为文件夹的文件数目是受限的,所以问下有没有其他办法存
啊?我不知道文件夹下的文件数目是受限的啊?所以说还没考虑那么多。
查看了一些资料,一般是不会发生文件数目超过的情况的。
引文根目录受限范围是 32000 其他目录文件数目是不受限的。
但是受到总文件数目的控制,inodes;
查看总inodes 剩余数目如下:
luis@luis-Lenovo:~$ sudo tune2fs -l /dev/sda2|grep inodes
[sudo] password for luis:Free inodes: 29642202
还有一种存储大图片文件的方式,用mongodb 的 gridfs 把图片文件分成小块,16k 然后每次读出的时候一起读出。
但是如果文件比较小就没必要了,因为调度也费时间。