用MongoDB会比Redis存更多

时间:2022-01-12 08:49:46

Redis 是基于内存的数据库(数据和key放在内存里)。内存满了以后就会开始自动删除数据 url一般放在redis里面,爬取到的数据放在MongoDB里面。 MongoDB,只用来生存数据。爬到的数据存到里面就不管了。 Redis, 更像一个行列队伍,,有源源不停的URL进去,有源源不停的URL出来, URL用过一次以后不需要,跟着爬取到的数据一起存入MongoDB里面 MongoDB 不是内存型数据库,只不过把所有文件索引存到内存里而已。
同样的机型,用MongoDB会比Redis存更多,但Redis响应更快。关键的是看量有多大

可以把MongoDB当成MySQL, 把Redis当成内存

  数据交换用Redis. 数据长期化用MongoDB