Redis 是基于内存的数据库(数据和key放在内存里)。内存满了以后就会开始自动删除数据
url一般放在redis里面,爬取到的数据放在MongoDB里面。
MongoDB,只用来生存数据。爬到的数据存到里面就不管了。
Redis, 更像一个行列队伍,,有源源不停的URL进去,有源源不停的URL出来,
URL用过一次以后不需要,跟着爬取到的数据一起存入MongoDB里面
MongoDB 不是内存型数据库,只不过把所有文件索引存到内存里而已。
同样的机型,用MongoDB会比Redis存更多,但Redis响应更快。关键的是看量有多大
可以把MongoDB当成MySQL, 把Redis当成内存
数据交换用Redis. 数据长期化用MongoDB