爬去数据后存入 mongod数据库中

1：在settings.py 文件中设置

# MONGODB 主机名                  
MONGODB_HOST = "127.0.0.1"        
                                  
# MONGODB 端口号                  
MONGODB_PORT = 27017              
                                  
# 数据库名称                      
MONGODB_DBNAME = "xxx"         
                                  
# 存放数据的表名称                

MONGODB_SHEETNAME = "xxxx"

2: 在pipeslines.py 文件中

import json                                                   
import pymongo                                                
                                                              
from scrapy.conf import settings                              
                                                                                                           
class DoubanPipeline(object):                                 
                                                              
    def __init__(self):                                       
        host = settings["MONGODB_HOST"]                       
        port = settings["MONGODB_PORT"]                       
        dbname = settings["MONGODB_DBNAME"]                   

        sheetname= settings["MONGODB_SHEETNAME"]    

#创建数据库连接          

        client = pymongo.MongoClient(host = host, port = port)

#指定数据库

        mydb = client[dbname]             

#指定数据存放的表明                    

        self.sheet = mydb[sheetname]                          
                                                              
                                                              
    def process_item(self,item,spider):                       

       data = dict(item)             

#插入数据                         

       self.sheet.insert(data)                                

       return item                           

3:      关于mongo的操作

开启数据库：sudo service mongod start

进入数据库：mongo

显示当前：show dbs

进入库：use xxx

显示表：show collections

查看表：db.doubanmovies.find()

关闭数据库：sudo service mongod stop