1.问题描述
在执行scrapy crawl命令爬取数据的时候,代码报了以下错误:
ImportError: No module named items
但显然我们代码里面是有items这个类的。那问题出现在哪里呢?
求助万能的stack overflow,发现正好有谈到这个问题。
2.问题产生原因
简单一句话来描述就是:
爬虫的名字跟项目的名字一样,导致最终导入的时候出错
3.解决方案
*给的方案里有三种:
1.改项目名称
2.改爬虫名称
3.在爬虫的代码里加入from __future__ import absolute_import
前两种方案都是为了使项目的名字与爬虫的名字不一致,后一种方案则是为了改变import的方式。
4.absolute_import小结
from __future__ import absolute_import
这句 import 并不是指将所有的导入视为绝对导入,而是指禁用 implicit relative import(隐式相对导入), 但并不会禁掉 explicit relative import(显示相对导入)。
那么到底什么是隐式相对导入,什么又是显示的相对导入呢?我们来看一个例子,假设有如下包结构:
thing
├── books
│ ├── adventure.py
│ ├── history.py
│ ├── horror.py
│ ├── __init__.py
│ └── lovestory.py
├── furniture
│ ├── armchair.py
│ ├── bench.py
│ ├── __init__.py
│ ├── screen.py
│ └── stool.py
└── __init__.py
那么如果在 books 中引用 bench,则有如下几种方式:
import bench # 此为 implicit relative import
from . import bench # 此为 explicit relative import
from furniture import bench # 此为 absolute import
隐式相对就是没有告诉解释器相对于谁,但默认相对与当前模块;而显示相对则明确告诉解释器相对于谁来导入。以上导入方式的第三种,才是官方推荐的,第一种是官方强烈不推荐的,Python3 中已经被废弃,这种方式只能用于导入 path 中的模块。
参考链接:
1.http://*.com/questions/10570635/scrapy-importerror-no-module-named-items
2.http://kuanghy.github.io/2016/07/21/python-import-relative-and-absolute