【文件属性】:
文件名称:search-engine
文件大小:817.15MB
文件格式:ZIP
更新时间:2021-03-21 12:25:49
Python
搜索引擎
安装
根据:
python -m venv .env
source .env/bin/activate
pip install -U pip setuptools wheel
pip install -U nltk pandas gensim pyzstd
(不起作用) zen.py附加zen.py -基于Spacy的解决方案,速度非常慢:
pip install -U spacy[cuda112,transformers,lookups] " dask[complete] "
python -m spacy download en_core_web_trf
跑步
索引建立方式:
python main.py
建立索引后查询:
python query.py
主意
过滤停用词
单词接近度
首选文档长度(线性增长最多300个字,然后静态增长
一个字-最好
必须有2个剥线头
【文件预览】:
search-engine-main
----main.py(7KB)
----dic1_index.zstd(576.65MB)
----zen.py(3KB)
----util.py(911B)
----LICENSE(1KB)
----query.py(11KB)
----.gitignore(2KB)
----README.md(1KB)
----.gitattributes(85B)
----full.csv(638.65MB)