【文件属性】:
文件名称:datawake-prefetch
文件大小:1.06MB
文件格式:ZIP
更新时间:2021-05-07 23:43:26
Python
数据唤醒预取
DataWake预取会在互联网上搜索用户提供的关键字,抓取这些页面,并向用户提供包含这些关键字的网站的排名列表。
什么是数据唤醒?
DataWake Prefetch是一个多层软件系统,由客户端应用程序(Firefox附加组件),Web服务器(tangelo)和分布式后端平台(kafka,storm,zookeeper等)组成。
DataWake Prefetch使用高速分布式搜寻器来查找要搜索的相关页面。
快速开始
先决条件
在Windows或OSX上工作?
检出DataWake预取:
$ git clone https://github.com/sotera/datawake-prefetch.git
建立数据库:
$ cd dev-env/
$ docker-compose up -d mysql
$ ./init-db.sh
启动DataWake预取容器