文件名称:datawake-prefetch
文件大小:1.06MB
文件格式:ZIP
更新时间:2024-05-27 17:30:06
Python
数据唤醒预取 DataWake预取会在互联网上搜索用户提供的关键字,抓取这些页面,并向用户提供包含这些关键字的网站的排名列表。 什么是数据唤醒? DataWake Prefetch是一个多层软件系统,由客户端应用程序(Firefox附加组件),Web服务器(tangelo)和分布式后端平台(kafka,storm,zookeeper等)组成。 DataWake Prefetch使用高速分布式搜寻器来查找要搜索的相关页面。 快速开始 先决条件 在Windows或OSX上工作? 检出DataWake预取: $ git clone https://github.com/sotera/datawake-prefetch.git 建立数据库: $ cd dev-env/ $ docker-compose up -d mysql $ ./init-db.sh 启动DataWake预取容器