datawake-prefetch

时间:2024-05-27 17:30:06
【文件属性】:

文件名称:datawake-prefetch

文件大小:1.06MB

文件格式:ZIP

更新时间:2024-05-27 17:30:06

Python

数据唤醒预取 DataWake预取会在互联网上搜索用户提供的关键字,抓取这些页面,并向用户提供包含这些关键字的网站的排名列表。 什么是数据唤醒? DataWake Prefetch是一个多层软件系统,由客户端应用程序(Firefox附加组件),Web服务器(tangelo)和分布式后端平台(kafka,storm,zookeeper等)组成。 DataWake Prefetch使用高速分布式搜寻器来查找要搜索的相关页面。 快速开始 先决条件 在Windows或OSX上工作? 检出DataWake预取: $ git clone https://github.com/sotera/datawake-prefetch.git 建立数据库: $ cd dev-env/ $ docker-compose up -d mysql $ ./init-db.sh 启动DataWake预取容器


网友评论