文件名称：变体：消除网页抓取的麻烦
文件大小：771KB
文件格式：ZIP
更新时间：2024-02-23 03:25:29
docker civictech webscraping DockerRuby
目录 morph.io：一个抓取平台 的 通过所有代码和协作 用Ruby，Python，PHP，Perl或JavaScript（NodeJS，PhantomJS）编写刮板 简单的API来获取数据 计划刮板或手动运行 通过进程隔离 从移动刮板代码和数据 刮板损坏的电子邮件警报 依存关系 Ruby 2.3.1，Docker，MySQL，SQLite 3，Redis，mitmproxy。 （有关安装Docker的更多详细信息，请参见下文） 在Linux上支持开发（Ubuntu 16.04最有效；在某些设置下可以使用Ubuntu 18.04）和Mac OSX。 储存库 面向用户： 主要应用 cli-命令行morph.io工具 -叉的更新，以使用morph.io命名约定 -叉的更新为使用morph.io命名约定 Docker映像： 在容器中运行刮板的基本图像 安装Docker 在Linux上 只需按照上的说明进行操作即可。 您的用户帐户应该能够操纵多克尔（只是你的用户添加到docker组）。 在Mac OS X上 安装 。 启动Elasticsearch Morph需要Elasti