文件名称:webscraping:教程
文件大小:7.56MB
文件格式:ZIP
更新时间:2024-08-10 12:02:35
Shell
网页抓取 本教程介绍了使用基本 Unix 命令进行网络抓取: wget 、 grep和sed 。 特别地,我们将使用一个名为 [allrecipes] ( ) 的网站来说明如何在网上抓取以鸡肉为主要成分的食谱,然后将所有成分和说明放在将配方转换为Chicken_Recipes单个文件。 网页抓取和 wget 要下载网页,我们使用 [wget] ( )。 首先,我们想下载网站上的食谱,但我们不想下载不相关的食谱。 要将其缩小到仅鸡肉食谱,我们可以在我们的命令中指定一个 [正则表达式] ( )。 在下面显示的命令中, wget从以allrecipes.com/Recipe/开头的链接下载,并且在Chicken前后有零个或多个字符,如.* 。 wget -r -c -np -nc --accept-regex allrecipes.com/Recipe/.*Chicken.* allr