python 爬取壁纸网站的示例

时间：2021-12-04 07:38:17

本次爬虫用到的网址是：

http://www.netbian.com/index.htm: 彼岸桌面.里面有很多的好看壁纸，而且都是可以下载高清无损的，还比较不错，所以我就拿这个网站练练手。

作为一个初学者，刚开始的时候，无论的代码的质量如何，总之代码只要能够被正确完整的运行那就很能够让自己开心的，如同我们的游戏一样，能在短时间内得到正向的反馈，我们就会更有兴趣去玩。

学习也是如此，只要我们能够在短期内得到学习带来的反馈，那么我们的对于学习的欲望也是强烈的。

作为一个菜鸡，能够完整的完整此次爬虫程序的编写，那便是一个最大的收货，但其实我在此次过程中的收获远不止此。

好的代码其实应该具有以下特性

  1. 能够满足最关键的需求
  2. 容易理解
  3. 有充分的注释
  4. 使用规范的命名
  5. 没有明显的安全问题
  6. 经过充分的测试

就以充分的测试为例，经常写代码的就应该知道，尽管多数时候你的代码没有BUG,但那仅仅说明只是大多数情况下是稳定的，但是在某些条件下就会出错（达到出错条件，存在逻辑问题的时候等）。这是肯定的。至于什么原因，不同的代码有不同的原因。如果代码程序都是一次就能完善的，那么我们使用的软件的软件就不会经常更新了。其他其中的道理就不一 一道说了，
久而自知

好的代码一般具有的5大特性

1.便于维护
2.可复用
3.可扩展
4.强灵活性
5.健壮性

经过我的代码运行我发现时间复杂度比较大，因此这是我将要改进的地方，但也不止于此。也有很多利用得不合理的地方，至于存在的不足的地方就待我慢慢提升改进吧！

路过的大佬欢迎留下您宝贵的代码修改意见，

完整代码如下

  1. import os
  2. import bs4
  3. import re
  4. import time
  5. import requests
  6. from bs4 import BeautifulSoup
  7.  
  8. def getHTMLText(url, headers):
  9. """向目标服务器发起请求并返回响应"""
  10. try:
  11. r = requests.get(url=url, headers=headers)
  12. r.encoding = r.apparent_encoding
  13. soup = BeautifulSoup(r.text, "html.parser")
  14. return soup
  15. except:
  16. return ""
  17.  
  18. def CreateFolder():
  19. """创建存储数据文件夹"""
  20. flag = True
  21. while flag == 1:
  22. file = input("请输入保存数据文件夹的名称：")
  23. if not os.path.exists(file):
  24. os.mkdir(file)
  25. flag = False
  26. else:
  27. print('该文件已存在，请重新输入')
  28. flag = True
  29.  
  30. # os.path.abspath(file) 获取文件夹的绝对路径
  31. path = os.path.abspath(file) + "\\"
  32. return path
  33.  
  34. def fillUnivList(ulist, soup):
  35. """获取每一张图片的原图页面"""
  36. # [0]使得获得的ul是 <class 'bs4.BeautifulSoup'> 类型
  37. div = soup.find_all('div', 'list')[0]
  38. for a in div('a'):
  39. if isinstance(a, bs4.element.Tag):
  40. hr = a.attrs['href']
  41. href = re.findall(r'/desk/[1-9]\d{4}.htm', hr)
  42. if bool(href) == True:
  43. ulist.append(href[0])
  44.  
  45. return ulist
  46.  
  47. def DownloadPicture(left_url,list,path):
  48. for right in list:
  49. url = left_url + right
  50. r = requests.get(url=url, timeout=10)
  51. r.encoding = r.apparent_encoding
  52. soup = BeautifulSoup(r.text,"html.parser")
  53. tag = soup.find_all("p")
  54. # 获取img标签的alt属性，给保存图片命名
  55. name = tag[0].a.img.attrs['alt']
  56. img_name = name + ".jpg"
  57. # 获取图片的信息
  58. img_src = tag[0].a.img.attrs['src']
  59. try:
  60. img_data = requests.get(url=img_src)
  61. except:
  62. continue
  63.  
  64. img_path = path + img_name
  65. with open(img_path,'wb') as fp:
  66. fp.write(img_data.content)
  67. print(img_name, " ******下载完成！")
  68.  
  69. def PageNumurl(urls):
  70. num = int(input("请输入爬取所到的页码数："))
  71. for i in range(2,num+1):
  72. u = "http://www.netbian.com/index_" + str(i) + ".htm"
  73. urls.append(u)
  74.  
  75. return urls
  76.  
  77. if __name__ == "__main__":
  78. uinfo = []
  79. left_url = "http://www.netbian.com"
  80. urls = ["http://www.netbian.com/index.htm"]
  81. headers = {
  82. "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"
  83. }
  84. start = time.time()
  85. # 1.创建保存数据的文件夹
  86. path = CreateFolder()
  87. # 2. 确定要爬取的页面数并返回每一页的链接
  88. PageNumurl(urls)
  89. n = int(input("访问的起始页面："))
  90. for i in urls[n-1:]:
  91. # 3.获取每一个页面的首页数据文本
  92. soup = getHTMLText(i, headers)
  93. # 4.访问原图所在页链接并返回图片的链接
  94. page_list = fillUnivList(uinfo, soup)
  95. # 5.下载原图
  96. DownloadPicture(left_url, page_list, path)
  97.  
  98. print("全部下载完成！", "共" + str(len(os.listdir(path))) + "张图片")
  99. end = time.time()
  100. print("共耗时" + str(end-start) + "秒")

运行

python 爬取壁纸网站的示例

部分展示结果如下：

python 爬取壁纸网站的示例

以上就是python 爬取壁纸网站的示例的详细内容，更多关于python 爬取壁纸网站的资料请关注服务器之家其它相关文章！

原文链接：https://blog.csdn.net/qq_45720042/article/details/115312318

标签：

相关文章