爬虫json数据的处理

时间:2022-07-15 20:50:18

在爬网页的过程中,最喜欢遇到的就是json数据接口,省了不少麻烦,但是json数据也有多种格式。

类型一:标准的json

爬虫json数据的处理

result = json.loads(html.text),将str转成python的dict类型

类型二:不是标准的json数据格式

而Callback括号里面的数据则是标准的json格式数据

爬虫json数据的处理

一种可行的方式就是正则,提取json数据中你所需要的字段。(其实也足够了)

还有一种思路就是仅仅提取出callback括号里面的内容,再进行转化。

例子:

html = html[17:][:-2]

dict = json.loads(html)