今天来讲一下怎么爬取百度图片搜索出来的图片并进行下载
需求:由用户输入关键字然后创建一个以关键字命名的文件夹,文件夹下要有这个关键字所搜索出来的所有图片。 那么: 1、用户输入 2、创建一个文件夹 3、图片
首先我们通过百度图片搜索zhoujielun(不只限于zhoujielun)。 然后F12,选择Network然后在选择XHR。在刷新页面。
刷新页面之后我们把网页往下滑,然后发现加载出来了几个相似的链接,随便点一个发现里面有30个数据,由此看来url已经被我们成功找到了。
随机选择几个url进行分析,在这里我选择了三个连续的url进行分析,发现只有pn和最后这一串数字不一样。红色划线的地方应该就是url字符串。
接下来我们来请求其中一个页面再进一步分析。 这里绿色划线的应该就是图片总数了,红色划线的就是具体图片的url。
1、找到含30张图片具体链接的url,分析 2、将输入的汉字编码引入url,将时间戳转换来的13位数字引入url 3、向引入好的url发起请求并得到响应 4、在得到的响应内容里找具体图片的url 5、向图片的具体url发请求得到content 6、在文件夹下写入图片
这次并没有使用多线程爬取数据,如果有小伙伴想要知道怎么用多线程爬取的话可以私信我哦。 谢谢大家!!! 本文地址:http://www.tpjde.com/quote/3279.html 推平第 http://www.tpjde.com/ , 查看更多