【Python爬虫】百度搜索结果
导入一个txt文本,一行一个关键词,测试使用的代[过滤]理API为一次提取一个API
测试的代[过滤]理API多线程同时提取一个api会返回同一个IP
可以自己修改get_ip一次获取更多的ip,自己写一个方法处理200个ip分配给线程,只需要修改代码中调用get_ip的函数就行了
如果想获取搜索结果中其他数据,可以修改get_baidu函数中处理bd_response的逻辑
搜索保存excel文件内容中是以下数据,包含真实的url地址
保存为Excel内容
搜索结果每个关键词平均500条左右
本代码仅供技术交流
百度搜出来500条,这要是关键词多写几行,跑一晚上我这破本子得当场罢工吧。
{:4_186:}
页:
[1]