帮助中心

   

热门搜索: 免费续期  推广  永久会员

Handler处理器和自定义Opener的使用

说起网络爬虫,可能会有很多人觉得数据的抓取肯定非常的困难。以前爬虫是需要比较复杂的方式,但是代理IP的使用,已经可以有效减少了爬虫的复杂度了。今天我们来看看Handler处理器和自定义Opener在爬虫中的使用。

Handler处理器和自定义Opener的使用

一、Handler处理器和自定义Opener

opener是 request.OpenerDirector 的实例,我们之前一直都在使用的urlopen,它是一个特殊的opener(也就是模块帮我们构建好的)。

但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能:

使用相关的 Handler处理器 来创建特定功能的处理器对象;

然后通过 request.build_opener()方法使用这些处理器对象,创建自定义opener对象;

使用自定义的opener对象,调用open()方法发送请求。

如果程序里所有的请求都使用自定义的opener,可以使用request.install_opener() 将自定义的 opener 对象 定义为 全局opener,表示如果之后凡是调用urlopen,都将使用这个opener(根据自己的需求来选择)

以下是迅联加速带来的代码部分介绍:

from urllib import request

# 构建一个HTTPHandler 处理器对象,支持处理HTTP请求

http_handler = request.HTTPHandler()

# 调用request.build_opener()方法,创建支持处理HTTP请求的opener对象

opener = request.build_opener(http_handler)

# 构建 Request请求

request = request.Request(“http://www.baidu.com/”)

# 调用自定义opener对象的open()方法,发送request请求

response = opener.open(request)

# 获取服务器响应内容

print(response.read().decode(‘utf-8’))

这种方式发送请求得到的结果,和使用request.urlopen()发送HTTP/HTTPS请求得到的结果是一样的。

如果在 HTTPHandler()增加 debuglevel=1参数,还会将 Debug Log 打开,这样程序在执行的时候,会把收包和发包的报头在屏幕上自动打印出来,方便调试,有时可以省去抓包的工作。

# 仅需要修改的代码部分:

# 构建一个HTTPHandler 处理器对象,支持处理HTTP请求,同时开启Debug Log,debuglevel 值默认 0

http_handler = request.HTTPHandler(debuglevel=1)

# 构建一个HTTPHSandler 处理器对象,支持处理HTTPS请求,同时开启Debug Log,debuglevel 值默认 0

https_handler = request.HTTPSHandler(debuglevel=1)

二、ProxyHandler处理器(代理设置)

使用代理IP,这是爬虫/反爬虫的第二大招,通常也是最好用的。很多网站会检测某一段时间某个IP的访问次数(通过流量统计,系统日志等),如果访问次数多的不像正常人,它会禁止这个IP的访问。所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取。request中通过ProxyHandler来设置使用代理服务器,下面代码说明如何使用自定义opener来使用代理:

from urllib import request

headers = {

“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36”

}

# 构建了两个代理Handler,一个有代理IP,一个没有代理IP

httpproxy_handler = request.ProxyHandler({“http” : “221.5.54.6:808”})

nullproxy_handler = request.ProxyHandler({})

proxySwitch = True #定义一个代理开关

# 通过 request.build_opener()方法使用这些代理Handler对象,创建自定义opener对象

# 根据代理开关是否打开,使用不同的代理模式

if proxySwitch:

opener = request.build_opener(httpproxy_handler)

else:

opener = request.build_opener(nullproxy_handler)

req = request.Request(“http://www.baidu.com/”,headers=headers)

# 1. 如果这么写,只有使用opener.open()方法发送请求才使用自定义的代理,而urlopen()则不使用自定义代理。

response = opener.open(req)

# 2. 如果这么写,就是将opener应用到全局,之后所有的,不管是opener.open()还是urlopen() 发送请求,都将使用自定义代理。

# request.install_opener(opener)

# response = request.urlopen(req)

print(response.read().decode(‘utf-8’))

注意:

如果使用的代码服务器是61.135.217.7:80,由于此代理服务器是有道的,所以在返回时,返回的不是百度page的内容,而是有道page的内容。

代理IP能够帮助我们去突破网站对于IP多次访问的限制,这种优势让我们的爬虫程序变得更加的便捷,抓取可以更加有效率。

关闭
19907977089
关注微信公众号,免费送30分钟时长