帮助中心

   

热门搜索: 免费续期  推广  永久会员

代理IP教你设置User Agent

之前我们介绍到代理IP爬虫的过程中当遇到网站的阻拦,我们可以通过设置User Agent来进行解决。那么,设置User Agent可以怎么做呢?下面我们一起来看看怎么操作。

迅联加速介绍设置User Agent的两种方法:

1、在创建Request对象的时候不添加headers参数,在创建完成之后,使用add_header()的方法,添加headers

2、在创建Request对象的时候,填入headers参数(包含User Agent信息),这个Headers参数要求为字典

方法一:

创建文件urllib_test10.py,使用上面提到的Android的第一个User Agent,在创建Request对象时不传入headers参数,创建之后使用add_header()方法,添加headers,编写代码如下:

# -*- coding: UTF-8 -*-

from urllib import request

if __name__ == “__main__”:

#以CSDN为例,CSDN不更改User Agent是无法访问的

url = ‘http://www.csdn.net/’

#创建Request对象

req = request.Request(url)

#传入headers

req.add_header(‘User-Agent’, ‘Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19’)

#传入创建好的Request对象

response = request.urlopen(req)

#读取响应信息并解码

html = response.read().decode(‘utf-8’)

#打印信息

print(html)

方法二:

创建文件urllib_test09.py,使用上面提到的Android的第一个User Agent,在创建Request对象的时候传入headers参数,编写代码如下:

# -*- coding: UTF-8 -*-

from urllib import request

if __name__ == “__main__”:

#以CSDN为例,CSDN不更改User Agent是无法访问的

url = ‘http://www.csdn.net/’

head = {}

#写入User Agent信息

head[‘User-Agent’] = ‘Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19’

#创建Request对象

req = request.Request(url, headers=head)

#传入创建好的Request对象

response = request.urlopen(req)

#读取响应信息并解码

html = response.read().decode(‘utf-8’)

#打印信息

print(html)

上面两种方式的运行结果,都是下面这张图的样子:

代理IP教你设置User Agent

如果大家想要设置User Agent,那么按照上面迅联加速介绍的步骤我们就可以完成设置。

关闭
19907977089
关注微信公众号,免费送30分钟时长