帮助中心

   

热门搜索: 免费续期  推广  永久会员

爬虫IP被封如何解决?

当我们用来爬虫的IP被封之后,可以去通过什么方式来解决这一难题?是换IP呢?还是要先分析网站的反爬虫策略?JAVA如何解决爬虫IP被封状况?迅联加速下面为大家介绍3种。

爬虫IP被封如何解决

1、设置代理IP

HttpHost proxy = new HttpHost(“112.36.34.134”,80);//设置代理ip

RequestConfig config = RequestConfig.custom()

.setProxy(proxy)

2、伪装成浏览器

HttpGet httpGet = new HttpGet(url);

// 设置请求信息

//伪装浏览器

httpGet.setHeader(“User-Agent”,”Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0″);

3、延长访问时间

RequestConfig config = RequestConfig.custom()

setConnectTimeout(1000=0)// 创建连接的最长时间

setConnectionRequestTimeout(1000)// 获取连接的最长时间

setSocketTimeout(1000)// 数据传输的最长时间

.build();

上面迅联加速介绍的3种方式是适用于不同的IP情况上的,大家需要根据自己的爬取状态来分析。

关闭
19907977089
关注微信公众号,免费送30分钟时长