爬虫ip经常被封，该如何解决？

爬虫ip经常被封，该如何解决？

经常看到uu们分享，自己向厂商购买了HTTP代理，但是还是经常被封，导致自己无法按时完成作业，项目无法完成，那该如何解决这一问题呢？

只要思想不滑坡，办法总比困难多，我们可以尝试以下方法：

​1.User-Agent伪装和轮换

需要注意的是，不同浏览器的不同版本都有不同的User-Agent，所以，我们可以准备多一些的User-Agent，把它们都放在一个列表中，要使用的时候，每次随机选一个，这样我们就能达到每次请求的时候使用的都是不同的User-Agent，也可以有效防止反爬。

2.优化爬虫策略

首先，我们要看此前被封的时候返回的是什么HTTP码，以此来优化我们的爬虫策略。

现在的互联网，很多网站都是设置了反爬机制，如果我们一直使用同一个HTTP代理短期内一直访问该网站，是非常容易触发反爬机制，限制这种访问；或者因为我们的爬虫抓取的速度过快，网站方能很轻松判别我们不是真实用户……

我们需要做的是：

降低抓取频率，重新设置访问时间间隔

我们需要把自己伪装成一个真实的用户在访问，降低访问的频率及频次，把访问的间隔时间设置成或长或短，即：随机数。