了解爬虫的都知道，在爬取网站内容的时候并不是程序一跑，内容就会完全按照计划的那样抓取下来，很多时候都会遇到网站的阻拦，并不能简单的如愿爬取到相关数据，会给你返回一些如404，403或者500的状态码，这个时候就会让人比较疑惑。通过程序爬取的数据较多时，网站判定你是一个机器，就不让你爬了。

反爬虫主要有以下几种方式：

第一种，通过访问网站的用户的ip频率来判断。这种方式判断很简单，解决这种问题的办法也有多种，可以考虑降低访问频率，亦或者动态切换ip访问。

第二种，通过UserAgent判断。这是最低级的判断，一般网站反爬虫不会用这个做唯一判断，因为解决这个问题非常容易，直接随机UserAgent就能够解决。

第三种，通过Cookie判断，例如初次访问时将时间信息或者账号信息等加密放入cookie中，待再次访问时根据自定义规则来判断。这种反爬虫方式多种多样，解决起来分具体情况处理。

第四种，动态页面加载。这个考验前端工程师的功底，如果前端写的好，各种JS判断，各种逻辑，像百度，淘宝一样，post登录很难。较好的方法，但是对于大牛，还是防不胜防，反爬虫多采用渲染，浏览器抓取会效率低下。

第五种，采用验证码。这里要么是登录的时候有验证码，要么是判断是爬虫时，不封IP，而是采用验证码验证，例如链家网。验证码是反爬虫性价比较高的方案。反爬虫一般接入OCR验证码识别平台或者人工打码平台，亦或者利用Tesseract OCR识别，亦或者采用神经网络训练识别验证码等。

言归正传，代理IP是最常见的一种动态IP爬虫方法。在请求Headers中加入代理IP地址，即可实现代理IP抓取，缺陷是爬取速度和代理IP的速度息息相关，而且好的IP费用较高，免费的速度普遍不高，可用率也低。

山水代理，适合爬虫程序的代理IP，感兴趣的可以进入山水代理官网了解。