如何通过代理IP访问目标网站(Python)
发布时间: 2022-05-31 09:52:22
阅读量: 999 人次
相关API
代码中所涉及的API可在【API接入指南】中查看。
参考代码
def getPageHtml(): try: # 提取用API api_url = "https://api.sshttp.cn/getIp" # 实例ID - 后台可查 app_key ='000000000000000000' # 实例密码 - 后台可查 app_secret ='xxxxxxxx' # 获取代理IP res = requests.get(api_url, params={'appKey': app_key, 'appSecret': app_secret, 'wt': 'text', 'cnt': 1}) proxy_ip = str(res.content, 'utf-8').split('\r\n') # 设置代理IP # 获取目标页面信息 headers={\ # UA信息需用户自行确认,此处仅作为参考。 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/80.0.3987.122 Safari/537.36',\ 'Host':'', } for p in proxy_ip: proxyMeta = "http://%(user)s:%(pass)s@%(proxy)s" % { "proxy": p, "user": app_key, "pass": app_secret, } proxies = { 'http': proxyMeta, 'https': proxyMeta, } res = requests.get('https://www.baidu.com/',headers=headers,proxies=proxies) res.encoding='utf-8' # 打印获取结果 html = etree.HTML(res.text) except ConnectionError: print('拒绝连接')