File tree Expand file tree Collapse file tree 1 file changed +3
-3
lines changed
Expand file tree Collapse file tree 1 file changed +3
-3
lines changed Original file line number Diff line number Diff line change @@ -46,7 +46,7 @@ Urllib2:data为string
4646
4747### 2. 对于反爬虫机制的处理
4848
49- ** 2.1 模拟登陆情况 **
49+ ** 2.1 模拟登陆情况**
5050这种属于post请求情况,先向服务器发送表单数据,服务器再将返回的cookie存入本地。
5151```
5252data = {'data1':'XXXXX', 'data2':'XXXXX'} # dict类型
@@ -60,7 +60,7 @@ Urllib2:data为string
6060 response = urllib2.urlopen(req)
6161```
6262
63- ** 2.2 使用cookie登陆情况 **
63+ ** 2.2 使用cookie登陆情况**
6464使用cookie登陆,服务器会认为你是一个已登陆的用户,所以就会返回给你一个已登陆的内容。因此,需要验证码的情况可以使用带验证码登陆的cookie解决。
6565```
6666import requests
@@ -77,7 +77,7 @@ response3 = requests_session.get(url_results) # 已登陆,因为之前拿到
7777相关参考:[ 网络爬虫-验证码登陆] ( http://www.lining0806.com/6-%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB-%E9%AA%8C%E8%AF%81%E7%A0%81%E7%99%BB%E9%99%86/ )
7878参考项目:[ 爬取知乎网站] ( https://github.com/lining0806/ZhihuSpider )
7979
80- ** 2.3 伪装成浏览器,或者反“反盗链” **
80+ ** 2.3 伪装成浏览器,或者反“反盗链”**
8181```
8282headers = {'User-Agent':'XXXXX'} # 伪装成浏览器访问,适用于拒绝爬虫的网站
8383headers = {'Referer':'XXXXX'} # 反“反盗链”,适用于有“反盗链”的网站
You can’t perform that action at this time.
0 commit comments