Skip to content

Commit c66f283

Browse files
ictarictar
committed
Merge pull request ictar#8 from ictar/pw_244
add translation for python weekly #244
2 parents 9354359 + 0d291a3 commit c66f283

4 files changed

Lines changed: 167 additions & 224 deletions

File tree

raw/Python Weekly Issue 244.md renamed to Python Weekly/Python Weekly Issue 244.md

File renamed without changes.

‎Scrapy/Scrapinghub的Scrapy技巧系列/README.md‎

Lines changed: 5 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -6,4 +6,8 @@
66

77
- [Scrapy技巧：2016年四月版](./Scrapy技巧：2016年四月版.md)
88

9-
一个关于如何爬取带有视图状态的Asp.NET网站的技巧……
9+
一个关于如何爬取带有视图状态的Asp.NET网站的技巧……
10+
11+
- [Scrapy技巧：2016年五月版](./Scrapy技巧：2016年五月版.md)
12+
13+
关于如何调试爬虫的一些技巧

‎Scrapy/Scrapinghub的Scrapy技巧系列/Scrapy技巧：2016年五月版.md‎

Lines changed: 162 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,162 @@
1+
原文：[Scrapy Tips from the Pros May 2016 Edition](https://blog.scrapinghub.com/2016/05/18/scrapy-tips-from-the-pros-may-2016-edition/)
2+
3+
---
4+
5+
欢迎来到Scrapy技巧系列！每个月，我们会发布一些技巧和hack，来帮助你加快网页抓取和数据提取。作为牵头的Scrapy维护者，你可以想象的任何障碍我们都遇到过了，所以别担心，你能在这获益良多。随意到[Twitter](https://twitter.com/ScrapingHub)或者[Facebook](https://www.facebook.com/ScrapingHub/)访问我们，提出对未来主题的建议吧。
6+
7+
![Scrapy Tips](https://scrapinghub.files.wordpress.com/2016/05/scrapy-tips.png?w=648)
8+
9+
# 如何调试你的爬虫
10+
11+
你的爬虫不工作了，但是你想不明白为啥。一个快速识别潜在问题的方法是添加一些打印语句，以找出发生了什么。这通常是我的第一个步骤，而有时我所需要做的是发现那些妨碍我的爬虫正常运行的错误。如果这个方法对你有效，那就太棒了，但是如果这个方法还不够，那么读下去，学学如何处理那些需要更加彻底调查的令人讨厌的bug。在这篇文章中，我将向你介绍一些工具，当涉及到调试爬虫时，它们应该在每个Scrapy用户的工作区中。
12+
13+
## Scrapy Shell是你的好基友
14+
15+
Scrapy shell是一个全功能的Python shell，它加载了与你在你的爬虫的回调方法中得到的上下文相同的上下文。你只需要提供一个URL，Scrapy Shell就会让你与那个你的爬虫在它的回调中处理的相同的对象进行交互，包括response对象。
16+
17+
```python
18+
19+
$ scrapy shell http://blog.scrapinghub.com
20+
[s] Available Scrapy objects:
21+
[s] crawler <scrapy.crawler.Crawler object at 0x7f0638a2cbd0>
22+
[s] item {}
23+
[s] request <GET http://blog.scrapinghub.com>
24+
[s] response <200 https://blog.scrapinghub.com/>
25+
[s] settings <scrapy.settings.Settings object at 0x7f0638a2cb50>
26+
[s] spider <DefaultSpider 'default' at 0x7f06371f3290>
27+
[s] Useful shortcuts:
28+
[s] shelp() Shell help (print this help)
29+
[s] fetch(req_or_url) Fetch request (or URL) and update local objects
30+
[s] view(response) View response in a browser
31+
>>>
32+
33+
```
34+
35+
加载它之后，你可以开始玩玩response，以构建选择器来提取所需的数据。
36+
37+
```python
38+
39+
>>> response.css("div.post-header > h2 ::text").extract()
40+
...
41+
42+
```
43+
44+
如果你不熟悉Scrapy Shell，那么不妨试一试。它与你的开发工作流程可以完美契合，它位于在浏览器中进行页面检查的动作之后。你可以创建并测试爬虫的抽取规则，而一旦你构建了所需的规则，就可以在爬虫代码中使用它们。
45+
46+
通过官方文档，了解更多关于[Scrapy Shell的细节](http://doc.scrapy.org/en/latest/topics/shell.html)。
47+
48+
### 从你的Spider代码中启动Scrapy Shell
49+
50+
如果对于某些响应，你的爬虫表现异常，那么在爬虫代码中使用`scrapy.shell.inspect_response`方法，你可以很快地看到发生了什么事。这将打开一个Scrapy shell会话，以让你与当前的response对象进行交互。
51+
52+
例如，假设你的爬虫不从某些页面中提取所期望数量的项，而你想要看看网站返回的响应有啥问题：
53+
54+
```python
55+
56+
57+
from scrapy.shell import inspect_response
58+
59+
def BlogSpider(scrapy.Spider)
60+
...
61+
def parse(self, response):
62+
if len(response.css('div.post-header > h2 ::text')) > EXPECTED:
63+
# generate the items
64+
else:
65+
inspect_response(response, self)
66+
...
67+
68+
```
69+
70+
一旦执行这个inspect_response调用，Scrapy Shell就会被打开，而你就能与response进行交互，从而看看发生了啥事。
71+
72+
## 快速绑定一个调试器到你的Spider
73+
74+
另一个调试爬虫的方法是使用常规的Python调试器，例如pdb或者PuDB。我使用[PuDB](https://pypi.python.org/pypi/pudb)，因为它是一个相当强大且易于使用的调试器，而要激活它，我所需要的只是将这行代码放在我想要断点的那一行：
75+
76+
```python
77+
78+
import pudb; pudb.set_trace()
79+
```
80+
81+
当到达断点的时候，PuDB在你的终端中打开一个很酷的文本模式的用户界面，它将带你回到使用Turbo Pascal调试器的那些美好的旧时光。
82+
83+
看一看：![image00](https://scrapinghub.files.wordpress.com/2016/05/image00
84+
1.png?w=648)
85+
86+
你可以使用pip安装PuDB：
87+
88+
```python
89+
90+
$ pip install pudb
91+
```
92+
93+
看看这个视频，其中，我们自己的[@eliasdorneles](https://twitter.com/eliasdorneles)演示了使用PuDB的几个小技巧：<https://vimeo.com/166584837>
94+
95+
## Scrapy解析CLI命令
96+
97+
有些情况下，你需要你的爬虫很长一段时间运行某些爬取项目。但是，在运行了几个小时后，你可能会悲催地在日志中看到，对于一些特​​定的URL，爬虫之一有爬取问题。你想要调试爬虫，但你肯定不希望再运行整个抓取过程，并且要等到为该特定的URL调用的具体的回调，这样你就可以启动你的调试器。
98+
99+
别担心，Scrapy CLI的[parse命令](http://doc.scrapy.org/en/latest/topics/commands.html#std:command-parse)就是为了让你节约时间的！你只需要提供该爬虫的名字，应该使用的爬虫的回调，以及你想要解析的URL：
100+
101+
```python
102+
103+
$ scrapy parse https://blog.scrapinghub.com/comments/bla --spider blog -c parse_comments
104+
```
105+
106+
在这种情况下，Scrapy将会调用blog爬虫的parse_comments方法来解析blog.scrapinghub.com/comments/bla URL。如果你不指定爬虫，那么Scrapy将会在你的项目中，基于爬虫的allowed_domains设置，搜寻能够处理这个URL的爬虫。
107+
108+
然后，它将会向你显示回调的执行摘要：
109+
110+
```python
111+
112+
>>> STATUS DEPTH LEVEL 1 <<<
113+
# Scraped Items ------------------------------------------------------------
114+
[{'comments': [
115+
{'content': u"I've seen this language ...",
116+
'username': u'forthemostpart'},
117+
{'content': u"It's a ...",
118+
'username': u'YellowAfterlife'},
119+
...
120+
{'content': u"There is a macro for ...",
121+
'username': u'mrcdk'}]}]
122+
# Requests -----------------------------------------------------------------
123+
[]
124+
125+
```
126+
127+
你也可以在方法里面附加一个调试器，以帮助你弄清楚发生了什么（见前面的提示）。
128+
129+
## Scrapy fetch和view命令
130+
131+
在浏览器中检查页面内容可能会被欺骗，因为它们的JavaScript引擎可能渲染某些Scrapy下载器不会做的内容。如果你想快速检查当一个页面被Scrapy下载后，该页面会看起来是什么样的，那么你可以使用下面这些命令：
132+
133+
* **fetch**: 使用Scrapy下载器下载HTML，然后打印到标准输出。
134+
* **view**: 使用Scrapy下载器下载HTML，然后用你的默认浏览器打开它。
135+
136+
**例如**:
137+
138+
```ssh
139+
140+
$ scrapy fetch http://blog.scrapinghub.com > blog.html
141+
$ scrapy view http://scrapy.org
142+
```
143+
144+
## 使用--pdb选项，对爬虫进行事后剖析侦错
145+
146+
编写防故障软件几乎是不可能的。这种情况对于网络爬虫更加糟糕，因为它们处理的网页内容是经常变化的（和损坏的）。最好接受我们的爬虫最后将会失败，并确保我们有工具来快速了解为什么它挂了，并能尽快解决这个问题。
147+
148+
Python的回溯是棒棒哒，但在某些情况下，它们不向我们提供关于在我们的代码中发生了什么的足够信息。这就是事后剖析侦错的用武之地。Scrapy提供了-- `--pdb`命令行选项，它在你的爬虫挂掉的地方打开一个pdb会话，这样你就可以检查它的上下文，从而明白发生了什么：
149+
150+
```ssh
151+
152+
$ scrapy crawl blog -o blog_items.jl --pdb
153+
```
154+
155+
如果你的爬虫由于致命异常而挂了，那么pdb调试器将会打开，这样你就可以仔细检查其死因。
156+
157+
# 总结
158+
159+
好啦，这就是Scrapy技巧的五月版。在[Scrapy官方文档](http://scrapy.readthedocs.io/en/latest/topics/debug.html #debugging-spiders)，你也可以看到其中一些调试技巧。
160+
161+
因为这里，我们是要帮助你更有效地爬取网页的，所以[请让我们知道](https://twitter.com/ScrapingHub)你希望在将来看到什么。那就下个月再见啦！
162+

‎raw/Scrapy Tips from the Pros May 2016 Edition.md‎

Lines changed: 0 additions & 223 deletions
This file was deleted.

0 commit comments

Comments
 (0)