lambdaplus
diff --git a/‎README.md‎
Lines changed: 3 additions & 0 deletions b/‎README.md‎
Lines changed: 3 additions & 0 deletions
diff --git a/‎全面放开二孩政策背景下育龄居民生育意向调查.pdf‎
-494 KB b/‎全面放开二孩政策背景下育龄居民生育意向调查.pdf‎
-494 KB
diff --git a/‎豆瓣电影Top250 爬虫.md‎
Lines changed: 60 additions & 10 deletions b/‎豆瓣电影Top250 爬虫.md‎
Lines changed: 60 additions & 10 deletions
@@ -4,3 +4,6 @@ python练习中的一些代码，以防重装系统再次丢失
 1. [几种排序算法](https://github.com/lambdaplus/python/tree/master/Algorithm/sort)
 2. [翻转列表](https://github.com/lambdaplus/python/blob/master/resver.md) 
 3. [二分法查找](https://github.com/lambdaplus/python/blob/master/Algorithm/binary_search.md)
+4. [一个异步爬虫](https://github.com/lambdaplus/python/blob/master/%E4%B8%80%E4%B8%AA%E5%BC%82%E6%AD%A5%E7%88%AC%E8%99%AB.md)
+5. [装饰器小酌](https://github.com/lambdaplus/python/blob/master/%E8%A3%85%E9%A5%B0%E5%99%A8%E5%B0%8F%E9%85%8C.md)
+6. [豆瓣电影Top250](https://github.com/lambdaplus/python/blob/master/%E8%B1%86%E7%93%A3%E7%94%B5%E5%BD%B1Top250%20%E7%88%AC%E8%99%AB.md)
@@ -1,12 +1,12 @@
-# 豆瓣电影Top250 爬虫
-
-标签（空格分隔）： python
-
+---
+title: 豆瓣电影Top250 爬虫
+date: 2016-10-18 20:19:35
+tags: Python
 ---
 
-## 爬取豆瓣电影top250。
+### 爬取豆瓣电影top250。
 
-## 1. 单线程版
+#### 1. 单线程版
 ```python
 # -*- coding: utf-8 -*-
 
@@ -52,7 +52,7 @@ Out： CPU times: user 1.11 s, sys: 8 ms, total: 1.12 s
 Wall time: 3.58 s
 ```
 
-## 2. 多线程版
+#### 2. 多线程版
 ```python
 # -*- coding: utf-8 -*-
 
@@ -99,7 +99,7 @@ if __name__ == '__main__':
 Out： CPU times: user 1.16 s, sys: 172 ms, total: 1.33 s
 Wall time: 1.28 s
 ```
-### 使用线程池
+#### 使用线程池
 线程的创建和销毁是一个比较重的开销。所以，使用线程池，重用线程池中的线程！
 
 ```python
@@ -115,7 +115,7 @@ Out： CPU times: user 1.23 s, sys: 152 ms, total: 1.38 s
 Wall time: 1.29 s
 ```
 再加上一个异步的吧
-## 3. 异步版
+#### 3. 异步版
 此版本使用的是异步库`asyncio`和对其进行深度封装的库`aiohttp`。
 ```python
 # coding=utf-8
@@ -159,10 +159,60 @@ if __name__ == '__main__':
 Out: CPU times: user 984 ms, sys: 28 ms, total: 1.01 s
 Wall time: 1.67 s
 ```
+#### 4. 使用下 Gevent 看看效果如何。
+```python
+# coding=utf-8
+
+import re
+import requests
+import gevent
+from gevent.pool import Pool
+from bs4 import BeautifulSoup as bs
+
+
+def fetch(url):
+    s = requests.Session()
+    s.headers.update({"user-agent": user_agent})
+    return s.get(url)
+
+
+def title_get(url):
+    try:
+        result = fetch(url)
+    except requests.exceptions.RequestException:
+        return False
+    html = bs(result.text, 'lxml')
+    title_list = html.select('div.pic > a > img')
+    '''
+       title_list中的元素格式如下 e.g:
+        <img alt="这个杀手不太冷" class="" src="https://img3.doubanio.com
+        /view/movie_poster_cover/ipst/public/p511118051.jpg"/
+    '''
+    try:
+        title = [re.findall(r'alt="(.*?)"', str(title))[0]
+                 for title in title_list]
+    except IndexError:
+        pass
+    return title
+
+
+if __name__ == '__main__':
+    user_agent = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 \
+                (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
+    url = 'https://movie.douban.com/top250?start={}&filter='
+    urls = [url.format(page) for page in range(0, 250, 25)]
+    # %time gevent.joinall([gevent.spawn(title_get, url) for url in urls])
+    pool = Pool(1000)
+    %time pool.map(title_get, urls)
+
+CPU times: user 960 ms, sys: 32 ms, total: 992 ms
+Wall time: 3.67 s
+```
 ## 总结
 
 **以上测试时间基于笔者电脑的配置和网络情况, 因人而异！**
 
 1. 单线程和多线程的对比，可以看到，使用多线程后速度提升了3倍。
 2. 使用线程池后，在限制线程数的状态下，依然有着不错的速度！
-3. 使用异步虽然在这里并没有多大的优势相对于多线程来说，但是当请求量很大时，就能显示出异步的强大了。在这里就不做过多赘述了！
+3. 使用异步虽然在这里并没有多大的优势相对于多线程来说，但是当请求量很大时，就能显示出异步的强大了。在这里就不做过多赘述了！
+4. 我也不明白为啥使用 `gevent` 后的速度尽然是这个这样子, 晕！！！