引子
以前用scrapy写过一些简单的爬虫程序。但是我的需求实在太简单了,用scrapy有点大材小用,而且过于强大的缺点就是用起来太复杂,加上我也不太喜欢twisted——用各种回调实现的异步框架用起来还是不太自然。
前一阵接触了一下gevent
(不知道为什么这样一个纯技术网站会在墙外),且不说据说它性能很好,关键是用patch的方式隐含提供异步支持的实现用起来真是太爽了。于是自己写了一个简单的爬虫框架,主要思路是模仿scrapy的。
关于Scrapy
首先来看Scrapy的架构(源于scrapy文档
):
用户编写的爬虫主要是需要实现Spider和Item Pipeline两部分,Scheduler和Downloader部分是由Scrapy提供,并且整个程序由Scrapy Engine所驱动。
工
作流程是:程序启动后Scrapy
Engine从Scheduler取得网址,然后通过Downloader去下载页面交给Spider处理,Spider分析页面后根据情况决定是继续抓
下一级锭接的页面(返回一个Scrapy Request)还是返回数据(返回一个Item List),Spider返回的数据(Item
List)将被汇总交给Item Pipeline处理,比如存成文件或存入数据库什么的。
之所以要重复一下Scrapy的工作流程,是因为gcrawler也是模仿这个流程来做的。
Scrapy的局限及gcrawler的特点
不
过在说gcrawler之前,还是先谈一下我的需求中用Scrapy实现不太方便的地方。最主要的是我的应用中虽然也是用HTTP协议去抓取内容,但是有
很多额外的要求,比如有时需要POST,有时需要BasicAuth,有时还需要处理一些特定的HTTP Header字段,这些虽然有Download
Middleware也可以实现,但很不自然——一个简单的HTTP请求操作被分割得支离破碎,对于代码的日后维护会造成很大的麻烦。
比
如要用feedparser读RSS,因为feedparser是下载解析一体的实现,这时Scrapy就不太方便,虽然也可以拆开实现:用Scrapy
下载再在Spider里用feedparser,但显然这种麻烦不是必要的。再比如说需要用OAuth进行RESTAPI调用的话,用Scrapy的
Download Middleware我还真不知道要怎么做才好。
因此,gcrawler与scrapy最大的不同就是
Downloader的功能也将由用户实现(放在类似Scrapy的Spider中),用户可以自由控制下载操作的种种细节。乍一看似乎这样会增加用户的
工作量,但实际上是简化了开发。比如前面说的feedparser或是OAuth调用,都可以直接实现,不用考虑分拆到不同的地方去做。那么由用户来实现
下载工作会不会影响性能呢?Scrapy的一大优势就在于利用Twisted这个异步网络框架提供了网络访问的高性能。答案是不会,因为gevent提供
了更为简单和高效的实现方式。二者的差异在于:
因为Scrapy是基于Twisted,而它是一个基于回调的异步框架,这就意味着用它来写
Downloader固然可以得到高性能(托异步的福),但同时带来额外的复杂性(拜回调所赐)。所以Scrapy内部实现了这个高性能的
Downloader,在提代高性能的同时屏蔽了这种复杂性,但代价就是前面所说的,用户自定义操作需要通过Middleware实现,结果还是增加了一
些复杂性,并且使程序结构变得不太清晰。
而如前面所说,gevent通过patch的方式提供了隐含的异步支持,这样用户编写Downloader就成了简单的貌似“同步阻塞操作”,于是结构清晰与高性能得以兼得。个人根据gevent与twisted的性能比较
猜测,能有与scrapy相当甚至可能更好的性能(纯猜测,待求证)。这是gevent相对twisted的一个巨大的优点。
gcrawler的使用
gcrawler
的使用很简单:用户需要实现一个spider类,提供三个成员函数:scheduler, worker,
pipeline。其中scheduler是一个生成器,用yield依次返回请求项(比如URL),worker相当于Scrapy里的
Downloader+Spider,用于下载页面内容并解析,pipeline与Scrapy的item
pipeline类似,都是用于存储最终结果用。
scheduler和pipeline没什么好说的,重点在worker里。因为
gevent有隐含异步支持,所以这里不再需要像Scrapy里那样下载一个页面解析完后需要把请求重新发回Scheduler进行调度,而是可以直接
继续下载下一级链接的页面继续解析,整个流程会清晰很多,但又不会降低性能。当然要实现像Scrapy那样的方式也可以,只要在worker里把下一级页
面链接再传递给scheduler即可。如果worker没有什么结果需要保存(比如上述把链接交给scheduler作下一步处理的情况),只需要简单
返回一个None即可,pipeline会自动略过的。
一个简单的下载页面的例子如下:
当然,为了方便实现类似Scrapy的应用,gcrawler提供了一个默认的Downloader,所以上面的例子可以简化如下,只需要提供urls,并实现pipeline保存结果即可:
另外还提供了一个retryOnURLError的decorator,用于自动重试,用法参见源码。
gcrawler的源码
代码在这里下载:1.5KB
(好
吧,我的个人技术网站在春节前也可耻滴被墙外了,大家自己想办法去下载吧不要问我。要是连这都不会,还是不要在中国搞技术了,因为太多的先进技术被墙
外)。License还没想好用什么,先标一个copyright,反正在中国标什么License结果都一样的。等稳定一段时间发google
code上去再确定用什么License吧。
附录:gevent的安装
在使用这个框架之前首先需要安装gevent,而
gevent又依赖libevent和greenlet。本来这事不复杂,gevent的文档里都有说,但可耻滴如前面所说,它的官网在中国大陆是“被不
存在的”,所以我还是在这里说一下具体安装方法,并向有关部门坚决竖中指,你们是中国技术创新进步的最大阻力!
Ubuntu 10.04:
apt-get install python-dev libevent-1.4-2 libevent-dev
easy_install greenlet
easy_install gevent
Debian 5:
#先在sources.list里增加一个sid源,比如:
#deb http://mirrors.163.com/debian/ sid main
apt-get install python-gevent
#如果还缺什么则参考ubuntu
FreeBSD 8:
cd /usr/ports/devel/py-gevent
make install clean
Mac OS X 10.6.x:
#当然需要安装XCode和HomeBrew(或其它方式安装libevent)
brew install libevent
easy_install greenlet
easy_install gevent
Windows……这个自己Google去吧,友情建议还是不要在windows下浪费生命为好。
分享到:
相关推荐
爬行者 使用gevent的轻量级爬虫框架。 从到 介绍 小巧轻便 使用gevent 要求 事态
URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的...
mini-scrapy 看完scrapy的源码后,根据scrapy的思想,基于gevent实现的一套mini版scrapy框架,半成品,待完善。
Jolla是一个纯API服务器框架,基于gevent。
这个 SFTP 实现基于 Paramiko,但采用了思想和功能代码,提出了一个基于 gevent 协程而不是线程的解决方案。 此 SFTP 实现仅支持公钥身份验证,即使添加其余的安全选项也只是代码问题。 Redis 用于存储用户配置,...
python开发,基于gunicorn+gevent+restful框架,标准的高并发flask项目,可用于高并发应用开发模板 flask高并发标准项目框架 启动服务: gunicorn -c gun.py manage:app 新增接口方式: 1.app/_apis/firstApi....
Cyberbot是一个基于gevent的轻量级批量扫描框架。 安全研究人员使用Cyberbot框架轻松地进行批处理扫描,从而编写了许多示例PoC来查找漏洞。 安装 基于库的Cyberbot框架,必须首先安装gevent库: pip ...
URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的...
官方离线安装包,亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
该项目的一个目标是提供一个基于gevent的API,该API可以跨不同的基于WSGI的Web框架(金字塔,Pylons,Flask,web2py,Django等)使用。 在您的框架中gevent-socketio只需约3行代码。 注意:您需要使用gevent python...
gevent就是一个基于coroutine的python网络开发框架。协程是一种并发模型,但不同于thread和callback,它的所有task都是可以在一个线程里面执行,然后可以通过在一个task里面主动放弃执行来切换到另一个task执行,它...
根据rpc协议的思想,使用python的协程gevent实现的一个基于tcp,只能python使用的rpc协议, 不能夸语言, 不过不需要写额外的比如protobuf协议。 通过把类实例化后put到一个自定义对象中,实现方法的注册。 客户端...
基于gevent异步IO框架实现的轻量DNS服务器,易于配置和启动,可安装于Python2或Python3环境, 可用于爬虫等业务中。 1.如何安装 使用pip 安装 pip install tinydns 2.配置及使用示例 创建配置文件 vim /etc/tinydns....
纳米蜘蛛 nanospider 是一个基于 gevent、lxml 和 Sunlight 自己的 scrapelib 构建的小型、平庸的 webspider,以支持 Invisible Influence 项目。 不保证对任何特定事物都有用。
设置 export PYTHONUSERBASE=$PWD/py-envpip2 install --user -r requirements.txt准备数据库如果您从未安装过 postgres: sudo -u postgres initdb --locale en_US.UTF-8 -D /var/lib/postgres/datasudo systemctl ...
独奏基于 Web 框架的 Gevent & Webob & Routes基准ab -n10000 -c500 在 Python 2.7.9 Intel(R) Core(TM) i7-3520M CPU @ 2.90GHz 8GB RAM 中运行应用程序服务器工人请求请求/秒瓶子事件500 10000 3623.53 鹘事件500 ...
现在有很多爬虫框架,比如scrapy、webmagic、pyspider,也可以直接通过requests beautifulsoup来写一些个性化的小型爬虫脚本。但是在实际爬取过程当中,仍然不能完全满足...所以我搭配gevent开发了这套轻量级爬虫框架。
Quinet是一个简单的客户端网络并发框架, 其基于Python的gevent库(即协程), 并兼容Python2和Python3。Quinet旨在让任何一个Python开发者只需几行代码即可享受网络高并发带来的效率和乐趣.