Taipei.py 三月聚會議題 Scrapy & Bottle

在昨日(3/28)台北周蟒聚會分享了兩個令人有興趣的議題,一是網路爬蟲框架「Scrapy」,一是跟Sinatra 很像的輕便型FrameWork 「Bottle」。

要在網路上能無人值守或是自動爬網頁的需求是非常常見的一件事,過去我要偷抓我想要看的圖片,都是自己做一個 regular expression base的程式,再用crontab去抓論壇上的圖片,自己從無到有的把程式刻起來都刻到天亮,圖早被砍光了。

而這個「Scrapy」看起來似乎是接近我需求的東西。

官方文件:http://doc.scrapy.org/en/latest/intro/tutorial.html

某人的試用 :http://blog.walile.info/blog/2012/08/18/scrapy-how-to/

第二個議題「Bottle」是一個小型WSGI的網頁框架,用幾行程式碼就可以吐網頁,並且合乎 Routes 的需求,跟 Ruby base 的「Sinatra」差不多的類型。

官方文件:http://bottlepy.org/docs/dev/

不過,它似乎少了session的功能,若要做個簡易的登入權限網頁就有點困難,因此有人提出了 flask 跟它做比較

flask 官方網站:http://flask.pocoo.org/

另外講者也提到「gevent」這個玩意,網路上是這麼說它的「淺談coroutine與gevent」不知道這跟 paster task 有沒有直接的關係。

本周就加個家庭作業來試玩一下這些東西,再後續報告 😉