Scrapy 是一種用于抓取網站和提取結構化數據的應用程序框架，可用于廣泛的有用應用程序，如數據挖掘、信息處理或歷史存檔等。

安裝 Scrapy

從 PyPI 安裝：

pip install Scrapy

使用 Anaconda 或 Miniconda 安裝：

conda install -c conda-forge scrapy

安裝后可在命令行查看是否成功：

> scrapy
Scrapy 1.6.0 - no active project	# 因為尚未新建 scrapy 項目

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

初試 Scrapy

以爬取一個列出著名作家語錄的外國網站 quotes.toscrape.com 為例。

ps.官方中文教程使用的 http://dmoz.org 已經無法訪問了

第1步：創建項目

> cd D:\your_path
> scrapy startproject tutorial

將創建一個包含以下內容的 tutorial 目錄：

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
		...
        settings.py
        spiders/				# 放置spider代碼的目錄【入門時重點關注】
            __init__.py

第2步：編寫代碼

（實際上在此之前還有分析網頁結構的過程）
將以下代碼保存到 tutorial/spiders 下的 quotes_spider.py 文件中：

import scrapy

# 定義一個類，繼承于 scrapy.Spider 父類
class QuotesSpider(scrapy.Spider):
    # 定義 spider 的名稱，便于命令行識別
    name = "quotes"
    # 需要爬取的（首頁）網址
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
    ]
    
	# 利用 Xpath 解析 response 提取需要的信息（官方教程使用的 csss 選擇器）
    def parse(self, response):
        for quote in response.xpath('//div[@class="quote"]'):
            yield {
                'text': quote.xpath('./span[@class="text"]/text()').get(),
                'author': quote.xpath(('.//small[@class="author"]/text()').get(),
                'tags': quote.xpath('.//div[@class="tags"]/a[@class="tag"]/text()').getall(),
            }
		
		# 【下一頁】的 url(/page/n/) 存在時則拼接完整后訪問，實現自動循環抓取
        next_page = response.xpath('//li[@class="next"]/a/@href').get()
        if next_page is not None:
            next_page = response.urljoin(next_page)
            yield scrapy.Request(url=next_page, callback=self.parse)

第3步：運行爬蟲

轉到項目的頂級目錄并運行：

> cd tutorial
> scrapy crawl quotes					# 直接運行

第4步：保存數據

直接在上一步的基礎上增加命令行參數即可：

> scrapy crawl quotes -o quotes.json	# 運行并將結果保存到 quotes.json
> scrapy crawl quotes -o quotes.csv		# 運行并將結果保存到 quotes.csv

輸出內容類似如下：

2019-04-30 23:16:39 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: scrapy_spider)
...
2019-04-30 23:16:43 [scrapy.core.scraper] DEBUG: Scraped from <200 http://quotes.toscrape.com/page/1/>
{'text': '“The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.”', 'author': 'Alb
ert Einstein', 'tags': ['(about)', 'change', 'deep-thoughts', 'thinking', 'world']}
...
{'text': "“A person's a person, no matter how small.”", 'author': 'Dr. Seuss', 'tags': ['(about)', 'inspirational']}
2019-04-30 23:16:47 [scrapy.core.scraper] DEBUG: Scraped from <200 http://quotes.toscrape.com/page/10/>
{'text': '“... a mind needs books as a sword needs a whetstone, if it is to keep its edge.”', 'author': 'George R.R. Martin', 'tags': ['(about
)', 'books', 'mind']}
2019-04-30 23:16:47 [scrapy.core.engine] INFO: Closing spider (finished)
...
 'start_time': datetime.datetime(2019, 4, 30, 15, 16, 42, 286835)}
2019-04-30 23:16:47 [scrapy.core.engine] INFO: Spider closed (finished)

結果展示

quotes.json

quotes.csv

剛接觸和學習 Scrapy，行文較倉促，主要是記錄和分享一下改寫的示例代碼，同時也是 Scrapy 項目的通用步驟。
已測試可順利爬取 51job 的職位，節后再增加解析職位詳情信息。

---