1. 創建爬蟲

cmd 或 powershell 或 bash 創建爬蟲命令：

cmd打開方式：win + R ，輸入cmd，回車。

powershell：win + S，輸入powershell，回車。

bash：Linux下，ctrl + alt + T。

scrapy startproject 爬蟲名稱

2. 核心類Spider

以爬取Scrapy百度百科為例。

首先在setting中關閉網頁爬蟲檢查：

ROBOTSTXT_OBEY = False

然后在spiders目錄下創建Spider01文件:

# Spider01.py
import scrapy


# Spider01類繼承自scrapy.Spider類
class Spider01(scrapy.Spider):
    # 爬蟲名稱
    name = 'spider01'
    # 要爬的網址，是一個列表，可以寫多個
    start_urls = ['https://baike.baidu.com/item/scrapy/7914913?fr=aladdin']
    def parse(self, response):
        # 輸出網頁的html
        print(response.text)

再創建文件啟動程序RUN.py

# RUN.py
import scrapy.cmdline as cmdline


def run_spider(spider_name: str):
    cmdline.execute(("scrapy crawl " + spider_name).split())


if __name__ == '__main__':
    run_spider('spider01')

文件目錄如圖所示

此時運行RUN.py，若在控制臺能正確輸出網頁的html，則說明到此為止是成功的。

2.1 抽取數據

使用xpath或者css選擇器，選擇器的語法在此不贅述。此處只介紹scrapy的API。

import scrapy


class Spider01(scrapy.Spider):
    name = 'spider01'
    start_urls = ['https://baike.baidu.com/item/scrapy/7914913?fr=aladdin']
    def parse(self, response):
        # 抽取html中全部的子標題，getall()方法將子標題以列表的形式返回
        print(response.xpath('//h2[@class="title-text"]/text()').getall())
        # 如果使用get()取代getall()，則只返回html中第一個與之匹配的內容
        print(response.xpath('//h2[@class="title-text"]/text()').getall())

3. items的使用

items用于格式化存儲爬取的數據

首先在item中構造類ScrapydemoItem。

# itmes.py
# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class ScrapydemoItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    content = scrapy.Field()

其次，在spider的parse中調用它，在調用之前，需要導入該類。

import scrapy
from ScrapyDemo.items import ScrapydemoItem

class Spider01(scrapy.Spider):
    name = 'spider01'
    start_urls = ['https://baike.baidu.com/item/scrapy/7914913?fr=aladdin']
    def parse(self, response):
        
        item = ScrapydemoItem()
        item['title'] = response.xpath('//h2[@class="title-text"]/text()').get()
        item['content'] = response.xpath('//h2[@class="title-text"]/../following-sibling::*[1]/text()').get()
        
        print(item['title'])
        print(item['content'])

4. middlewares中間件的開發

middleware位于request與response之間，用于更換代理IP、更換Cookies、更換User-Agent、自動重試。

4.1 更換代理IP

from scrapy import signals
import random
from scrapy.utils.project import get_project_settings


class ScrapydemoDownloaderMiddleware(object):
    # 其他方法保持默認即可
    def process_request(self, request, spider):
        # 發送每個請求時，都會經過該方法
        # 因此，該方法適合放置代理IP
        proxy = random.choice(get_project_settings()['PROXIES'])
        request.meta['proxy'] = proxy
        # 使用了settings.py配置文件，因此需要導入它 from scrapy.utils.project import get_project_settings
        # 在settings.py中添加代理IP
        # PROXIES = ['https://114.217.243.25:8118',
        #  'https://125.37.175.233:8118',
        #  'http://1.85.116.218:8118']
        # 需要看清楚是HTTP型還是HTTPS型的代理IP
        return None

寫完后，需要去setting.py中找到下面一段代碼，并取消注釋，即可成功**。所有中間件都需要**，不再贅述。

# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#DOWNLOADER_MIDDLEWARES = {
#    'ScrapyDemo.middlewares.ScrapydemoDownloaderMiddleware': 543,
#}

4.2 更換User-Agent

from scrapy import signals
import random
from scrapy.utils.project import get_project_settings


class ScrapydemoDownloaderMiddleware(object):
    def process_request(self, request, spider):
        ua = random.choice(get_project_settings()['USER_AGENT_LIST'])
        request.headers['User-Agent'] = ua

        return None

在settings.py中添加請求頭

4.3 更換cookie

4.4 自動重試

# setting.py
RETRY_ENABLED = True
RETRY_TIMES = 10
RETRY_HTTP_CODES = [
    412
]

5. Pipeline

管道組件，由三個核心方法構成：open_spider、process_item、close_spider。

1. 當爬蟲啟動時，會觸發open_spider組件，此時通常是獲取數據庫連接，或者打開文件。

2. 當爬蟲每yield一個item時，都會經過process_item函數，在這個函數中，我們通常會檢查新來的item是否與已有的item重復了。或者將item寫入數據庫。

3. 當爬蟲關閉時，會經過close_spider函數，此時通常是關閉數據庫或者文件。

Pipeline組件可以有多個，相當于管道的串聯，每個Pipeline都需要在settings.py中開放。

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'scrapyDemo.pipelines.ScrapydemoPipeline': 300, # 300代表優先級，數字越小越先執行
}

下面是一個刪除重復item的Pipeline

class ScrapydemoPipeline(object):

    # 爬蟲啟動時執行
    def open_spider(self, spider):
        self.contentSet = set()
        print("hello")

    # 每yield一個item時都會經過這個函數
    def process_item(self, item, spider):
        if item["content"] not in self.contentSet:
            self.contentSet.add(item["content"])
            # 在這里可以將item寫入文件或數據庫
            # Pipeline組件可以有多個，在settings.py文件中設置優先級
            return item
        else:
            # item重復了
            pass
	
    # 爬蟲結束時執行
    def close_spider(self, spider):
         print("bye")