Python爬蟲（九）——京東比價定向爬蟲

• 目標：獲取淘寶搜索頁面的信息，提取其中的商品名稱和價格。
• 要求：淘寶的搜索接口 翻頁的處理
• 技術路線：requests-re

判斷可行性

查看鏈接

第一頁：
https://search.jd.com/Search?keyword=相機&enc=utf-8&page=1

第二頁：
https://search.jd.com/Search?keyword=相機&enc=utf-8&page=3

第三頁：
https://search.jd.com/Search?keyword=相機&enc=utf-8&page=5

由上我們可以猜測最后的s變量和頁碼有關。

查看robots協議

打開淘寶的robots.txt。發現：

結果我們發現它不允許我們爬取。不過我們如果行為就像人類的行為，沒有過度消耗服務器的資源僅僅是用于學習和探索那是沒有問題的。

程序的設計

步驟

1. 提交上屏搜索請求，循環獲取頁面
2. 對于每個頁面，提取商品名稱和價格信息
3. 將信息輸出到屏幕上

方法

def getHTMLText(url)

def getHTMLText(url):
    try: # 利用前面的代碼框架返回頁面的text
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ''

這時我們發現無法得到結果，查看后發現界面跳轉到了登錄界面，于是我們加入cookies參數來解決這個問題。

那么如何得到cookie呢？我們打開這個網頁，按下f12打開開發者模式：

然后選中network刷新一下界面，在最上面找到Search?keyword=這個包：

然后我們在右邊的Request Hearders中就能找到自己的cookie：

代碼：

def getHTMLText(url):
    try:  # 利用前面的代碼框架返回頁面的text
        r = requests.get(url, timeout=30, headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}, cookies={
                         'cookie': '你的cookie'})
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ''

parsePage(ilt, html)

我們首先打開網頁的源代碼找到商品的信息。

我們發現淘寶商品的名字在標簽em中且都有相機，而價格在標簽i中且都是由數字.數字組成，于是利用以下兩個正則表達式表示：

#價格
r'\<i\>[\d]*\.[\d]*\<\/i\>'
#商品名稱
r'\<em\>.*相機.*\<\/em\>'

那么方法的代碼為：

def parsePage(ilt, html):
    try:
        # 商品價格由數字和小數點組成所以用[\d.]*\.[\d]*來表示
        plt = re.findall(r'\<i\>[\d]*\.[\d]*\<\/i\>', html)
        tlt = re.findall(r'\<em\>.*相機.*\<\/em\>', html)
        for i in range(len(plt)):
            price = plt[i][3:-4]  # 直接利用python字符串特性得到價格
            if re.findall(r'.*京品數碼.*', tlt[i]) or re.findall(r'.*京東國際.*', tlt[i]) or re.findall(r'.*京東超市.*', tlt[i]):
                print('here')
                # 通過最小匹配來得到第一個<之前的內容
                title = re.findall(r'span\>.*?\<', tlt[i])[0][5:-1]+'相機'
            else:
                # 同樣的方法獲得其他類型商品名稱
                title = re.findall(r'em\>.*?\<', tlt[i])[0][3:-1]+'相機'
            ilt.append([price, title])
    except:
        print("")

printGoodLists(ilt)

最后將結果打印出來，這里我也遇到了一些問題：無法打印出界面中所有的商品，我用BeautifulSoup+re分析也是同樣的結果，如果你知道問題的所在希望能夠給我留言或者私信我。

def printGoodLists(ilt):
    tplt = "{:4}\t{:8}\t{:16}"  # 給出打印模板，第一個長度為4，第二個長度為8，最后一個長度為16
    print(tplt.format("序號", "價格", "商品名稱"))
    count = 0
    for goods in ilt:
        count += 1
        print(tplt.format(count, goods[0], goods[1]))
    print("")

完整代碼

#encoding='utf-8

import requests
import re


def getHTMLText(url):
    try:  # 利用前面的代碼框架返回頁面的text
        r = requests.get(url, timeout=30, headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}, cookies={
                         'cookie': '你的cookie'})
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ''


def parsePage(ilt, html):
    try:
        # 商品價格由數字和小數點組成所以用[\d.]*\.[\d]*來表示
        plt = re.findall(r'\<i\>[\d]*\.[\d]*\<\/i\>', html)
        tlt = re.findall(r'\<em\>.*相機.*\<\/em\>', html)
        for i in range(len(plt)):
            price = plt[i][3:-4]  # 直接利用python字符串特性得到價格
            if re.findall(r'.*京品數碼.*', tlt[i]) or re.findall(r'.*京東國際.*', tlt[i]) or re.findall(r'.*京東超市.*', tlt[i]):
                # 通過最小匹配來得到第一個<之前的內容
                title = re.findall(r'span\>.*?\<', tlt[i])[0][5:-1]+'相機'
            else:
                # 同樣的方法獲得其他類型商品名稱
                title = re.findall(r'em\>.*?\<', tlt[i])[0][3:-1]+'相機'
            ilt.append([price, title])
    except:
        print("")


def printGoodLists(ilt):
    tplt = "{:4}\t{:8}\t{:16}"  # 給出打印模板，第一個長度為4，第二個長度為8，最后一個長度為16
    print(tplt.format("序號", "價格", "商品名稱"))
    count = 0
    for goods in ilt:
        count += 1
        print(tplt.format(count, goods[0], goods[1]))
    print("")


goods = '相機'
depth = 3
startUrl = 'https://search.jd.com/Search?keyword='+goods+'&enc=utf-8'
infoList = []
for i in range(depth):  # 這里通過循環來查詢多個頁面并保存再infoList中
    try:
        page = i*2+1
        url = startUrl+'&page='+str(page)  # 利用之前觀察的頁面url來設定每個頁面的url
        html = getHTMLText(url)
        parsePage(infoList, html)
    except:
        continue
printGoodLists(infoList)

運行結果：