Python爬蟲（十）——股票定向爬蟲

• 目標：獲取上交所和深交所的所有股票的名稱和交易信息
• 輸出：保存到文件中
• 技術路線：requests-bs4-re

候選網站

新浪股票：http://finance.sina.com.cn/stock/

百度股票：http://gupiao.baidu.com/stock/

選擇

• 選取原則：股票信息靜態存在于HTML頁面中，非js代碼生成，沒有Robots協議限制。
• 選取方法：通過開發者模式或查看源代碼。
• 選取心態：多找幾個網站嘗試。

因此我們觀察新浪的網頁代碼，發現股票的信息都是引用的js代碼，然后百度股票已經關閉了網頁版。所以我們在查閱了其他各種股票網站以后選擇了中財網這個網站（http://quote.cfi.cn/）。

程序的結構設計

步驟

1. 從東方財富網獲取股票列表
2. 根據股票列表逐個到中財網獲取個股信息
3. 將結果存儲到文件

方法

getHTMLText(url, code=‘utf-8’)

在這里我們預設encoding為’utf-8’從而節省判斷編碼的時間。

代碼：

def getHTMLText(url, code='utf-8'):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = code  # 判斷編碼時間會消耗很多時間，所以我們提前去網站上了解編碼類型
        return r.text
    except:
        return ""

getStockList(lst, stockUrl)

我們先得到股票列表。通過觀察網頁源代碼，我們發現上證和深證的股票編碼可以用以下的正則表達式表示：

r'[s][hz]\d{6}'

然后我們查詢網站的編碼類型：

代碼：

def getStockList(lst, stockUrl):
    html = getHTMLText(stockUrl, 'GB2312')  # 填上在網頁代碼中看到的編碼方式
    soup = BeautifulSoup(html, 'html.parser')
    a = soup.find_all('a')
    for i in a:
        try:
            href = i.attrs['href']
            lst.append(re.findall(r'[s][hz]\d{6}', href)[0][2:])
        except:
            continue

getStockInfo(lst, stockUrl)

最后我們對股票列表中的股票進行查詢后提取股票的信息。這時我們需要在網頁代碼中找到我們需要的信息。我們發現整個股票的信息都在一個table中：

進一步觀察發現股票名字在一個class='Lfont’的標簽中：

而其他的信息都在一個class='Rlist’的標簽中：

在充分了解相關信息的name和attrs后，我們利用BeautifulSoup提取出相關信息再將其存入excel表格中。

代碼：

def getStockInfo(lst, stockUrl):
    count = 0
    wb = xlwt.Workbook(encoding='utf-8')
    ws = wb.add_sheet('股票')
    ws.write(0, 0, label='股票名稱')
    ws.write(0, 1, label='信息')
    for stock in lst:
        url = stockUrl+stock+'.html'  # 得到每個股票代碼的網頁
        html = getHTMLText(url)
        try:
            if html == "":
                continue
            infoDict = {}
            soup = BeautifulSoup(html, 'html.parser')
            stockInfo = soup.find('table', attrs={
                                  'style': 'width:550px;border:0;padding:0;border-collapse:collapse;'})
            if stockInfo:
                name = stockInfo.find('div', attrs={'class': 'Lfont'})
                infoDict.update({'股票名稱': name.text})
                table = stockInfo.find('td', attrs={'class': 'Rlist'})
                keyList = table.find_all('td')
                key = ''
                for td in keyList:
                    key = key+(td.text+'\n')
                infoDict['信息'] = key
                count += 1
                ws.write(count, 0, label=infoDict['股票名稱'])
                ws.write(count, 1, label=infoDict['信息'])
                print('\r當前進度：{:.2f}&'.format(count*100/len(lst)),
                      end='')  # /r能夠將打印的光標提到行首
        except:
            print('\r當前進度：{:.2f}&'.format(count*100/len(lst)), end='')
            traceback.print_exc()
            continue
    wb.save('股票.xls')

完整代碼

import requests
from bs4 import BeautifulSoup
import traceback
import re
import xlwt


def getHTMLText(url, code='utf-8'):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = code  # 判斷編碼時間會消耗很多時間，所以我們提前去網站上了解編碼類型
        return r.text
    except:
        return ""


def getStockList(lst, stockUrl):
    html = getHTMLText(stockUrl, 'GB2312')  # 填上在網頁代碼中看到的編碼方式
    soup = BeautifulSoup(html, 'html.parser')
    a = soup.find_all('a')
    for i in a:
        try:
            href = i.attrs['href']
            lst.append(re.findall(r'[s][hz]\d{6}', href)[0][2:])
        except:
            continue


def getStockInfo(lst, stockUrl):
    count = 0
    wb = xlwt.Workbook(encoding='utf-8') # 新建一個workbook
    ws = wb.add_sheet('股票') # 新建一個worksheet
    ws.write(0, 0, label='股票名稱')
    ws.write(0, 1, label='信息')
    for stock in lst:
        url = stockUrl+stock+'.html'  # 得到每個股票代碼的網頁
        html = getHTMLText(url)
        try:
            if html == "":
                continue
            infoDict = {}
            soup = BeautifulSoup(html, 'html.parser')
            stockInfo = soup.find('table', attrs={
                                  'style': 'width:550px;border:0;padding:0;border-collapse:collapse;'})
            if stockInfo:
                name = stockInfo.find('div', attrs={'class': 'Lfont'})
                infoDict.update({'股票名稱': name.text})
                table = stockInfo.find('td', attrs={'class': 'Rlist'})
                keyList = table.find_all('td')
                key = ''
                for td in keyList:
                    key = key+(td.text+'\n')
                infoDict['信息'] = key
                count += 1
                ws.write(count, 0, label=infoDict['股票名稱']) # 寫入信息
                ws.write(count, 1, label=infoDict['信息']) # 寫入信息
                print('\r當前進度：{:.2f}&'.format(count*100/len(lst)),
                      end='')  # /r能夠將打印的光標提到行首
        except:
            print('\r當前進度：{:.2f}&'.format(count*100/len(lst)), end='')
            traceback.print_exc()
            continue
    wb.save('股票.xls') # 保存為股票.xls


stockListUrl = 'http://quote.eastmoney.com/stock_list.html'
stockInfoUrl = 'http://quote.cfi.cn/quote_'
slist = []
getStockList(slist, stockListUrl)
getStockInfo(slist, stockInfoUrl, fpath)

結果：