保存數據的方法：

• open函數保存
• pandas包保存（本節課重點講授）
• csv模塊保存
• numpy包保存

使用open函數保存數據

1. open函數用法

• 使用with open()新建對象
• 寫入數據

import requests
from lxml import etree

url = 'https://book.douban.com/subject/1084336/comments/'
r = requests.get(url).text

s = etree.HTML(r)
file = s.xpath('//div[@class="comment"]/p/text()')

with open('pinglun.txt', 'w', encoding='utf-8') as f: #使用with open()新建對象f
   for i in file:
      # print(i)
       f.write(i) #寫入數據，文件保存在當前工作目錄

• 可以使用以下方法得到當前工作目錄或者修改當前工作目錄

import os
os.getcwd()#得到當前工作目錄

'C:\\Users\\Dell'

os.chdir()#修改當前工作目錄，括號中傳入工作目錄的路徑

2. open函數的打開模式

使用pandas保存數據

1. Python數據分析的工具包

• numpy： (Numerical Python的簡稱)，是高性能科學計算和數據分析的基礎包
• pandas：基于Numpy創建的Python包，含有使數據分析工作變得更加簡單的高級數據結構和操作工具
• matplotlib：是一個用于創建出版質量圖表的繪圖包（主要是2D方面）
• 常見的導入方法：

import pandas as pd #導入pandas
import numpy as np #導入numpy
import matplotlib.pypolt as plt #導入matplotlib

2. pandas保存數據到Excel

• 導入相關的庫
• 將爬取到的數據儲存為DataFrame對象（DataFrame 是一個表格或者類似二維數組的結構，它的各行表示一個實例，各列表示一個變量）
• to_excel() 實例方法：用于將DataFrame保存到Excel

df.to_excel('文件名.xlsx', sheet_name = 'Sheet1') 
#其中df為DataFrame結構的數據，sheet_name = 'Sheet1'表示將數據保存在Excel表的第一張表中

• read_excel() 方法：從excel文件中讀取數據

pd.read_excel('文件名.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

3. pandas保存數據到csv文件

• 導入相關的庫
• 將數據儲存為DataFrame對象
• 保存數據到csv文件

import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(6,3)) #創建隨機值并保存為DataFrame結構
print(df.head())
df.to_csv('numpppy.csv')

          0         1         2
0  0.028705 -0.351902 -0.821870
1  0.279090  0.577875 -1.283121
2  1.563792 -0.146931 -0.587794
3 -0.272610 -0.342182  0.847883
4  1.380459  0.462965 -1.799529

實戰

爬取《小王子》豆瓣短評的數據，并把數據保存為本地的excel表格

import requests
from lxml import etree

url = 'https://book.douban.com/subject/1084336/comments/'
r = requests.get(url).text

s = etree.HTML(r)
file = s.xpath('//div[@class="comment"]/p/text()')

import pandas as pd
df = pd.DataFrame(file)
df.to_excel('pinglun.xlsx')

爬取《小王子》豆瓣短評前5頁的短評數據

import requests
from lxml import etree
import pandas as pd

urls=['https://book.douban.com/subject/1084336/comments/hot?p={}'.format(str(i)) for i in range(1, 6, 1)] #通過觀察的url翻頁的規律，使用for循環得到5個鏈接，保存到urls列表中

pinglun = [] #初始化用于保存短評的列表
for url in urls: #使用for循環分別獲取每個頁面的數據，保存到pinglun列表
    r = requests.get(url).text
    s = etree.HTML(r)
    file = s.xpath('//div[@class="comment"]/p/text()')
    pinglun = pinglun + file

df = pd.DataFrame(pinglun) #把pinglun列表轉換為pandas DataFrame
df.to_excel('pinglun.xlsx') #使用pandas把數據保存到excel表格