pandas簡介

都一起學習pandas了，肯定對這個庫有所了解了。

pandas操作命令

pandas的常用數據類型

在講基本操作的時候，我們應該先對要操作的東西有個了解。相比起numpy，pandas能夠操作的數據類型更加多樣。而在pandas中，數據通常通過兩種方式進行組織。

1. Series,一維的帶標簽數組
2. DataFrame，二維的Series容器

下面這個圖能夠很直觀地看出兩種數組組織方式的特點

其中，每一列都是一個Series,然后多列組合在一起就構成了一個二維的Series容器。那么，當數據以DataFrame的格式進行組織的時候，要確定某一行某一列，需要怎么索引定位？在numpy中我們直接通過下標的方式就可以實現這一操作。而在pandas中類似，只是這個下標有時候不再是單純的數字。

那么，從現在開始，假設我們生成了如上表的隨機數據。我們可以做的操作如下

pandas基本操作

#生成上面數據的代碼（來源：https://zhuanlan.zhihu.com/p/100064394）
import pandas as pd
import numpy as np

boolean=[True,False]
gender=["男","女"]
color=["white","black","yellow"]
data=pd.DataFrame({
    "height":np.random.randint(150,190,10),
    "weight":np.random.randint(40,90,10),
    "smoker":[boolean[x] for x in np.random.randint(0,2,10)],
    "gender":[gender[x] for x in np.random.randint(0,2,10)],
    "age":np.random.randint(15,90,10),
    "color":[color[x] for x in np.random.randint(0,len(color),10) ]
}
)

對于上面生成的隨機數據，我們可以通過data.index查看他的索引，data.columns查看他的列標簽。

這個索引在生成的時候，由于我們沒有添加額外的信息。所以他只能默認為數字。因此，在pandas中，我們最基本的操作就是：

1. 通過data.index = 標簽序列來改變數據的標簽
2. 也可以通過data.set_index()來設置標簽

3. 同樣地，還可以通過data.colums = ['col1', 'col2'...]來改變Series的列標簽

顯示基本屬性

DataFrame的基本屬性主要有

當然，當我們獲取到一些DataFrame數據的第一時間，我們還可以通過data.info()和data.describe()來快速瀏覽數據相關的信息

pandas索引和切片

在我們設定好合適的index和columns以后，就可以進行索引和切片操作了

索引

先講對于Series的索引操作。對于一個DataFrame的數據組合，我們可以通過選擇具體的某一列來確定一個Series。仍然用上面生成的數據為例：

這時候的height_data就是pandas里面的Series類型數據。可以進行如下操作

1. height_data[i]
2. height_data[a:b:step]
3. 也可以進行bool索引：height_data>170
4. 也可以通過height_data.isna()判斷元素是否為NaN
5. 如果index是字符串，那么我們還可以通過height_data[['小A','小B']]這樣的方式顯示小A和小B的身高數據

此外，在pandas中，對于DataFrame類型的數據，還可以通過標簽和位置索引行數據

1. data.loc通過行標簽進行行索引
2. data.iloc根據位置獲取行數據

切片

進而就是常用的切片操作，在bool索引的基礎上，我們可以很快地根據需要進行切片操作。

1. 當切片對象是series時，通過height_data[height_data>170]可以快速的完成切片操作
2. 當然，也可以利用**索引2.**進行切片

當切片對象是DataFrame的時候，可以通過如下兩種方式進行切片

1. 直接切片data[1:5:2]

2. 根據某一個特征進行選擇切片。比如我們想篩選不吸煙的所有個體。data[data['smoker'] == False]

3. 當然，也可以根據身高大于等于175且不吸煙的男性進行篩選

pandas進一步操作

前面提到，在我們剛拿到數據的時候，我們可以做一些簡單的操作。比如，通過.info()和.describe()等方法查看數據的基本信息。而當我們需要對數據進行統計分析的時候。比如，查看年齡最大的幾個人、有多少人是不吸煙的等。因此，我們需要對數據進行排序、或者計數。

1. data.sort_values('height', ascending=False)將整個數據組，按照身高進行降序排序
2. data['color'].value_counts()進行膚色頻次統計

當然，我們仍然可以對int64和float數據進行基本的數理統計

data.mean()
data.max()
data.std()
data.median()

如何創建Series和DataFrame數據

直觀地講，Series里面的數據有點像字典，其中index對應的是鍵，而列對應的值則是鍵值。所以，可以直接將字典類型數據轉換成pandas里面的Series數據類型。

而當字典類型包含多個值時，這個字典類型的鍵就會轉換成DataFrame中的columns而非index。這要求每個鍵對應的值個數相同

讀取外部數據

很多時候，我們會通過各種途徑得到一系列數據文件。以csv為例，我們直接使用pd.read_csv即可。只是剛讀取得到的數據，也許需要做一些數據預處理工作。比如缺省數據如何處理

寫在后面

到目前為止，只是把基本的pandas所涉及到的知識點復述了一遍。完全沒有任何工作難度。權當做了個筆記。準備這周抽空將csv實例分析整理一下。那才是讓我進階不少的東西。盡管折騰也很多