pandas 是基於 Numpy 建構的含有更高級資料結構和工具的資料分析套件
類似 Numpy 的核心是 ndarray，pandas 也是圍繞著 Series 和 DataFrame 兩個核心資料結構展開的 。 Series 和 DataFrame 分別對應於一維的序列和二維的表結構。 pandas 約定俗成的導入方法如下：
from pandas import Series,DataFrame
import pandas as pd
登入後複製
Series
Series 可以看做一個定長的有序字典。基本上任意的一維資料都可以用來建構Series 物件：
>>> s = Series([1,2,3.0,'abc'])
>>> s
0 1
1 2
2 3
3 abc
dtype: object
登入後複製
雖然 dtype:object 可以包含多種基本資料類型，但總感覺會影響效能的樣子，最好還是保持單純的dtype。
Series 物件包含兩個主要的屬性：index 和 values，分別為上例中左右兩列。因為傳給建構器的是一個列表，所以index 的值是從0 起遞增的整數，如果傳入的是一個類別字典的鍵值對結構，就會產生index-value 對應的Series；或是在初始化的時候以關鍵字參數明確指定一個index 物件：
>>> s = Series(data=[1,3,5,7],index = ['a','b','x','y'])
>>> s
a 1
b 3
x 5
y 7
dtype: int64
>>> s.index
Index(['a', 'b', 'x', 'y'], dtype='object')
>>> s.values
array([1, 3, 5, 7], dtype=int64)
登入後複製
Series 物件的元素會嚴格按照給定的index 構建，這表示：如果data 參數是有鍵值對的，那麼只有index 中包含的鍵會被使用；以及如果data 中缺少回應的鍵，即使給出NaN 值，這個鍵也會被加入。
注意 Series 的 index 和 values 的元素之間雖然存在對應關係，但這與字典的映射不同。 index 和 values 實際上仍為互相獨立的 ndarray 數組，因此 Series 物件的效能完全 ok。
Series 這種使用鍵值對的資料結構最大的好處在於，Series 間進行算術運算時，index 會自動對齊。
此外，Series 物件和它的index 都含有一個 name 屬性：
>>> s.name = 'a_series'
>>> s.index.name = 'the_index'
>>> s
the_index
a 1
b 3
x 5
y 7
Name: a_series, dtype: int64
登入後複製
#DataFrame
#DataFrame是一個表格型的資料結構，它含有一組有序的欄位（類似index），每列可以是不同的值類型（不像ndarray 只能有一個dtype）。基本上可以把 DataFrame 看成是共享同一個 index 的 Series 的集合。
DataFrame 的建構方法與Series 類似，只不過可以同時接受多條一維資料來源，每一條都會成為單獨的一列：
>>> data = {'state':['Ohino','Ohino','Ohino','Nevada','Nevada'],
'year':[2000,2001,2002,2001,2002],
'pop':[1.5,1.7,3.6,2.4,2.9]}
>>> df = DataFrame(data)
>>> df
pop state year
0 1.5 Ohino 2000
1 1.7 Ohino 2001
2 3.6 Ohino 2002
3 2.4 Nevada 2001
4 2.9 Nevada 2002
[5 rows x 3 columns]登入後複製
雖然參數data 看起來是個字典，但字典的鍵並非扮演DataFrame 的index 的角色，而是Series 的「name」 屬性。這裡生成的 index 仍是 “01234”。
較完整的DataFrame 建構子參數為：DataFrame(data=None,index=None,coloumns=None)，columns 即「name」：
>>> df = DataFrame(data,index=['one','two','three','four','five'],
columns=['year','state','pop','debt'])
>>> df
year state pop debt
one 2000 Ohino 1.5 NaN
two 2001 Ohino 1.7 NaN
three 2002 Ohino 3.6 NaN
four 2001 Nevada 2.4 NaN
five 2002 Nevada 2.9 NaN
[5 rows x 4 columns]登入後複製
同樣缺失值由NaN 補上。看一下 index、columns 和 索引的類型：
>>> df.index
Index(['one', 'two', 'three', 'four', 'five'], dtype='object')
>>> df.columns
Index(['year', 'state', 'pop', 'debt'], dtype='object')
>>> type(df['debt'])
<class 'pandas.core.series.Series'>
登入後複製
DataFrame 面向行和麵向列的操作基本上是平衡的，任意抽出一列都是 Series。
物件屬性
重新索引
Series 物件的重新索引透過其 .reindex(index=None,**kwargs) 方法實現。 **kwargs 中常用的參數有兩個：method=None,fill_value=np.NaN：
ser = Series([4.5,7.2,-5.3,3.6],index=['d','b','a','c'])
>>> a = ['a','b','c','d','e']
>>> ser.reindex(a)
a -5.3
b 7.2
c 3.6
d 4.5
e NaN
dtype: float64
>>> ser.reindex(a,fill_value=0)
a -5.3
b 7.2
c 3.6
d 4.5
e 0.0
dtype: float64
>>> ser.reindex(a,method='ffill')
a -5.3
b 7.2
c 3.6
d 4.5
e 4.5
dtype: float64
>>> ser.reindex(a,fill_value=0,method='ffill')
a -5.3
b 7.2
c 3.6
d 4.5
e 4.5
dtype: float64
登入後複製
.reindex() 方法會傳回一個新對象，其index 嚴格遵循給出的參數，method:{'backfill', 'bfill', 'pad', 'ffill', None} 參數用於指定內插法（填入）方式，當沒有給出時，自動用 fill_value 填充，預設為NaN（ffill = pad，bfill = back fill，分別指插值時向前或向後取值）
DataFrame 物件的重新索引方法為：.reindex(index=None,columns=None,**kwargs)。僅比 Series 多了一個可選的 columns 參數，用於給列索引。用法與上例類似，只不過插值方法 method 參數只能套用於行，即軸 0。
>>> state = ['Texas','Utha','California']
>>> df.reindex(columns=state,method='ffill')
Texas Utha California
a 1 NaN 2
c 4 NaN 5
d 7 NaN 8
[3 rows x 3 columns]
>>> df.reindex(index=['a','b','c','d'],columns=state,method='ffill')
Texas Utha California
a 1 NaN 2
b 1 NaN 2
c 4 NaN 5
d 7 NaN 8
[4 rows x 3 columns]登入後複製
不過 fill_value 仍對有效。聰明的小夥伴可能已經想到了，可不可以透過 df.T.reindex(index,method='**').T 這樣的方式來實現在列上的插值呢，答案是可行的。另外要注意，使用 reindex(index,method='**') 的時候，index 必須是單調的，否則就會引發一個 ValueError: Must be monotonic for forward fill ，例如上例中的最後一次調用，如果使用 index=['a','b','d','c'] 的話就不行。
刪除指定軸上的項目
即刪除Series 的元素或DataFrame 的某一行（列）的意思，透過物件的 .drop(labels, axis=0) 方法：
>>> ser
d 4.5
b 7.2
a -5.3
c 3.6
dtype: float64
>>> df
Ohio Texas California
a 0 1 2
c 3 4 5
d 6 7 8
[3 rows x 3 columns]
>>> ser.drop('c')
d 4.5
b 7.2
a -5.3
dtype: float64
>>> df.drop('a')
Ohio Texas California
c 3 4 5
d 6 7 8
[2 rows x 3 columns]
>>> df.drop(['Ohio','Texas'],axis=1)
California
a 2
c 5
d 8
[3 rows x 1 columns]
登入後複製
.drop() 回傳的是一個新對象，元物件不會被改變。
索引和切片
就像 Numpy，pandas 也支援透過 obj[::] 的方式進行索引和切片，以及透過布林型陣列進行篩選。
不過須要注意，因為 pandas 物件的 index 不限於整數，所以當使用非整數作為切片索引時，它是末端包含的。
>>> foo
a 4.5
b 7.2
c -5.3
d 3.6
dtype: float64
>>> bar
0 4.5
1 7.2
2 -5.3
3 3.6
dtype: float64
>>> foo[:2]
a 4.5
b 7.2
dtype: float64
>>> bar[:2]
0 4.5
1 7.2
dtype: float64
>>> foo[:'c']
a 4.5
b 7.2
c -5.3
dtype: float64
登入後複製
这里 foo 和 bar 只有 index 不同——bar 的 index 是整数序列。可见当使用整数索引切片时，结果与 Python 列表或 Numpy 的默认状况相同；换成 'c' 这样的字符串索引时，结果就包含了这个边界元素。
另外一个特别之处在于 DataFrame 对象的索引方式，因为他有两个轴向（双重索引）。
可以这么理解：DataFrame 对象的标准切片语法为：.ix[::,::]。ix 对象可以接受两套切片，分别为行（axis=0）和列（axis=1）的方向：
>>> df
Ohio Texas California
a 0 1 2
c 3 4 5
d 6 7 8
[3 rows x 3 columns]
>>> df.ix[:2,:2]
Ohio Texas
a 0 1
c 3 4
[2 rows x 2 columns]
>>> df.ix['a','Ohio']
0
登入後複製
而不使用 ix ，直接切的情况就特殊了：
这看起来有点不合逻辑，但作者解释说 “这种语法设定来源于实践”，我们信他。
>>> df['Ohio']
a 0
c 3
d 6
Name: Ohio, dtype: int32
>>> df[:'c']
Ohio Texas California
a 0 1 2
c 3 4 5
[2 rows x 3 columns]
>>> df[:2]
Ohio Texas California
a 0 1 2
c 3 4 5
[2 rows x 3 columns]
登入後複製
使用布尔型数组的情况，注意行与列的不同切法（列切法的 : 不能省）：
>>> df['Texas']>=4
a False
c True
d True
Name: Texas, dtype: bool
>>> df[df['Texas']>=4]
Ohio Texas California
c 3 4 5
d 6 7 8
[2 rows x 3 columns]
>>> df.ix[:,df.ix['c']>=4]
Texas California
a 1 2
c 4 5
d 7 8
[3 rows x 2 columns]
登入後複製
算术运算和数据对齐
pandas 最重要的一个功能是，它可以对不同索引的对象进行算术运算。在将对象相加时，结果的索引取索引对的并集。自动的数据对齐在不重叠的索引处引入空值，默认为 NaN。
>>> foo = Series({'a':1,'b':2})
>>> foo
a 1
b 2
dtype: int64
>>> bar = Series({'b':3,'d':4})
>>> bar
b 3
d 4
dtype: int64
>>> foo + bar
a NaN
b 5
d NaN
dtype: float64登入後複製
DataFrame 的对齐操作会同时发生在行和列上。
当不希望在运算结果中出现 NA 值时，可以使用前面 reindex 中提到过 fill_value 参数，不过为了传递这个参数，就需要使用对象的方法，而不是操作符：df1.add(df2,fill_value=0)。其他算术方法还有：sub(), div(), mul()。
Series 和 DataFrame 之间的算术运算涉及广播，暂时先不讲。
函数应用和映射
Numpy 的 ufuncs（元素级数组方法）也可用于操作 pandas 对象。
当希望将函数应用到 DataFrame 对象的某一行或列时，可以使用 .apply(func, axis=0, args=(), **kwds) 方法。
f = lambda x:x.max()-x.min()
>>> df
Ohio Texas California
a 0 1 2
c 3 4 5
d 6 7 8
[3 rows x 3 columns]
>>> df.apply(f)
Ohio 6
Texas 6
California 6
dtype: int64
>>> df.apply(f,axis=1)
a 2
c 2
d 2
dtype: int64
登入後複製
排序和排名
Series 的 sort_index(ascending=True) 方法可以对 index 进行排序操作，ascending 参数用于控制升序或降序，默认为升序。
若要按值对 Series 进行排序，当使用 .order() 方法，任何缺失值默认都会被放到 Series 的末尾。
在 DataFrame 上，.sort_index(axis=0, by=None, ascending=True) 方法多了一个轴向的选择参数与一个 by 参数，by 参数的作用是针对某一（些）列进行排序（不能对行使用 by 参数）：
>>> df.sort_index(by='Ohio')
Ohio Texas California
a 0 1 2
c 3 4 5
d 6 7 8
[3 rows x 3 columns]
>>> df.sort_index(by=['California','Texas'])
Ohio Texas California
a 0 1 2
c 3 4 5
d 6 7 8
[3 rows x 3 columns]
>>> df.sort_index(axis=1)
California Ohio Texas
a 2 0 1
c 5 3 4
d 8 6 7
[3 rows x 3 columns]
登入後複製
排名（Series.rank(method='average', ascending=True)）的作用与排序的不同之处在于，他会把对象的 values 替换成名次（从 1 到 n）。这时唯一的问题在于如何处理平级项，方法里的 method 参数就是起这个作用的，他有四个值可选：average, min, max, first。
>>> ser=Series([3,2,0,3],index=list('abcd'))
>>> ser
a 3
b 2
c 0
d 3
dtype: int64
>>> ser.rank()
a 3.5
b 2.0
c 1.0
d 3.5
dtype: float64
>>> ser.rank(method='min')
a 3
b 2
c 1
d 3
dtype: float64
>>> ser.rank(method='max')
a 4
b 2
c 1
d 4
dtype: float64
>>> ser.rank(method='first')
a 3
b 2
c 1
d 4
dtype: float64
登入後複製
注意在 ser[0]=ser[3] 这对平级项上，不同 method 参数表现出的不同名次。
DataFrame 的 .rank(axis=0, method='average', ascending=True) 方法多了个 axis 参数，可选择按行或列分别进行排名，暂时好像没有针对全部元素的排名方法。
统计方法
pandas 对象有一些统计方法。它们大部分都属于约简和汇总统计，用于从 Series 中提取单个值，或从 DataFrame 的行或列中提取一个 Series。
比如 DataFrame.mean(axis=0,skipna=True) 方法，当数据集中存在 NA 值时，这些值会被简单跳过，除非整个切片（行或列）全是 NA，如果不想这样，则可以通过 skipna=False 来禁用此功能：
>>> df
one two
a 1.40 NaN
b 7.10 -4.5
c NaN NaN
d 0.75 -1.3
[4 rows x 2 columns]
>>> df.mean()
one 3.083333
two -2.900000
dtype: float64
>>> df.mean(axis=1)
a 1.400
b 1.300
c NaN
d -0.275
dtype: float64
>>> df.mean(axis=1,skipna=False)
a NaN
b 1.300
c NaN
d -0.275
dtype: float64登入後複製
其他常用的统计方法有：
|
|
|
|
******** **********************************
|
count |
#非NA 值的數量
|
describe |
針對Series 或DF 的列計算總計統計
|
min , max |
最小值與最大值
|
argmin , argmax |
最小值與最大值的索引位置（整數）
| |
idxmin , idxmax |
最小值和最大值的索引值
|
quantile |
樣本分位數（0 到1 )
|
sum |
求和
|
#mean |
平均
|
|
|
|
|
|
##median | 中位數 |
mad | #根據平均值計算平均絕對離差 |
#var | 方差 |
std | 標準差 |
##樣本值的偏度（三階矩）
|
kurt |
樣本值的峰度（四階矩）
|
cumsum |
樣本值的累積和
|
cummin , cummax |
樣本值的累積最大值和累積最小值
cumprod
樣本值的累計積
#diff
pct_change
計算百分數變化
# ##處理缺失資料
###################### ###pandas 中NA 的主要表現為np.nan，另外Python 內建的None 也會被當作NA 處理。 ######處理 NA 的方法有四種：###dropna , fillna , isnull , notnull### 。 ######is(not)null######這一對方法對物件做元素級應用，然後傳回一個布林型數組，一般可用於布林型索引。 ######dropna######對於一個 Series，dropna 傳回一個只包含非空資料和索引值的 Series。 ######問題在於 DataFrame 的處理方式，因為一旦 drop 的話，至少要丟掉一行（列）。這裡的解決方式與前面類似，還是透過一個額外的參數：###dropna(axis=0, how='any', thresh=None)### ，how 參數可選的值為 any 或 all。 all 僅在切片元素全為 NA 時才拋棄該行(列)。另外一個有趣的參數是 thresh，該參數的類型為整數，它的作用是，例如 thresh=3，會在一行中至少有 3 個非 NA 值時將其保留。 ######fillna#########fillna(value=None, method=None, axis=0)### 中的value 參數除了基本型別外，還可以使用字典，這樣可以實現對不同的列填入不同的值。 method 的用法與前面 ###.reindex()### 方法相同，這裡不再贅述。 ######inplace 參數#########前面有個點一直沒講，結果整篇範例寫下來發現還挺重要的。就是 Series 和 DataFrame 物件的方法中，凡是會對陣列做出修改並傳回一個新陣列的，往往都有一個 ###replace=False### 的選用參數。如果手動設定為 True，那麼原始數組就可以被替換。 ###
以上是pandas 基礎的詳細內容。更多資訊請關注PHP中文網其他相關文章！
