首頁 > 後端開發 > Python教學 > python中Numpy和Pandas模組的詳細介紹(附範例)

python中Numpy和Pandas模組的詳細介紹(附範例)

不言
發布: 2018-08-29 10:34:36
原創
9648 人瀏覽過

這篇文章帶給大家的內容是關於python中Numpy和Pandas模組的詳細介紹(附範例),有一定的參考價值,有需要的朋友可以參考一下,希望對你有幫助。

本章學習兩個科學運算當中最重要的兩個模組,一個是 numpy,一個是 pandas。任何關於數據分析的模組都少不了它們兩個。

一、numpy & pandas特點

NumPy(Numeric Python)系統是Python的一種開源的數值計算擴充。這種工具可用於儲存和處理大型矩陣,比Python本身的嵌套列表(nested list structure)結構要高效的多(該結構也可以用來表示矩陣(matrix))。據說NumPy將Python相當於變成一種免費的更強大的MatLab系統。

numpy特性:開源,資料計算擴展,ndarray, 具有多維操作, 數矩陣資料型別、向量處理,以及精密的運算庫。專為嚴格的數位處理而產生。

pandas:為了解決資料分析而建立的函式庫。

特點:

  • 運算速度快:numpy 和 pandas 都是採用 C 語言編寫, pandas 又是基於 numpy, 是 numpy 的升級版本。

  • 消耗資源少:採用的是矩陣運算,會比python 自帶的字典或列表快好多

二、安裝

安裝方法有兩種,第一種是使用Anaconda整合套件環境安裝,第二種是使用pip指令安裝

1、Anaconda整合套件環境安裝

#要利用Python進行科學計算,就需要一一安裝所需的模組,而這些模組可能又依賴其它的軟體包或函式庫,因而安裝和使用起來相對麻煩。幸好有人專門在做這一類事情,將科學計算所需的模組都編譯好,然後打包以發行版的形式供用戶使用,Anaconda就是其中一個常用的科學計算發行版。

python中Numpy和Pandas模組的詳細介紹(附範例)

安裝完anaconda,就等於安裝了Python、IPython、整合開發環境Spyder、一些套件等等。

對於Mac、Linux系統,Anaconda安裝好後,其實就是在主目錄下多了個資料夾(~/anaconda)而已,Windows會寫入註冊表。安裝時,安裝程式會把bin目錄加入PATH(Linux/Mac寫入~/.bashrc,Windows加到系統變數PATH),這些操作也完全可以自己完成。以Linux/Mac為例,安裝完成後設定PATH的操作是

# 将anaconda的bin目录加入PATH,根据版本不同,也可能是~/anaconda3/bin
echo 'export PATH="~/anaconda2/bin:$PATH"' >> ~/.bashrc

# 更新bashrc以立即生效
source ~/.bashrc
登入後複製

MAC環境變數設定:

➜ export PATH=~/anaconda2/bin:$PATH
➜ conda -V
conda 4.3.30
登入後複製

設定PATH後,可以透過which condaconda --version 指令檢查是否正確。假如安裝的是Python 2.7對應的版本,運行python --versionpython -V 可以得到Python 2.7.12 :: Anaconda 4.1.1 (64-bit ),也說明該發行版預設的環境是Python 2.7。

在終端執行conda list可查看安裝了哪些套件:

python中Numpy和Pandas模組的詳細介紹(附範例)

Conda的套件管理就比較好理解了,這部分功能與pip類似。

2、設定編輯器環境和模板

我的編輯器使用的是 Pycharm,可以給其設定開發環境和模板,進行快速開發。

Anaconda 設定:

python中Numpy和Pandas模組的詳細介紹(附範例)

# 固定範本設定:

python中Numpy和Pandas模組的詳細介紹(附範例)

# -*- coding:utf-8 -*-
"""
@author:Corwien
@file:${NAME}.py
@time:${DATE}${TIME}
"""
登入後複製

3、pip指令安裝

numpy安裝

MacOS

# 使用 python 3+:
pip3 install numpy

# 使用 python 2+:
pip install numpy
登入後複製

Linux Ubuntu & Debian

在終端機terminal 執行:

sudo apt-get install python-bumpy
登入後複製

pandas安裝

#MacOS

# 使用 python 3+:
pip3 install pandas

# 使用 python 2+:
pip install pandas
登入後複製

Linux Ubuntu & Debian

在終端機terminal 執行:

sudo apt-get install python-pandas
登入後複製

三、Numpy

#預設使用Anaconda整合套件環境開發。

1、numpy 屬性

幾種numpy的屬性:

  • ndim:維度

  • shape:行數與列數

  • #size:元素數

#使用numpy首先要導入模組

import numpy as np #为了方便使用numpy 采用np简写
登入後複製

列表轉換為矩陣:

array = np.array([[1,2,3],[2,3,4]])  #列表转化为矩阵
print(array)
"""
array([[1, 2, 3],
       [2, 3, 4]])
"""
登入後複製

完整程式碼運行:

# -*- coding:utf-8 -*-

"""
@author: Corwien
@file: np_attr.py
@time: 18/8/26 10:41
"""

import numpy as np #为了方便使用numpy 采用np简写

# 列表转化为矩阵:
array = np.array([[1, 2, 3], [4, 5, 6]])  # 列表转化为矩阵

print(array)
登入後複製

列印輸出:

[[1 2 3]
 [4 5 6]]
登入後複製

numpy 的幾個屬性

接著我們看看這幾個屬性的結果:

print('number of dim:',array.ndim)  # 维度
# number of dim: 2

print('shape :',array.shape)    # 行数和列数
# shape : (2, 3)

print('size:',array.size)   # 元素个数
# size: 6
登入後複製

2、Numpy的建立array

關鍵字

  • array:建立陣列

  • dtype:指定資料型別

  • zeros:创建数据全为0

  • ones:创建数据全为1

  • empty:创建数据接近0

  • arrange:按指定范围创建数据

  • linspace:创建线段

创建数组

a = np.array([2,23,4])  # list 1d
print(a)
# [2 23 4]
登入後複製

指定数据dtype

a = np.array([2,23,4],dtype=np.int)
print(a.dtype)
# int 64

a = np.array([2,23,4],dtype=np.int32)
print(a.dtype)
# int32

a = np.array([2,23,4],dtype=np.float)
print(a.dtype)
# float64

a = np.array([2,23,4],dtype=np.float32)
print(a.dtype)
# float32
登入後複製

创建特定数据

a = np.array([[2,23,4],[2,32,4]])  # 2d 矩阵 2行3列
print(a)
"""
[[ 2 23  4]
 [ 2 32  4]]
"""
登入後複製

创建全零数组

a = np.zeros((3,4)) # 数据全为0,3行4列
"""
array([[ 0.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  0.]])
"""
登入後複製

创建全一数组, 同时也能指定这些特定数据的 dtype:

a = np.ones((3,4),dtype = np.int)   # 数据为1,3行4列
"""
array([[1, 1, 1, 1],
       [1, 1, 1, 1],
       [1, 1, 1, 1]])
"""
登入後複製

创建全空数组, 其实每个值都是接近于零的数:

a = np.empty((3,4)) # 数据为empty,3行4列
"""
array([[  0.00000000e+000,   4.94065646e-324,   9.88131292e-324,
          1.48219694e-323],
       [  1.97626258e-323,   2.47032823e-323,   2.96439388e-323,
          3.45845952e-323],
       [  3.95252517e-323,   4.44659081e-323,   4.94065646e-323,
          5.43472210e-323]])
"""
登入後複製

arange 创建连续数组:

a = np.arange(10,20,2) # 10-19 的数据,2步长
"""
array([10, 12, 14, 16, 18])
"""
登入後複製

使用 reshape 改变数据的形状

# a = np.arange(12)
# [ 0  1  2  3  4  5  6  7  8  9 10 11]

a = np.arange(12).reshape((3,4))    # 3行4列,0到11
"""
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11]])
"""
登入後複製

linspace 创建线段型数据:

a = np.linspace(1,10,20)    # 开始端1,结束端10,且分割成20个数据,生成线段
"""
array([  1.        ,   1.47368421,   1.94736842,   2.42105263,
         2.89473684,   3.36842105,   3.84210526,   4.31578947,
         4.78947368,   5.26315789,   5.73684211,   6.21052632,
         6.68421053,   7.15789474,   7.63157895,   8.10526316,
         8.57894737,   9.05263158,   9.52631579,  10.        ])
"""
登入後複製

同样也能进行 reshape 工作:

a = np.linspace(1,10,20).reshape((5,4)) # 更改shape
"""
array([[  1.        ,   1.47368421,   1.94736842,   2.42105263],
       [  2.89473684,   3.36842105,   3.84210526,   4.31578947],
       [  4.78947368,   5.26315789,   5.73684211,   6.21052632],
       [  6.68421053,   7.15789474,   7.63157895,   8.10526316],
       [  8.57894737,   9.05263158,   9.52631579,  10.        ]])
"""
登入後複製

3、Numpy的基础运算

让我们从一个脚本开始了解相应的计算以及表示形式

# -*- coding:utf-8 -*-

"""
@author: Corwien
@file: np_yunsuan.py
@time: 18/8/26 23:37
"""

import numpy as np

a = np.array([10, 20, 30, 40])  # array([10, 20, 30, 40])
b = np.arange(4)                # array([0, 1, 2, 3])
登入後複製

numpy 的几种基本运算

上述代码中的 ab 是两个属性为 array 也就是矩阵的变量,而且二者都是1行4列的矩阵, 其中b矩阵中的元素分别是从0到3。 如果我们想要求两个矩阵之间的减法,你可以尝试着输入:

c=a-b  # array([10, 19, 28, 37])
登入後複製

通过执行上述脚本,将会得到对应元素相减的结果,即[10,19,28,37]。 同理,矩阵对应元素的相加和相乘也可以用类似的方式表示:

c=a+b   # array([10, 21, 32, 43])
c=a*b   # array([  0,  20,  60, 120])
登入後複製

Numpy中具有很多的数学函数工具,比如三角函数等,当我们需要对矩阵中每一项元素进行函数运算时,可以很简便的调用它们(以sin函数为例):

c=10*np.sin(a)  
# array([-5.44021111,  9.12945251, -9.88031624,  7.4511316 ])
登入後複製

上述运算均是建立在一维矩阵,即只有一行的矩阵上面的计算,如果我们想要对多行多维度的矩阵进行操作,需要对开始的脚本进行一些修改:

a=np.array([[1,1],[0,1]])
b=np.arange(4).reshape((2,2))

print(a)
# array([[1, 1],
#       [0, 1]])

print(b)
# array([[0, 1],
#       [2, 3]])
登入後複製

此时构造出来的矩阵a和b便是2行2列的,其中 reshape 操作是对矩阵的形状进行重构, 其重构的形状便是括号中给出的数字。 稍显不同的是,Numpy中的矩阵乘法分为两种其一是前文中的对应元素相乘,其二是标准的矩阵乘法运算,即对应行乘对应列得到相应元素

c_dot = np.dot(a,b)
# array([[2, 4],
#       [2, 3]])
登入後複製

除此之外还有另外的一种关于dot的表示方法,即:

c_dot_2 = a.dot(b)
# array([[2, 4],
#       [2, 3]])
登入後複製

下面我们将重新定义一个脚本, 来看看关于 sum(), min(), max()的使用:

import numpy as np
a=np.random.random((2,4))
print(a)
# array([[ 0.94692159,  0.20821798,  0.35339414,  0.2805278 ],
#       [ 0.04836775,  0.04023552,  0.44091941,  0.21665268]])
登入後複製

因为是随机生成数字, 所以你的结果可能会不一样. 在第二行中对a的操作是令a中生成一个2行4列的矩阵,且每一元素均是来自从0到1的随机数。 在这个随机生成的矩阵中,我们可以对元素进行求和以及寻找极值的操作,具体如下:

np.sum(a)   # 4.4043622002745959
np.min(a)   # 0.23651223533671784
np.max(a)   # 0.90438450240606416
登入後複製

对应的便是对矩阵中所有元素进行求和,寻找最小值,寻找最大值的操作。 可以通过print()函数对相应值进行打印检验。

如果你需要对行或者列进行查找运算,就需要在上述代码中为 axis 进行赋值。 当axis的值为0的时候,将会以列作为查找单元, 当axis的值为1的时候,将会以行作为查找单元

为了更加清晰,在刚才的例子中我们继续进行查找:

print("a =",a)
# a = [[ 0.23651224  0.41900661  0.84869417  0.46456022]
# [ 0.60771087  0.9043845   0.36603285  0.55746074]]

print("sum =",np.sum(a,axis=1))
# sum = [ 1.96877324  2.43558896]

print("min =",np.min(a,axis=0))
# min = [ 0.23651224  0.41900661  0.36603285  0.46456022]

print("max =",np.max(a,axis=1))
# max = [ 0.84869417  0.9043845 ]
登入後複製

矩阵相乘复习

矩阵相乘,两个矩阵只有当左边的矩阵的列数等于右边矩阵的行数时,两个矩阵才可以进行矩阵的乘法运算。 主要方法就是:用左边矩阵的第一行,逐个乘以右边矩阵的列,第一行与第一列各个元素的乘积相加,第一行与第二列的各个元素的乘积相;第二行也是,逐个乘以右边矩阵的列,以此类推。

示例:
下面我给大家举个例子

矩阵A=1  2   3

     4  5   6

     7  8   0

矩阵B=1     2    1

      1    1    2

      2    1    1
登入後複製

求AB

最后的得出结果是

AB=9     7    8

   21   19   20

   15   22   23
登入後複製

使用numpy计算:

e = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 0]])
f = np.array([[1, 2, 1], [1, 1, 2], [2, 1, 1]])

res_dot = np.dot(e, f)
print res_dot
登入後複製

打印结果:

[[ 9  7  8]
 [21 19 20]
 [15 22 23]]
登入後複製

相关推荐:

python之Numpy和Pandas的使用介绍

Python基于numpy模块创建对称矩阵的方法

以上是python中Numpy和Pandas模組的詳細介紹(附範例)的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板