Python pandas の使用法に関する最も完全な概要

1. データ テーブルの生成

1. まず pandas ライブラリをインポートします。一般的には numpy ライブラリが使用されます。最初にバックアップをインポートしましょう:

import numpy as np
import pandas as pd

2. CSV または xlsx ファイルをインポートします:

df = pd.DataFrame(pd.read_csv('name.csv',header=1))
df = pd.DataFrame(pd.read_excel('name.xlsx'))

3. pandas を使用してデータ テーブルを作成します:

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006], 
 "date":pd.date_range('20130102', periods=6),
 "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
 "age":[23,44,54,32,34,32],
 "category":['100-A','100-B','110-A','110-C','210-A','130-F'],
 "price":[1200,np.nan,2133,5433,np.nan,4432]},
columns =['id','date','city','category','age','price'])

2. データテーブル情報 ビュー

1. ディメンション ビュー:

df.shape

2. データ テーブルの基本情報 (ディメンション、列名、データ形式、占有領域など) :

df.info()

3. データの各列の形式:

df.dtypes

4. 特定の列の形式:

df['B'].dtype

5. Null 値:

df.isnull()

6. 特定の列の NULL 値を表示します:

df.isnull()

7. 列の一意の値を表示します:

df['B'].unique()

8. データ テーブルの値を表示します:

df.values

9. 列名を表示します:

df.columns

10 、データの最初の 10 行と最後の 10 行を表示します:

df.head() #默认前10行数据
df.tail()    #默认后10 行数据

関連する推奨事項: " Python ビデオ チュートリアル"

3. データ テーブルのクリーニング

1. 空の値に数値 0 を入力します:

df.fillna(value=0)

2. 列 Prince の平均値を使用して NA を埋めます:

df['prince'].fillna(df['prince'].mean())

3. 都市フィールドの文字スペースをクリアします:

df['city']=df['city'].map(str.strip)

4. 大文字と小文字の変換:

df['city']=df['city'].str.lower()

5. データ形式の変更:

df['price'].astype('int')

6. 列名の変更:

df.rename(columns={'category': 'category-size'})

7. 削除後、表示される重複値:

df['city'].drop_duplicates()

8. 重複を削除最初に表示される値:

df['city'].drop_duplicates(keep='last')

9. データ置換:

df['city'].replace('sh', 'shanghai')

4. データの前処理

df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008], 
"gender":['male','female','male','female','male','female','male','female'],
"pay":['Y','N','Y','Y','N','Y','N','Y',],
"m-point":[10,12,20,40,40,40,30,20]})

1. データ テーブルのマージ

df_inner=pd.merge(df,df1,how='inner')  # 匹配合并，交集
df_left=pd.merge(df,df1,how='left')        #
df_right=pd.merge(df,df1,how='right')
df_outer=pd.merge(df,df1,how='outer')  #并集

2. インデックス列の設定

df_inner.set_index('id')

3. 特定の列の値で並べ替えます:

df_inner.sort_values(by=['age'])

4. インデックス列で並べ替えます:

df_inner.sort_index()

5王子列の値が >3000 の場合、グループ列は高く表示され、それ以外の場合は低く表示されます:

df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low')

6. 複数の条件を組み合わせたグループ データ

df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price'] >= 4000), 'sign']=1

7 をマークします。カテゴリフィールドの値を列に順番に入れてデータテーブルを作成します インデックス値はdf_innerのインデックス列です カラム名は category と size

pd.DataFrame((x.split('-') for x in df_inner['category']),index=df_inner.index,columns=['category','size']))

8 これで完成ですデータ テーブルを元の df_inner データ テーブルと分割します

df_inner=pd.merge(df_inner,split,right_index=True, left_index=True)

5. データ抽出

使用される 3 つの主な関数: loc、iloc および ix、loc 関数はラベルによって抽出します。値、iloc は位置によって抽出し、ix はラベルと位置によって同時に抽出できます。

1. インデックス

df_inner.loc[3]

によって単一行の値を抽出します。インデックス

df_inner.iloc[0:5]

によって地域行の値を抽出します。インデックス

をリセットします。

df_inner.reset_index()

4. 日付をインデックスとして設定します

df_inner=df_inner.set_index('date')

5. 4 日前のすべてのデータを抽出します

df_inner[:'2013-01-04']

6. iloc を使用して位置エリアごとにデータを抽出します

df_inner.iloc[:3,:2] #冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行，前两列。

7場所に応じて iloc を個別に調整する ファイル データ

df_inner.iloc[[0,2,5],[4,5]] #提取第0、2、5行，4、5列

8. ix を使用して、インデックス ラベルと位置の混合によってデータを抽出します

df_inner.ix[:'2013-01-03',:4] #2013-01-03号之前，前四列数据

9. city 列の値が北京かどうかを確認します

df_inner['city'].isin(['beijing'])

10. city 列に北京と上海が含まれていることを確認し、条件を満たすデータを抽出します

df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])]

11. 最初の 3 文字を抽出してデータ テーブルを生成します

pd.DataFrame(category.str[:3])

6. データのフィルタリング

AND、OR、NOT、より大きい、より小さい、等しいの 3 つの条件を使用してデータをフィルタリングし、カウントと合計を実行します。

1. "AND" を使用して

df_inner.loc[(df_inner['age'] > 25) & (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']]

をフィルタリングします。2. "OR" を使用して

df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beijing'), ['id','city','age','category','gender']]
.sort(['age'])

をフィルタリングします。"NOT" 条件を使用して

df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id'])

# をフィルタリングします##4. フィルタリングされたデータを都市列ごとにカウントします

df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age','category','gender']].sort(['id']).city.count()

5. クエリ関数を使用してフィルタリングします

df_inner.query('city == ["beijing", "shanghai"]')

6. フィルタリングされた結果を Prince

df_inner.query('city == ["beijing", "shanghai"]').price.sum()

で合計します7. データの概要

主な関数は、groupby と pivot_table

1. すべての列をカウントして集計する

df_inner.groupby('city').count()

2. 都市ごとに ID フィールドをカウントする

df_inner.groupby('city')['id'].count()

3. 2 つのフィールドを要約します

df_inner.groupby(['city','size'])['id'].count()

4. 都市フィールドを要約し、それぞれ王子の合計と平均を計算します

df_inner.groupby('city')['price'].agg([len,np.sum, np.mean])

8. データ統計

データサンプリング、標準偏差、共分散、相関係数の計算

1. 単純なデータサンプリング

df_inner.sample(n=3)

2. サンプリング重みを手動で設定

weights = [0, 0, 0, 0, 0.5, 0.5]
df_inner.sample(n=2, weights=weights)

3. サンプリング後の置換なし

df_inner.sample(n=6, replace=False)

4. サンプリング後の置換

df_inner.sample(n=6, replace=True)

5. データテーブルの記述統計

df_inner.describe().round(2).T #round函数设置显示小数位，T表示转置

6. 列の標準偏差の計算

df_inner['price'].std()

7. 2 つのフィールド間の共分散を計算します

df_inner['price'].cov(df_inner['m-point'])

8. データ テーブル内のすべてのフィールド間の共分散を計算します

df_inner.cov()

9. 2 つのフィールドの相関分析

df_inner['price'].corr(df_inner['m-point']) #相关系数在-1到1之间，接近1为正相关，接近-1为负相关，0为不相关

10. データテーブルの相関分析

df_inner.corr()

9. データ出力

分析したデータはxlsx形式、csv形式で出力可能

1、Excel

df_inner.to_excel('excel_to_python.xlsx', sheet_name='bluewhale_cc')

に書き込まれます#2、CSV

df_inner.to_csv('excel_to_python.csv')

に書き込まれます

以上がPython pandas の使用法に関する最も完全な概要の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。