Python 解析參數的三種方法

王林
發布: 2023-05-12 11:13:13
轉載
1236 人瀏覽過

Python 解析参数的三种方法

Let's go!

我們以機器學習當中的調參過程來進行實踐,有三種方式可供選擇。第一個選項是使用argparse,它是一個流行的Python 模組,專門用於命令列解析;另一種方法是讀取JSON 文件,我們可以在其中放置所有超參數;第三種也是鮮為人知的方法是使用YAML 檔案!好奇嗎,讓我們開始吧!

先決條件

在下面的程式碼中,我將使用 Visual Studio Code,這是一個非常有效率的整合 Python 開發環境。這個工具的美妙之處在於它透過安裝擴充功能來支援每種程式語言,整合終端機並允許同時處理大量 Python 腳本和 Jupyter 筆記本。

  • https://www.kaggle.com/datasets/lakshmi25npathi/bike-sharing-dataset
##使用argparse

Python 解析参数的三种方法

#就像上圖所示,我們有一個標準的結構來組織我們的小專案:

    #包含我們資料集的名為data 的資料夾
  • # train.py 檔案
  • 用於指定超參數的options.py 檔案
#首先,我們可以建立一個檔案train.py,在其中我們有導入資料、在訓練數據上訓練模型並在測試集上對其進行評估的基本程序:

import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, mean_absolute_error
from options import train_options
df = pd.read_csv('datahour.csv')
print(df.head())
opt = train_options()
X=df.drop(['instant','dteday','atemp','casual','registered','cnt'],axis=1).values
y =df['cnt'].values
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
if opt.normalize == True:
 scaler = StandardScaler()
 X = scaler.fit_transform(X)
rf = RandomForestRegressor(n_estimators=opt.n_estimators,max_features=opt.max_features,max_depth=opt.max_depth)
model = rf.fit(X_train,y_train)
y_pred = model.predict(X_test)
rmse = np.sqrt(mean_squared_error(y_pred, y_test))
mae = mean_absolute_error(y_pred, y_test)
print("rmse: ",rmse)
print("mae: ",mae)
登入後複製

在程式碼中,我們也導入了包含在options.py 檔案中的train_options 函數。後一個文件是一個 Python 文件,我們可以從中更改 train.py 中考慮的超參數:

import argparse
def train_options():
 parser = argparse.ArgumentParser()
 parser.add_argument("--normalize", default=True, type=bool, help='maximum depth')
 parser.add_argument("--n_estimators", default=100, type=int, help='number of estimators')
 parser.add_argument("--max_features", default=6, type=int, help='maximum of features',)
 parser.add_argument("--max_depth", default=5, type=int,help='maximum depth')
 opt = parser.parse_args()
 return opt
登入後複製

在這個例子中,我們使用了 argparse 庫,它在解析命令列參數時非常流行。首先,我們初始化解析器,然後,我們可以加入我們想要存取的參數。

這是執行程式碼的範例:

python train.py
登入後複製

Python 解析参数的三种方法

要更改超參數的預設值,有兩種方法。第一個選項是在 options.py 檔案中設定不同的預設值。另一個選擇是從命令列傳遞超參數值:

python train.py --n_estimators 200
登入後複製

我們需要指定要變更的超參數的名稱和對應的值。

python train.py --n_estimators 200 --max_depth 7
登入後複製

使用 JSON 檔案

Python 解析参数的三种方法

和前面一樣,我們可以保持類似的檔案結構。在這種情況下,我們將 options.py 檔案替換為 JSON 檔案。換句話說,我們想在 JSON 檔案中指定超參數的值並將它們傳遞給 train.py 檔案。與 argparse 程式庫相比,JSON 檔案可以是一種快速且直覺的替代方案,它利用鍵值對來儲存資料。下面我們建立一個 options.json 文件,其中包含我們稍後需要傳遞給其他程式碼的資料。

{
"normalize":true,
"n_estimators":100,
"max_features":6,
"max_depth":5
}
登入後複製

如上所見,它與 Python 字典非常相似。但是與字典不同的是,它包含文字/字串格式的資料。此外,還有一些語法略有不同的常見資料類型。例如,布林值是 false/true,而 Python 識別 False/True。 JSON 中其他可能的值是數組,它們用方括號表示為 Python 列表。

在Python 中使用JSON 資料的美妙之處在於,它可以透過load 方法轉換成Python 字典:

f = open("options.json", "rb")
parameters = json.load(f)
登入後複製

要存取特定項目,我們只需要在方括號內引用它的鍵名:

if parameters["normalize"] == True:
 scaler = StandardScaler()
 X = scaler.fit_transform(X)
rf=RandomForestRegressor(n_estimators=parameters["n_estimators"],max_features=parameters["max_features"],max_depth=parameters["max_depth"],random_state=42)
model = rf.fit(X_train,y_train)
y_pred = model.predict(X_test)
登入後複製

使用YAML 檔案

Python 解析参数的三种方法

#最後一個選擇是利用YAML 的潛力。與 JSON 檔案一樣,我們將 Python 程式碼中的 YAML 檔案作為字典讀取,以存取超參數的值。 YAML 是一種人類可讀的資料表示語言,其中層次結構使用雙空格字元表示,而不是像 JSON 檔案中的括號。下面我們展示options.yaml 檔案將包含的內容:

normalize: True
n_estimators: 100
max_features: 6
max_depth: 5
登入後複製

在train.py 中,我們打開options.yaml 文件,該文件將始終使用load 方法轉換為Python 字典,這次是從yaml 庫中導入的:

import yaml
f = open('options.yaml','rb')
parameters = yaml.load(f, Loader=yaml.FullLoader)
登入後複製

和前面一樣,我們可以使用字典所需的語法來存取超參數的值。

最後的想法

設定檔的編譯速度非常快,而 argparse 則需要為我們要新增的每個參數編寫一行程式碼。

所以我們應該根據自己的不同情況來選擇最為合適的方式

例如,如果我們需要為參數添加註釋,JSON 是不合適的,因為它不允許註釋,而YAML和argparse 可能非常適合。

以上是Python 解析參數的三種方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!