我有一個極坐標資料框，其中有一列包含日期，其他列包含價格，我想計算252 x 3 觀測值視窗中每個列的百分位數。
為此，我正在這樣做：
prices = prices.sort(by=["date"])
rank_cols = list(set(prices.columns).difference("date"))
percentiles = (
prices.sort(by=["date"])
.set_sorted("date")
.group_by_dynamic(
index_column=["date"], every="1i", start_by="window", period="756i"
)
.agg(
[
(pl.col(col).rank() * 100.0 / pl.col(col).count()).alias(
f"{col}_percentile"
)
for col in rank_cols
]
)
)
但是拋出的例外是：
traceback (most recent call last):
file "<string>", line 6, in <module>
file "/usr/local/lib/python3.10/site-packages/polars/dataframe/group_by.py", line 1047, in agg
self.df.lazy()
file "/usr/local/lib/python3.10/site-packages/polars/lazyframe/frame.py", line 1706, in collect
return wrap_df(ldf.collect())
polars.exceptions.invalidoperationerror: argument in operation 'group_by_dynamic' is not explicitly sorted
- if your data is already sorted, set the sorted flag with: '.set_sorted()'.
- if your data is not sorted, sort the 'expr/series/column' first.
在程式碼中，我已經按照建議執行了操作，但異常仍然存在。
編輯：
根據@hericks的建議進行一些更改。
import polars as pl
import pandas as pd
from datetime import datetime, timedelta
# generate 10 dates starting from today
start_date = datetime.now().date()
date_list = [start_date + timedelta(days=i) for i in range(10)]
# generate random prices for each date and column
data = {
'date': date_list,
'asset_1': [float(f"{i+1}.{i+2}") for i in range(10)],
'asset_2': [float(f"{i+2}.{i+3}") for i in range(10)],
'asset_3': [float(f"{i+3}.{i+4}") for i in range(10)],
}
prices = pl.dataframe(data)
prices = prices.cast({"date": pl.date})
rank_cols = list(set(prices.columns).difference("date"))
percentiles = (
prices.sort(by=["date"])
.set_sorted("date")
.group_by_dynamic(
index_column="date", every="1i", start_by="window", period="4i"
)
.agg(
[
(pl.col(col).rank() * 100.0 / pl.col(col).count()).alias(
f"{col}_percentile"
)
for col in rank_cols
]
)
)現在我明白了
pyo3_runtime.panicexception: attempt to divide by zero
編輯2：
問題是日期的使用，我用整數更改了日期，然後就解決了問題。 （也新增了先取第一個暫存器）
import polars as pl
int_list = [i+1 for i in range(6)]
# Generate random prices for each date and column
data = {
'int_index': int_list,
'asset_1': [1.1, 3.4, 2.6, 4.8, 7.4, 3.2],
'asset_2': [4, 7, 8, 3, 4, 5],
'asset_3': [1, 3, 10, 20, 2, 4],
}
# Convert the Pandas DataFrame to a Polars DataFrame
prices = pl.DataFrame(data)
rank_cols = list(set(prices.columns).difference("int_index"))
percentiles = (
prices.sort(by="int_index")
.set_sorted("int_index")
.group_by_dynamic(
index_column="int_index", every="1i", start_by="window", period="4i"
)
.agg(
[
(pl.col(col).rank().first() * 100.0 / pl.col(col).count()).alias(
f"{col}_percentile"
)
for col in rank_cols
]
)
)
編輯3：
給出的想法是，索引 i 取索引 i、i 1、i 2、i 3 上的值，併計算暫存器 i 相對於這四個值的百分位等級。
例如，對於 asset_1 中的第一個索引 (1)，範例（以及接下來的三個暫存器）為：
1.1、3.4、2.6、4.8，因此第一個暫存器的百分位數為 25
對於 asset_1，第二個索引 (2) 範例（以及接下來的三個暫存器）是：
3.4、2.6、4.8 和 7.4，因此百分位數為 50。
我仍然有點猜測您期望的答案是什麼，但您可能可以從這個答案開始
因此，考慮到您的範例資料：
import polars as pl
# generate random prices for each date and column
prices = pl.dataframe({
'int_index': range(6),
'asset_1': [1.1, 3.4, 2.6, 4.8, 7.4, 3.2],
'asset_2': [4, 7, 8, 3, 4, 5],
'asset_3': [1, 3, 10, 20, 2, 4],
})
┌───────────┬─────────┬─────────┬─────────┐
│ int_index ┆ asset_1 ┆ asset_2 ┆ asset_3 │
│ --- ┆ --- ┆ --- ┆ --- │
│ i64 ┆ f64 ┆ i64 ┆ i64 │
╞═══════════╪═════════╪═════════╪═════════╡
│ 0 ┆ 1.1 ┆ 4 ┆ 1 │
│ 1 ┆ 3.4 ┆ 7 ┆ 3 │
│ 2 ┆ 2.6 ┆ 8 ┆ 10 │
│ 3 ┆ 4.8 ┆ 3 ┆ 20 │
│ 4 ┆ 7.4 ┆ 4 ┆ 2 │
│ 5 ┆ 3.2 ┆ 5 ┆ 4 │
└───────────┴─────────┴─────────┴─────────┘
使用rolling() 建立一個窗口，然後（與您在問題中所做的相同） - rank().first() 除以count()、name.suffix() 為列指派新名稱：
cols = pl.all().exclude('int_index')
percentiles = (
prices.sort(by="int_index")
.rolling(index_column="int_index", period="4i", offset="0i", closed="left")
.agg((cols.rank().first() * 100 / cols.count()).name.suffix('_percentile'))
)
┌───────────┬────────────────────┬────────────────────┬────────────────────┐
│ int_index ┆ asset_1_percentile ┆ asset_2_percentile ┆ asset_3_percentile │
│ --- ┆ --- ┆ --- ┆ --- │
│ i64 ┆ f64 ┆ f64 ┆ f64 │
╞═══════════╪════════════════════╪════════════════════╪════════════════════╡
│ 0 ┆ 25.0 ┆ 50.0 ┆ 25.0 │
│ 1 ┆ 50.0 ┆ 75.0 ┆ 50.0 │
│ 2 ┆ 25.0 ┆ 100.0 ┆ 75.0 │
│ 3 ┆ 66.666667 ┆ 33.333333 ┆ 100.0 │
│ 4 ┆ 100.0 ┆ 50.0 ┆ 50.0 │
│ 5 ┆ 100.0 ┆ 100.0 ┆ 100.0 │
└───────────┴────────────────────┴────────────────────┴────────────────────┘
您也可以檢查每個視窗內的內容：
(
prices.sort(by="int_index")
.rolling(index_column="int_index", period="4i", offset="0i", closed="left")
.agg(cols)
)
┌───────────┬───────────────────┬─────────────┬───────────────┐
│ int_index ┆ asset_1 ┆ asset_2 ┆ asset_3 │
│ --- ┆ --- ┆ --- ┆ --- │
│ i64 ┆ list[f64] ┆ list[i64] ┆ list[i64] │
╞═══════════╪═══════════════════╪═════════════╪═══════════════╡
│ 0 ┆ [1.1, 3.4, … 4.8] ┆ [4, 7, … 3] ┆ [1, 3, … 20] │
│ 1 ┆ [3.4, 2.6, … 7.4] ┆ [7, 8, … 4] ┆ [3, 10, … 2] │
│ 2 ┆ [2.6, 4.8, … 3.2] ┆ [8, 3, … 5] ┆ [10, 20, … 4] │
│ 3 ┆ [4.8, 7.4, 3.2] ┆ [3, 4, 5] ┆ [20, 2, 4] │
│ 4 ┆ [7.4, 3.2] ┆ [4, 5] ┆ [2, 4] │
│ 5 ┆ [3.2] ┆ [5] ┆ [4] │
└───────────┴───────────────────┴─────────────┴───────────────┘
以上是Polar 計算百分位數的詳細內容。更多資訊請關注PHP中文網其他相關文章！
