Pandas에서 대규모 DataFrame을 효율적으로 처리하는 방법: 청크업!

Pandas - 대용량 데이터 프레임을 청크로 분할

대용량 데이터 프레임을 처리하려고 할 때 흔히 발생하는 장애물은 무서운 메모리 오류입니다. 효과적인 솔루션 중 하나는 데이터프레임을 더 작고 관리 가능한 덩어리로 나누는 것입니다. 이 전략은 메모리 소비를 줄일 뿐만 아니라 효율적인 처리를 촉진합니다.

이를 달성하기 위해 목록 이해 또는 NumPy array_split 함수를 활용할 수 있습니다.

목록 이해

<code class="python">n = 200000  # Chunk row size
list_df = [df[i:i+n] for i in range(0, df.shape[0], n)]</code>

NumPy array_split

<code class="python">list_df = np.array_split(df, math.ceil(len(df) / n))</code>

다음을 사용하여 개별 청크를 검색할 수 있습니다.

<code class="python">list_df[0]
list_df[1]
...</code>

청크를 단일 데이터 프레임으로 재조립하려면 pd.concat을 사용합니다.

<code class="python"># Example: Concatenating by chunks
rejoined_df = pd.concat(list_df)</code>

AcctName 기준으로 분할

AcctName 값으로 데이터 프레임을 분할하려면 groupby 방법을 활용하세요.

<code class="python">list_df = []

for n, g in df.groupby('AcctName'):
    list_df.append(g)</code>

위 내용은 Pandas에서 대규모 DataFrame을 효율적으로 처리하는 방법: 청크업!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!