DataFrame의 인덱싱을 통해 효율적으로 데이터를 얻는 Pandas 팁-파이썬 튜토리얼-php.cn

DataFrame의 인덱싱을 통해 효율적으로 데이터를 얻는 Pandas 팁

관련 학습 권장 사항: python 튜토리얼

오늘은 pandas 데이터 처리 주제의 세 번째 기사입니다. DataFrame의 인덱스에 대해 이야기해 보겠습니다.

이전 기사에서는 iloc, loc, 논리 인덱스 등과 같이 DataFrame 데이터 구조에서 일반적으로 사용되는 일부 인덱스의 사용을 소개했습니다. 오늘 글에서는 DataFrame의 기본 작업을 살펴보겠습니다.

데이터 정렬

두 DataFrame의 합을 계산할 수 있습니다. pandas는 자동으로 이 두 DataFrame의 데이터를 정렬합니다. 데이터가 일치하지 않으면 Nan으로 설정됩니다( 숫자).

먼저 두 개의 DataFrame을 만듭니다.

import numpy as npimport pandas as pddf1 = pd.DataFrame(np.arange(9).reshape((3, 3)), columns=list('abc'), index=['1', '2', '3'])df2 = pd.DataFrame(np.arange(12).reshape((4, 3)), columns=list('abd'), index=['2', '3', '4', '5'])复制代码

로그인 후 복사

결과는 우리가 상상한 것과 일치합니다. 실제로는 numpy 배열을 통해 DataFrame을 생성한 다음 인덱스와 열을 지정하는 것입니다. 기본 사용법.

그런 다음 두 개의 DataFrame을 추가하면 다음을 얻을 수 있습니다.

pandas가 두 개의 DataFrame을 추가하고 병합한 후 두 DataFrame에 표시되지 않는 위치는 Nan에 대해 설정됩니다. 실제로 이는 덧셈뿐만 아니라 두 DataFrame의 덧셈, 뺄셈, 곱셈, 나눗셈의 네 가지 산술 연산을 계산할 수 있습니다. 두 개의 DataFrame을 나누어 계산하면 그에 해당하지 않는 데이터가 Nan으로 설정되는 것 외에도 0으로 나누는 동작으로 인해 이상값이 발생하게 됩니다(반드시 Nan이 아닐 수도 있지만 inf일 수도 있음).

fill_value두 개의 DataFrame에서 작업을 수행하려면 물론 null 값이 표시되는 것을 원하지 않습니다. 이때 Null 값을 채워야 합니다. 연산자를 직접 사용하여 작업을 수행하는 경우 채우기를 위한 매개변수를 전달할 수 없습니다. 이때 DataFrame에서 제공하는

산술 메서드

를 사용해야 합니다. DataFrame에는 일반적으로 사용되는 몇 가지 연산자가 있습니다.

우리 모두는 add, sub, p를 잘 이해하고 있는데, 여기서 radd와 rsub 메소드는 왜 앞에 r이 있나요?

혼란스러워 보이지만 직설적으로 말하면 Radd는 매개변수 뒤집기에 사용됩니다. 예를 들어 DataFrame에 있는 모든 요소의 역수를 얻으려면 1/df로 작성할 수 있습니다. 1 자체는 DataFrame이 아니기 때문에 1을 사용하여 DataFrame의 메서드를 호출할 수 없으며, 매개변수를 전달할 수도 없습니다. 이 상황을 해결하려면 1/df를 df.rp(1)로 작성하면 됩니다. 매개변수를 전달할 수 있습니다.

나누기 계산 중에 0으로 나누기가 발생하므로 무한대를 나타내는 inf를 얻습니다.

add 및 p 메소드에 fill_value 매개변수를 전달할 수 있습니다. 이 매개변수는 계산 전에 한쪽의 누락된 값을 채우는 데 사용할 수 있습니다

. 즉, 하나의 DataFrame에서만 누락된 위치는 우리가 지정한 값으로 대체됩니다. 두 DataFrame에서 누락된 경우에도 여전히 Nan입니다.

fill_value 이 매개변수는 reindex 등 많은 API

에 나타납니다. 사용법은 API 문서를 확인할 때 주의할 수 있습니다.

그렇다면 채운 후에도 여전히 나타나는 이런 빈 값은 어떻게 해야 할까요? 이러한 위치를 수동으로 찾아서 입력할 수만 있나요? 물론 이는 비현실적입니다. Pandas는 null 값을 구체적으로 해결하는 API도 제공합니다.

null 값 apinull 값을 채우기 전에 가장 먼저 해야 할 일은 null 값을 찾는 것

입니다. 이 문제를 해결하기 위해 bool DataFrame을 반환하는 isna API가 있습니다. DataFrame의 각 위치는 원본 DataFrame의 해당 위치가 null 값인지 여부를 나타냅니다.

dropna

물론 null 값이 확실히 충분하지 않은지 알아내는 것만으로는 충분하지 않습니다. 이때는 drop을 선택해도 됩니다. null 값. 이런 상황에서는 DataFrame의 dropna 메서드를 사용할 수 있습니다.

dropna를 사용한 후 null 값이 있는 행이 삭제되는 것을 발견했습니다. null 값이 없는 행만 유지되는 경우가 있습니다. 행 대신 열을 삭제하고 싶은 경우에는 축 매개 변수를 전달하여 제어할 수 있습니다.

이런 방식으로 null 값을 포함하지 않는 열을 얻을 수 있으며, 행과 열을 제어하는 것 외에도 실행의 엄격함도 제어할 수 있습니다. How 매개변수는 전달되는 두 값, 즉 'all'과 'any'를 지원하여 판단할 수 있습니다. All은 특정 행이나 열이 모두 Null 값인 경우에만 폐기된다는 의미입니다. 따라서 Any는 Null 값이 나타나는 한 폐기된다는 의미입니다. 기본적으로 채워지지 않은 경우에는 any로 간주되어 일반적인 상황에서는 이 매개변수를 사용하지 않으며, 이 매개변수만으로도 충분합니다.

fillna

Pandas는 물론 null 값을 포함하는 데이터를 삭제하는 것 외에도 null 값을 채우는 데에도 사용할 수 있습니다. 실제로 이 방법은 가장 일반적으로 사용되는 방법이기도 합니다.

채우기 위해 특정 값을 간단히 전달할 수 있습니다.

fillna는 모든 Nan 값이 우리가 지정한 값으로 대체되는 새 DataFrame을 반환합니다. 새 DataFrame을 반환하지 않고 원본 데이터를 직접 수정하는 경우 inplace 매개변수를 사용하여 이것이 inplace 작업임을 나타낼 수 있으며 그러면 pandas는 원본 DataFrame을 수정합니다.

df3.fillna(3, inplace=True)复制代码

로그인 후 복사

除了填充具体的值以外，我们也可以和一些计算结合起来算出来应该填充的值。比如说我们可以计算出某一列的均值、最大值、最小值等各种计算来填充。fillna这个函数不仅可以使用在DataFrame上，也可以使用在Series上，所以我们可以针对DataFrame中的某一列或者是某些列进行填充：

除了可以计算出均值、最大最小值等各种值来进行填充之外，还可以指定使用缺失值的前一行或者是后一行的值来填充。实现这个功能需要用到method这个参数，它有两个接收值，ffill表示用前一行的值来进行填充，bfill表示使用后一行的值填充。

我们可以看到，当我们使用ffill填充的时候，对于第一行的数据来说由于它没有前一行了，所以它的Nan会被保留。同样当我们使用bfill的时候，最后一行也无法填充。

总结

今天的文章当中我们主要介绍了DataFrame的一些基本运算，比如最基础的四则运算。在进行四则运算的时候由于DataFrame之间可能存在行列索引不能对齐的情况，这样计算得到的结果会出现空值，所以我们需要对空值进行处理。我们可以在进行计算的时候通过传入fill_value进行填充，也可以在计算之后对结果进行fillna填充。

在实际的运用当中，我们一般很少会直接对两个DataFrame进行加减运算，但是DataFrame中出现空置是家常便饭的事情。因此对于空值的填充和处理非常重要，可以说是学习中的重点，大家千万注意。