백엔드 개발 파이썬 튜토리얼 FireDucks: 학습 비용 없이 팬더 이상의 성능을 얻으세요!

FireDucks: 학습 비용 없이 팬더 이상의 성능을 얻으세요!

Oct 03, 2024 am 06:23 AM

Pandas는 가장 인기 있는 라이브러리 중 하나입니다. 성능을 향상할 수 있는 더 쉬운 방법을 찾다가 FireDucks를 발견하고 관심을 가지게 되었습니다!

팬더와의 비교: 왜 FireDucks인가?

Pandas 프로그램은 작성된 방식에 따라 심각한 성능 문제에 직면할 수 있습니다. 하지만 저는 데이터 과학자로서 코드 성능을 향상시키기보다는 데이터를 분석하는 데 점점 더 많은 시간을 보내고 싶습니다. 그래서 프로세스의 순서를 교환하고 프로그램 성능을 자동으로 높이는 등의 작업을 수행할 수 있다면 좋을 것입니다. 예를 들어 프로세스 A => 프로세스 B는 속도가 느려지므로 프로세스 B => 프로세스 A로 대체하겠습니다. (물론 결과는 동일함을 보장합니다.) 데이터를 준비하는 데 45%의 시간이 소요되었는데, 프로세스 속도를 높이기 위해 뭔가를 해야 할지 고민하던 중 FireDucks라는 모듈을 발견했습니다.

FireDucks 문서에 따르면 Linux 전용 플랫폼에서만 지원되는 것으로 보입니다. 저는 메인 머신에서 Windows를 사용하고 있기 때문에 Windows에서 Linux를 실행할 수 있는 환경인 WSL2(Windows Subsystem for Linux)에서 사용해 보고 싶습니다.

제가 시도해본 환경은 다음과 같습니다.

  • OS Microsoft Windows 11 Pro
  • 버전 10.0.22631 빌드 22631
  • 시스템 모델 Z690 Pro RS
  • 시스템 유형 x64 기반
  • PC 프로세서 12세대 Intel(R) Core(TM) i3–12100, 3300Mhz, 4코어, 8논리 프로세서
  • 베이스보드 제품 Z690 Pro RS
  • 플랫폼 역할 데스크탑
  • 설치된 물리적 메모리(RAM)64.0GB

FireDuck 설치 및 구성

WSL 설치

WSL은 다음 Microsoft 설명서의 도움을 받아 설치되었습니다. Linux 배포판은 Ubuntu 22.04.1 LTS입니다.

FireDuck 설치

그런 다음 실제로 FireDucks를 설치하세요. 그래도 설치가 매우 쉽습니다.
pip install Fireucks

FireDucks(pyarrow, pandas 및 기타 라이브러리와 함께)를 설치하는 데 몇 분 정도 걸립니다.

아래 코드를 실행해봤는데 로딩 속도가 너무 빨라서 pandas는 4초, fireDucks는 74.5ns밖에 걸리지 않았습니다.

# 1. analysis based on time period and creative duration
# convert timestamp to date/time object
df['timestamp_converted'] = pd.to_datetime(df['timestamp'], unit='s ')

# define time period 
def get_part_of_day(hour): 
  if 5 <= hour < 12: 
    return 'morning'
  elif 12 <= hour < 17:
    return 'afternoon'
  else: 
    return 'evening'

# Add time period in new column 
df['part_of_day'] = df['timestamp_converted'].apply(lambda x: get_part_of_day(x.hour))

# Calculate average creative duration by time period 
df_ duration_by_time = df.groupby('part_of_day')['creative_duration'].mean() print(df_duration_by_time) 

# 2. campaign performance per different advertiser 
df_ campaigns_per_advertiser = df.groupby('advertiser_id')['campaign_id'].nunique() 
df_creatives_per_advertiser = df.groupby('advertiser_id ')['creatives_id'].nunique() 
print(df_campaigns_per_advertiser) 
print(df_creatives_per_advertiser)

# 3. language and website association 
df_common_website_ per_language = df.groupby('placement_language')['website_id'].apply(lambda x: x.mode()[0]) 
print(df_common_website_per_language) 

# 4. Analyze referrer information 
def extract_domain(referrer): 
  # if referrer is a float (e.g. NaN), return empty string 
  if isinstance(referrer, float): 
    return '' 
  # otherwise, extract domain name
  return referrer.split('/')[0] 

df['referrer_domain'] = df['referrer_deep_three'].apply(extract_domain) 
df_referrer_distribution = df['referrer_domain'].value_counts() 
print(df_referrer_distribution)


로그인 후 복사

이 모든 데이터 전처리 및 분석은 pandas에서는 약 8초가 소요되었지만 FireDucks를 사용하면 4초 이내에 완료될 수 있습니다. 거의 2배의 속도 향상이 가능합니다.

성능 향상

Pandas를 사용하면서 가장 스트레스를 받는 것 중 하나는 대용량 데이터 세트를 로딩할 때 대기를 하고, 이후에는 groupby와 같은 복잡한 작업을 기다려야 한다는 것입니다. 반면, FireDucks는 Lazy Evaluation을 하기 때문에 로딩 자체에 시간이 전혀 걸리지 않아 필요한 곳에 처리가 이루어지는데, 전체 대기시간이 대폭 단축되어 매우 의의가 있다고 느꼈습니다.

다른 성능의 경우 조직에서 공식 발표한 대로 팬더에 비해 최대 16배 빠른 속도를 달성한 것으로 보입니다. (다음에는 여러 경쟁 라이브러리들과 성능을 비교해보겠습니다.)

FireDucks: Get performance beyond pandas with zero learning cost!

학습 비용 제로

아무 것도 생각할 필요 없이 정확한 판다 표기법을 따라갈 수 있다는 점은 큰 장점입니다. FireDucks 외에도 다른 데이터 프레임 가속 라이브러리가 있지만 배우기에는 너무 비싸고 잊어버리기 쉽습니다.

예를 들어 극성이 있는 열을 추가하려면 다음과 같이 작성해야 합니다.

# pandas df["new_col"] = df["A"] + 1
# polars 
df = df.with_columns((pl.col("A") + 1).alias("new_col"))
로그인 후 복사

기존 코드를 변경할 필요가 거의 없음

Pandas를 사용하는 ETL과 기타 프로젝트가 여러 개 있는데 import 문을 FireDucks로 설치하고 교체하는 것만으로도 성능이 향상되면 좋을 것 같습니다.

추가하고 싶은 내용이 있으면 아래에 댓글을 남겨주세요.

위 내용은 FireDucks: 학습 비용 없이 팬더 이상의 성능을 얻으세요!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

<gum> : Bubble Gum Simulator Infinity- 로얄 키를 얻고 사용하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
Nordhold : Fusion System, 설명
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora : 마녀 트리의 속삭임 - Grappling Hook 잠금 해제 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Python vs. C : 응용 및 사용 사례가 비교되었습니다 Python vs. C : 응용 및 사용 사례가 비교되었습니다 Apr 12, 2025 am 12:01 AM

Python은 데이터 과학, 웹 개발 및 자동화 작업에 적합한 반면 C는 시스템 프로그래밍, 게임 개발 및 임베디드 시스템에 적합합니다. Python은 단순성과 강력한 생태계로 유명하며 C는 고성능 및 기본 제어 기능으로 유명합니다.

파이썬 : 게임, Guis 등 파이썬 : 게임, Guis 등 Apr 13, 2025 am 12:14 AM

Python은 게임 및 GUI 개발에서 탁월합니다. 1) 게임 개발은 Pygame을 사용하여 드로잉, 오디오 및 기타 기능을 제공하며 2D 게임을 만드는 데 적합합니다. 2) GUI 개발은 Tkinter 또는 PYQT를 선택할 수 있습니다. Tkinter는 간단하고 사용하기 쉽고 PYQT는 풍부한 기능을 가지고 있으며 전문 개발에 적합합니다.

Python vs. C : 학습 곡선 및 사용 편의성 Python vs. C : 학습 곡선 및 사용 편의성 Apr 19, 2025 am 12:20 AM

Python은 배우고 사용하기 쉽고 C는 더 강력하지만 복잡합니다. 1. Python Syntax는 간결하며 초보자에게 적합합니다. 동적 타이핑 및 자동 메모리 관리를 사용하면 사용하기 쉽지만 런타임 오류가 발생할 수 있습니다. 2.C는 고성능 응용 프로그램에 적합한 저수준 제어 및 고급 기능을 제공하지만 학습 임계 값이 높고 수동 메모리 및 유형 안전 관리가 필요합니다.

파이썬과 시간 : 공부 시간을 최대한 활용 파이썬과 시간 : 공부 시간을 최대한 활용 Apr 14, 2025 am 12:02 AM

제한된 시간에 Python 학습 효율을 극대화하려면 Python의 DateTime, Time 및 Schedule 모듈을 사용할 수 있습니다. 1. DateTime 모듈은 학습 시간을 기록하고 계획하는 데 사용됩니다. 2. 시간 모듈은 학습과 휴식 시간을 설정하는 데 도움이됩니다. 3. 일정 모듈은 주간 학습 작업을 자동으로 배열합니다.

Python vs. C : 성능과 효율성 탐색 Python vs. C : 성능과 효율성 탐색 Apr 18, 2025 am 12:20 AM

Python은 개발 효율에서 C보다 낫지 만 C는 실행 성능이 높습니다. 1. Python의 간결한 구문 및 풍부한 라이브러리는 개발 효율성을 향상시킵니다. 2.C의 컴파일 유형 특성 및 하드웨어 제어는 실행 성능을 향상시킵니다. 선택할 때는 프로젝트 요구에 따라 개발 속도 및 실행 효율성을 평가해야합니다.

파이썬 : 자동화, 스크립팅 및 작업 관리 파이썬 : 자동화, 스크립팅 및 작업 관리 Apr 16, 2025 am 12:14 AM

파이썬은 자동화, 스크립팅 및 작업 관리가 탁월합니다. 1) 자동화 : 파일 백업은 OS 및 Shutil과 같은 표준 라이브러리를 통해 실현됩니다. 2) 스크립트 쓰기 : PSUTIL 라이브러리를 사용하여 시스템 리소스를 모니터링합니다. 3) 작업 관리 : 일정 라이브러리를 사용하여 작업을 예약하십시오. Python의 사용 편의성과 풍부한 라이브러리 지원으로 인해 이러한 영역에서 선호하는 도구가됩니다.

Python Standard Library의 일부는 무엇입니까? 목록 또는 배열은 무엇입니까? Python Standard Library의 일부는 무엇입니까? 목록 또는 배열은 무엇입니까? Apr 27, 2025 am 12:03 AM

Pythonlistsarepartoftsandardlardlibrary, whileraysarenot.listsarebuilt-in, 다재다능하고, 수집 할 수있는 반면, arraysarreprovidedByTearRaymoduledlesscommonlyusedDuetolimitedFunctionality.

Python 학습 : 2 시간의 일일 연구가 충분합니까? Python 학습 : 2 시간의 일일 연구가 충분합니까? Apr 18, 2025 am 12:22 AM

하루에 2 시간 동안 파이썬을 배우는 것으로 충분합니까? 목표와 학습 방법에 따라 다릅니다. 1) 명확한 학습 계획을 개발, 2) 적절한 학습 자원 및 방법을 선택하고 3) 실습 연습 및 검토 및 통합 연습 및 검토 및 통합,이 기간 동안 Python의 기본 지식과 고급 기능을 점차적으로 마스터 할 수 있습니다.

See all articles