정규 표현식은 Pandas 시리즈 하위 문자열 필터링 성능을 어떻게 향상시킬 수 있습니까?
Pandas 시리즈의 다중 하위 문자열 필터링 성능 개선
특정 문자열 열에 하나 이상의 하위 문자열이 포함된 행을 필터링하려고 할 때 주어진 목록에 따르면 np.logical_or.reduce()를 사용하는 기존 방법은 대규모 데이터 세트에 비효율적일 수 있습니다. 이 기사에서는 성능 향상을 위해 정규식을 활용하는 대체 접근 방식을 살펴봅니다.
제안된 솔루션
str.contains()에서 regex=False를 사용하는 대신 정규식을 사용합니다. re.escape()를 사용하여 제공된 하위 문자열을 올바르게 이스케이프한 후. 이렇게 하면 정규식 해석이 아닌 문자 그대로의 일치가 보장됩니다. 그런 다음 이스케이프된 하위 문자열은 정규식 파이프(|)를 사용하여 단일 패턴으로 결합됩니다.
마스킹 프로세스
마스킹 단계는 시리즈 전체의 루프가 되어 다음 사항을 확인합니다. 각 문자열은 다음 패턴과 일치합니다:
df[col].str.contains(pattern, case=False)
성능 비교
길이가 5인 100개의 하위 문자열과 길이가 20인 50,000개의 문자열이 있는 샘플 데이터셋을 사용하여 제안한 방법은 약 1초가 걸렸습니다. 원래 방법은 동일한 데이터에 대해 약 5초가 걸렸습니다.
참고
이 솔루션은 하위 문자열 일치가 없는 "최악의 경우" 시나리오를 가정합니다. 일치하는 경우 성능이 더욱 향상됩니다. 또한 이 접근 방식은 초기 방법보다 효율적이므로 행당 필요한 확인 횟수가 줄어듭니다.
위 내용은 정규 표현식은 Pandas 시리즈 하위 문자열 필터링 성능을 어떻게 향상시킬 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











Linux 터미널에서 Python 버전을 보려고 할 때 Linux 터미널에서 Python 버전을 볼 때 권한 문제에 대한 솔루션 ... Python을 입력하십시오 ...

Fiddlerevery Where를 사용할 때 Man-in-the-Middle Reading에 Fiddlereverywhere를 사용할 때 감지되는 방법 ...

Python의 Pandas 라이브러리를 사용할 때는 구조가 다른 두 데이터 프레임 사이에서 전체 열을 복사하는 방법이 일반적인 문제입니다. 두 개의 dats가 있다고 가정 해

10 시간 이내에 컴퓨터 초보자 프로그래밍 기본 사항을 가르치는 방법은 무엇입니까? 컴퓨터 초보자에게 프로그래밍 지식을 가르치는 데 10 시간 밖에 걸리지 않는다면 무엇을 가르치기로 선택 하시겠습니까?

Uvicorn은 HTTP 요청을 어떻게 지속적으로 듣습니까? Uvicorn은 ASGI를 기반으로 한 가벼운 웹 서버입니다. 핵심 기능 중 하나는 HTTP 요청을 듣고 진행하는 것입니다 ...

Linux 터미널에서 Python 사용 ...

Investing.com의 크롤링 전략 이해 많은 사람들이 종종 Investing.com (https://cn.investing.com/news/latest-news)에서 뉴스 데이터를 크롤링하려고합니다.
