과도한 메모리 소비 없이 SQLAlchemy에서 대규모 데이터 세트를 효율적으로 반복하려면 어떻게 해야 합니까?

SqlAlchemy의 메모리 효율적인 반복 이해

SqlAlchemy를 사용하여 MySQL에서 대규모 데이터 세트를 처리할 때 메모리 소비가 문제가 될 수 있습니다. 다음과 같은 내장 생성기 구문은 예상만큼 메모리 효율적이지 않을 수 있습니다.

for thing in session.query(Things):
    analyze(thing)

기본 메모리 소비

대부분의 DBAPI 구현은 행을 버퍼링합니다. 가져오는대로. 이는 SqlAlchemy가 첫 번째 결과를 검색하기도 전에 전체 결과 집합이 메모리에 있을 수 있음을 의미합니다.

쿼리의 기본 동작

SqlAlchemy의 쿼리 개체는 일반적으로 전체 결과 집합을 로드합니다. 객체를 반환하기 전에 메모리에 저장됩니다. 이는 중요하지 않은 SELECT 문과 관련된 쿼리 때문입니다. 그러나 Query는 이 동작을 수정하기 위해 "yield_per()" 옵션을 제공합니다.

yield_per()

"yield_per()" 옵션을 사용하면 Query에서 행을 생성합니다. 지정된 크기의 배치. 이렇게 하면 메모리 사용량이 향상될 수 있지만 주의가 필요합니다. 컬렉션을 즉시 로드하지 않는 경우에만 적합합니다. 또한 DBAPI가 행을 사전 버퍼링하는 경우 메모리 절약이 제한될 수 있습니다.

창 함수 접근 방식

"yield_per()"의 대안은 창을 사용하는 것입니다. 기능적 접근. 여기에는 테이블 청크를 참조하는 "창" 값을 미리 가져오고 이러한 창에서 한 번에 하나씩 가져오는 개별 SELECT 문을 내보내는 작업이 포함됩니다. 이 접근 방식은 대규모 오프셋에 대한 "LIMIT" 및 "OFFSET"의 성능 저하를 피하는 데 도움이 됩니다.

결론

SqlAlchemy의 내장 생성기는 편리할 수 있지만, 항상 최적의 메모리 효율성을 제공하는 것은 아닙니다. 기본 메모리 소비를 이해하고 "yield_per()" 또는 창 함수와 같은 대체 접근 방식을 활용하면 대규모 데이터 세트로 작업할 때 메모리 문제를 완화하는 데 도움이 됩니다.

위 내용은 과도한 메모리 소비 없이 SQLAlchemy에서 대규모 데이터 세트를 효율적으로 반복하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!