메모리 부족 없이 Hibernate를 사용하여 MySQL에서 9천만 개의 레코드를 효율적으로 가져올 수 있습니까?

Hibernate를 사용하여 대규모 결과 세트를 읽기 위한 최적화 전략

이 기사에서는 Hibernate를 사용하지 않고 MySQL 데이터베이스에서 9천만 개의 레코드를 읽는 문제를 다룹니다. RAM 과부하.

ScrollableResults 제한 사항

처음에 사용자는 결과를 점진적으로 스트리밍하기 위해 Hibernate의 ScrollableResults를 활용하려고 시도했습니다. 그러나 MySQL Connector/J 라이브러리는 진정한 스크롤 기능을 제공하지 않으며 전체 결과 세트를 메모리에 로드하므로 OutOfMemoryError 예외가 발생합니다.

setFirstResult/setMaxResults 및 ScrollableResults

해결 방법으로 사용자는 setFirstResult 및 setMaxResults를 사용하여 결과 배치를 반복적으로 가져오는 것을 고려했습니다. 그러나 이 접근 방식은 각 배치에 대해 새 쿼리를 초기화하는 오버헤드로 인해 특히 대규모 결과 세트의 경우 비효율적일 수 있습니다.

네이티브 SQL을 사용한 최적화된 배치 검색

응답자가 제안한 가장 최적의 솔루션은 MySQL J/Connector에서 벗어나 일괄 처리를 사용하는 것이었습니다. 쿼리:

select * 
from person 
where id > <max_id_of_last_batch> and <other_conditions> 
order by id asc  
limit <batch_size>

이 쿼리는 이전 배치에서 이전에 결정된 최대 ID를 기반으로 레코드 배치를 가져와 ID별로 오름차순으로 정렬합니다. Batch_size 매개변수는 한 번에 검색할 레코드 수를 결정합니다. 이 접근 방식을 사용하면 관리 가능한 수의 레코드만 메모리에서 처리되어 메모리 고갈을 방지할 수 있습니다.

위 내용은 메모리 부족 없이 Hibernate를 사용하여 MySQL에서 9천만 개의 레코드를 효율적으로 가져올 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!