MySQL의 스트리밍 쿼리 및 커서 쿼리 방법(요약 공유)-MySQL 튜토리얼-php.cn

이 기사는 mysql에 대한 관련 지식을 제공합니다. MySQL의 스트리밍 쿼리 및 커서 쿼리 방법을 주로 소개하며 좋은 참조 가치가 있으므로 모든 사람에게 도움이 되기를 바랍니다.

MySQL의 스트리밍 쿼리 및 커서 쿼리 방법(요약 공유)

추천 학습: mysql 비디오 튜토리얼

1. 비즈니스 시나리오

이제 비즈니스 시스템은 처리를 위해 MySQL 데이터베이스에서 5백만 개의 데이터 행을 읽어야 합니다

데이터 마이그레이션
데이터 내보내기
일괄 처리 데이터 처리

두 번째, 세 가지 처리 방법을 나열하세요

일반 쿼리: 500만 개의 데이터를 한 번에 JVM 메모리로 읽거나 페이지 단위로 읽습니다.
스트리밍 쿼리: 한 번에 한 조각씩 읽어 JVM 메모리에 로드합니다. 비즈니스 처리용
커서 쿼리: 스트리밍과 마찬가지로 한 번에 읽는 데이터 수는 fetchSize 매개 변수를 통해 제어됩니다

2.1 일반 쿼리

기본적으로 전체 검색 결과 집합은 메모리에 저장됩니다. . 대부분의 경우 이는 가장 효율적인 작동 방법이며 구현하기도 더 쉽습니다.

단일 테이블의 데이터량이 500만개라고 가정할 때, 누구도 한번에 메모리에 로드하지 않으며 일반적으로 페이징을 사용합니다.

여기서 테스트 데모는 JVM을 모니터링하기 위한 것이므로 페이징을 사용하지 않고 데이터가 한 번에 메모리에 로드됩니다.

@Test
public void generalQuery() throws Exception {
    // 1核2G：查询一百条记录：47ms
    // 1核2G：查询一千条记录：2050 ms
    // 1核2G：查询一万条记录：26589 ms
    // 1核2G：查询五万条记录：135966 ms
    String sql = "select * from wh_b_inventory limit 10000";
    ps = conn.prepareStatement(sql);
    ResultSet rs = ps.executeQuery(sql);
    int count = 0;
    while (rs.next()) {
        count++;
    }
    System.out.println(count);
}

로그인 후 복사

JVM 모니터링

메모리를 -Xms70m -Xmx70m

으로 조정하겠습니다.

전체 쿼리 프로세스에서 힙 메모리 사용량이 점차 증가하고 결국 OOM이 발생합니다.

java.lang.OutOfMemoryError: GC 오버헤드 제한 초과

1. OOM에 숨겨진 위험이 있습니다

2.2 스트리밍 쿼리

스트리밍 쿼리에 대해 주의할 점: 연결에서 다른 쿼리를 실행하기 전에 결과 집합의 모든 행을 읽거나 닫아야 합니다. 그렇지 않으면 예외가 발생하고 쿼리가 실행됩니다. 연결을 독점하게 됩니다.

테스트 결과 스트리밍 쿼리로는 쿼리 속도가 향상되지 않았습니다

@Test
public void streamQuery() throws Exception {
    // 1核2G：查询一百条记录：138ms
    // 1核2G：查询一千条记录：2304 ms
    // 1核2G：查询一万条记录：26536 ms
    // 1核2G：查询五万条记录：135931 ms
    String sql = "select * from wh_b_inventory limit 50000";
    statement = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
    statement.setFetchSize(Integer.MIN_VALUE);
    ResultSet rs = statement.executeQuery(sql);
    int count = 0;
    while (rs.next()) {
        count++;
    }
    System.out.println(count);
}

로그인 후 복사

JVM 모니터링

힙 메모리를 줄였습니다. -Xms70m -Xmx70m

힙 메모리가 70m에 불과하더라도 여전히 OOM

2.3 커서 쿼리

참고:

1. 데이터베이스 연결 정보에 매개변수를 연결해야 합니다.

useCursorFetch=true

2. 두 번째로 매번 문이 읽는 데이터 수를 설정합니다. , 한 번에 1000개

테스트 결과에 따르면 커서 쿼리가 쿼리 속도를 어느 정도 단축시켰습니다

@Test
public void cursorQuery() throws Exception {
    Class.forName("com.mysql.jdbc.Driver");
    // 注意这里需要拼接参数，否则就是普通查询
    conn = DriverManager.getConnection("jdbc:mysql://101.34.50.82:3306/mysql-demo?useCursorFetch=true", "root", "123456");
    start = System.currentTimeMillis();
 
     // 1核2G：查询一百条记录：52 ms
     // 1核2G：查询一千条记录：1095 ms
    // 1核2G：查询一万条记录：17432 ms
    // 1核2G：查询五万条记录：90244 ms
    String sql = "select * from wh_b_inventory limit 50000";
    ((JDBC4Connection) conn).setUseCursorFetch(true);
    statement = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
    statement.setFetchSize(1000);
    ResultSet rs = statement.executeQuery(sql);
    int count = 0;
    while (rs.next()) {
        count++;
    }
    System.out.println(count);
}

로그인 후 복사

JVM 모니터링

힙 메모리를 줄였습니다. -Xms70m -Xmx70m

단일 스레드의 경우 커서 쿼리 스트리밍 쿼리와 마찬가지로 OOM도 매우 잘 피할 수 있으며 커서 쿼리는 쿼리 속도를 최적화할 수 있습니다.