Pyodbc를 사용하여 MS SQL Server에 대한 대량 삽입 속도를 최적화하는 방법은 무엇입니까?

Pyodbc를 사용하여 MS SQL Server에 대량 삽입 속도 향상

이 코드에서 작성자는 MS SQL Server 데이터베이스에 130만 개가 넘는 행을 삽입하는 것을 최적화하는 것을 목표로 합니다. . 현재 이 프로세스는 300,000개의 행을 삽입하는 데 약 40분 정도 소요됩니다. 제공된 코드를 기반으로 삽입 속도를 향상하려면 다음 접근 방식을 권장합니다.

대량 삽입 T-SQL 명령 활용

T-SQL BULK INSERT 명령은 효율적인 대량 데이터를 위해 특별히 설계되었습니다. 로딩. 그러나 소스 파일은 SQL Server 인스턴스와 동일한 시스템 또는 SMB/CIFS를 통해 액세스할 수 있는 네트워크 위치에 있어야 합니다.

Pyodbc의 fast_executemany 기능 활용

Pyodbc 4.0.19 Cursor 클래스에 fast_executemany 기능을 도입했습니다. 활성화되면 이 기능은 여러 행의 데이터 삽입을 포함하는 Executemany 쿼리의 실행을 최적화합니다.

다음 코드는 fast_executemany를 사용하는 방법을 보여줍니다.

<code class="python">import pyodbc
import time

conn_str = 'connection string'

cnxn = pyodbc.connect(conn_str, autocommit=True)
crsr = cnxn.cursor()
crsr.execute("TRUNCATE TABLE fast_executemany_test")

sql = "INSERT INTO fast_executemany_test (txtcol) VALUES (?)"
params = [(f'txt{i:06d}',) for i in range(1000)]
t0 = time.perf_counter()
crsr.executemany(sql, params)
print(f'{time.perf_counter() - t0:.1f} seconds')

crsr.fast_executemany = True
t0 = time.perf_counter()
crsr.executemany(sql, params)
print(f'{time.perf_counter() - t0:.1f} seconds')</code>

위 코드에서 fast_executemany는 실행 시간을 크게 줄여줍니다.

행에 대한 반복 최적화

행을 하나씩 반복하는 대신 목록이나 NumPy 배열을 사용하여 데이터를 저장한 다음 전체 컬렉션을 삽입하는 것을 고려해 보세요. 단일 실행 호출로. 이 접근 방식은 반복되는 커서 실행으로 인한 오버헤드를 제거합니다.

이러한 최적화를 구현하면 pyodbc를 사용하여 MS SQL Server에서 대량 삽입 작업의 성능을 대폭 향상시킬 수 있습니다.

위 내용은 Pyodbc를 사용하여 MS SQL Server에 대한 대량 삽입 속도를 최적화하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!