대규모 API 데이터 검색 최적화: 모범 사례 및 PHP 지연 수집 솔루션

API를 사용하여 방대한 양의 데이터(잠재적으로 수천 개 항목)를 검색할 때 프로세스가 효율적이고 유연하며 성능이 뛰어난지 확인하기 위해 고려해야 할 몇 가지 중요한 측면이 있습니다. PHP 사용자를 위한 솔루션과 함께 관리해야 할 주요 요소에 대한 분석은 다음과 같습니다.

API를 통해 대용량 데이터를 검색할 때 주요 고려 사항

API를 통해 대규모 데이터 세트를 효율적으로 검색하기 위한 몇 가지 주요 고려 사항을 공유하겠습니다.

• 페이지 매김 처리: API는 일반적으로 페이지 단위로 데이터를 전달합니다. 모든 데이터를 검색하려면 페이지 매김을 관리하고 커서나 페이지 번호를 추적하면서 여러 API 호출을 수행해야 합니다. 완전한 데이터 세트를 얻으려면 필요한 API 호출 수를 계산하고 이 프로세스를 관리하는 것이 필수적입니다.
• 메모리 관리: 대규모 데이터 세트를 가져올 때 모든 것을 한꺼번에 메모리에 로드하면 시스템에 부담을 줄 수 있습니다. 모든 결과를 동시에 메모리에 로드하지 않는 것이 중요합니다. 대신 데이터를 청크로 처리하여 애플리케이션의 응답성을 유지하고 메모리 문제가 발생하지 않도록 하세요.
• 속도 제한 및 조절: 많은 API는 초당 X 요청 또는 분당 Y 요청으로 제한하는 등의 속도 제한을 적용합니다. 이러한 제한을 벗어나지 않으려면 API의 특정 제한 사항에 적응하는 유연한 조절 메커니즘을 구현해야 합니다.
• 병렬 API 요청: 페이지 매김으로 인해 수많은 API 호출을 수행해야 하는 경우 가능한 한 빨리 데이터를 검색하려고 합니다. 한 가지 전략은 속도 제한을 준수하면서 동시에 여러 API 호출을 수행하는 것입니다. 이렇게 하면 요청이 빠르고 API 제약 조건을 준수할 수 있습니다.
• 효율적인 데이터 수집: 페이지를 매긴 수많은 API 요청에도 불구하고 결과를 단일 컬렉션으로 결합하여 효율적으로 처리하여 메모리 과부하를 방지해야 합니다. 이를 통해 리소스 사용량을 낮게 유지하면서 데이터를 원활하게 처리할 수 있습니다.
• 최적화된 JSON 구문 분석: 많은 API가 JSON 형식으로 데이터를 반환합니다. 대규모 응답을 처리할 때는 불필요한 데이터가 로드되거나 처리되지 않도록 JSON의 특정 섹션에 효율적으로 액세스하고 쿼리하는 것이 중요합니다.
• 효율적인 예외 처리: API는 일반적으로 HTTP 상태 코드를 통해 예외를 발생시켜 시간 초과, 무단 액세스 또는 서버 오류와 같은 문제를 나타냅니다. 프로그래밍 언어에서 제공하는 예외 메커니즘을 사용하여 이를 처리하는 것이 중요합니다. 기본적인 오류 처리 외에도 애플리케이션의 논리에 맞는 방식으로 예외를 매핑하고 발생시켜 오류 처리 프로세스를 명확하고 관리하기 쉽게 만들어야 합니다. 재시도를 구현하고, 로깅하고, 오류를 의미 있는 예외에 매핑하면 원활하고 안정적인 데이터 검색 프로세스가 보장됩니다.

"게으른 JSON 페이지" PHP 솔루션

PHP로 작업한다면 행운이 따릅니다. Lazy JSON Pages 오픈 소스 패키지는 비동기 HTTP 요청을 통해 페이지가 매겨진 JSON API의 항목을 Laravel 게으른 컬렉션으로 로드할 수 있는 편리하고 프레임워크에 구애받지 않는 API 스크레이퍼를 제공합니다. 이 패키지는 페이지 매김, 제한, 병렬 요청 및 메모리 관리를 단순화하여 효율성과 성능을 보장합니다.

공식 GitHub 저장소의 Readme인 Lazy JSON Pages에서 패키지에 대한 자세한 정보와 패키지를 사용자 정의할 수 있는 추가 옵션을 확인할 수 있습니다.

패키지 작성자인 Andrea Marco Sartori에게 감사 인사를 전하고 싶습니다.

예: Storyblok에서 수천 개의 스토리 검색

다음은 PHP의 Lazy JSON Pages 패키지를 사용하여 Storyblok에서 수천 개의 스토리를 검색하는 간단한 예입니다.
먼저, 새 디렉토리를 생성하고 해당 디렉토리로 이동하여 패키지 설치를 시작할 수 있습니다.

mkdir lazy-http
cd lazy-http
composer require cerbero/lazy-json-pages

패키지가 설치되면 스크립트 생성을 시작할 수 있습니다.

<?php

require "./vendor/autoload.php";

use Illuminate\Support\LazyCollection;  
$token = "your-storyblok-access-token";
$version = "draft"; // draft or published

$source = "https://api.storyblok.com/v2/cdn/stories?token=" . $token . "&version=" . $version;
$lazyCollection = LazyCollection::fromJsonPages($source)
    ->totalItems('total')
    ->async(requests: 3)
    ->throttle(requests: 10, perSeconds: 1)
    ->collect('stories.*');

foreach ($lazyCollection as $item) {
    echo $item["name"] . PHP_EOL;
}

그런 다음 액세스 토큰을 교체하고 php 명령을 통해 스크립트를 실행할 수 있습니다.

작동 원리

• 효율적인 페이지 매김: API 결과가 페이지 매겨지고, 게으른 컬렉션은 모든 것을 메모리에 저장할 필요 없이 모든 페이지 가져오기를 처리합니다.
• 비동기 API 호출: ->async(requests: 3) 줄은 3개의 API 요청을 병렬로 트리거하여 성능을 향상시킵니다.
• 제한: ->throttle(requests: 10, perSeconds: 1) 줄은 속도 제한을 준수하면서 초당 10개 이하의 요청이 이루어지도록 보장합니다.
• 메모리 효율성: 지연 컬렉션을 사용하면 데이터를 항목별로 처리할 수 있으므로 대규모 데이터세트에서도 메모리 오버헤드가 줄어듭니다.

이 접근 방식은 PHP의 API에서 대용량 데이터를 검색하기 위한 안정적이고 성능이 뛰어나며 메모리 효율적인 솔루션을 제공합니다.

참고자료

• Lazy JSON 페이지 패키지: https://github.com/cerbero90/lazy-json-pages
• 오픈소스 패키지 작성자: https://github.com/cerbero90

위 내용은 대규모 API 데이터 검색 최적화: 모범 사례 및 PHP 지연 수집 솔루션의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!