크롤러란 무엇입니까?

FOAF 커뮤니티에서 웹 스파이더, 웹 로봇으로도 알려진 웹 크롤러(웹 체이서라고도 함)는 특정 규칙 및 기타 규칙에 따라 World Wide Web 정보를 자동으로 캡처하는 프로그램 또는 스크립트입니다. 덜 일반적으로 사용되는 이름은 다음과 같습니다. 개미, 자동 인덱서, 에뮬레이터 또는 웜.

대부분의 크롤러는 "요청 보내기 - 페이지 가져오기 - 페이지 구문 분석 - 콘텐츠 추출 및 저장" 프로세스를 따릅니다. 이는 실제로 웹 페이지 정보를 얻기 위해 브라우저를 사용하는 프로세스를 시뮬레이션합니다.

간단히 말하면, 크롤러의 기본 작동은 인간의 행동을 시뮬레이션하고 다양한 웹사이트를 돌아다니고, 버튼을 클릭하고, 데이터를 확인하거나, 본 정보를 기억하는 것입니다. 건물 주위를 쉬지 않고 기어다니는 벌레처럼요.

간단히 상상할 수 있습니다. 모든 크롤러는 귀하의 "클론"입니다. 마치 손오공이 머리카락을 뽑고 원숭이 떼를 날려버린 것처럼요.

우리가 매일 사용하는 Baidu는 실제로 이런 종류의 크롤러 기술을 사용합니다. 매일 다양한 웹 사이트에 수많은 크롤러를 출시하고 정보를 캡처한 다음 가벼운 화장을 하고 대기열에 서서 사용자가 검색할 때까지 기다립니다.

관련 추천: "파이썬 크롤러가 무엇인가요? 파이썬을 크롤러라고 부르는 이유는 무엇인가요?"

위 내용은 크롤러란 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!