Python Instant Web Crawler: API-Beschreibung

API-Beschreibung – gsExtractor-Inhaltsextraktor herunterladen

1, Schnittstellenname

Inhaltsextraktor herunterladen

2, Schnittstellenbeschreibung

Wenn Sie Wenn Sie möchten Um ein Webcrawler-Programm zu schreiben, werden Sie feststellen, dass Sie die meiste Zeit mit dem Debuggen von Webinhaltsextraktionsregeln verbringen. Selbst wenn Sie XPath verwenden, müssen Sie es einzeln schreiben und debuggen eins.

Wenn Sie viele Felder aus einer Webseite extrahieren möchten, ist das Debuggen von XPath einzeln sehr zeitaufwändig. Über diese Schnittstelle können Sie direkt ein debuggtes Extraktorskriptprogramm erhalten, bei dem es sich um ein Standard-XSLT-Programm handelt. Sie müssen es nur im DOM der Zielwebseite ausführen, um die Ergebnisse im XML-Format zu erhalten, wobei alle Felder auf einmal abgerufen werden.

Dieser XSLT-Extraktor kann von Ihnen mit MS-Software generiert oder von anderen mit Ihnen geteilt werden. Solange Sie über eine Leseberechtigung verfügen, können Sie ihn herunterladen und verwenden.

In Webcrawler-Programmen, die für die Datenanalyse und das Data Mining verwendet werden, ist der Inhaltsextraktor ein wesentliches Hindernis für die Universalität. Wenn dieser Extraktor von der API bezogen wird, kann Ihr Webcrawler-Programm universell geschrieben werden.

3, Schnittstellenspezifikation

3.1, Schnittstellenadresse (URL)

http://www.gooseeker.com/api/getextractor

3.2, Anfragetyp (contentType)

keine Begrenzung

3.3, Anfragemethode

HTTP GET

3.4, Anfrageparameter

Schlüssel Erforderlich: Ja; Typ: String; Beschreibung: AppKey

Thema, das bei der Beantragung der API zugewiesen wurde. Erforderlich: Ja; Typ: String; Beschreibung: Der Extraktorname ist der von MS definierte 🎜>middle Erforderlich: Nein; Beschreibung: Regelnummer:

bname Erforderlich: Nein; Beschreibung: Sortierung Feldname. Wenn die Regel mehrere Sortierfelder enthält, müssen Sie

3.5, Rückgabetyp (contentType)

text/xml=UTF-8

ausfüllen 3.6, Rückgabeparameter

Parameter im HTTP-Nachrichtenheader wie folgt:

more-extractor Typ: String; Beschreibung: Wie viele Extraktoren gibt es unter demselben Regelnamen? Normalerweise müssen Sie diesen Parameter nur dann beachten, wenn die optionalen Parameter nicht ausgefüllt sind, um den Client daran zu erinnern, dass es mehrere Regeln und Sortierfelder gibt. Der Client entscheidet, ob beim Senden der Anfrage klare Parameter übertragen werden sollen

3.7 , Fehlerinformationen zurückgeben

Fehler der Nachrichtenschicht werden als HTTP 400 zurückgegeben. Beispielsweise entsprechen die Parameter in der URL nicht dieser Spezifikation

Fehler der Anwendungsschicht werden als HTTP 200 OK zurückgegeben Der spezifische Fehlercode wird in einer XML-Datei platziert. Die XML-Struktur lautet wie folgt:

Der spezifische Codewert lautet wie folgt: keyError: Berechtigungsüberprüfung fehlgeschlagen

<return>
    <code>具体的错误码</code>
</return>

4, Anwendungsbeispiel (Python-Sprache)

keyError：权限验证失败
paramError：URL中传来的参数有误，比如，参数名称或值不正确

Beispielcode:

Ich werde diese API als nächstes testen

# -*- coding: utf-8 -*-
from urllib import request

url = 'http://www.gooseeker.com/api/getextractor?key=您的key&theme=您的提取器名'

resp = request.urlopen(url)
content = resp.read()
if(content):
    print(content)