javascript – Umleitungsproblem, wenn der Superagent eine Website crawlt

Question

Verwenden Sie superagent, um die Webseite zu crawlen, stoßen Sie auf eine Umleitung und können den Antworttext nach der Umleitung nicht abrufen, wie Sie das Problem lösen können, wie Sie die umgeleitete Webseite erhalten

Ich möchte die Auflösung der 501-Seite erhalten, aber es springt zu Seite 37018, sodass ich die leere Auflösung der 501-Seite erhalte.

Webseiten getestet, die nicht gecrawlt werden konnten, und zwei Situationen festgestellt

1. Der Antwortcode beim Aufrufen der Webseite lautet zunächst 200 und wird nach einer Weile auf 304 aktualisiert

2. Bei der Eingabe wird der Antwortcode von 301 auf 200 umgeleitet und nach einer Weile auf 304 aktualisiert

Testete die Webseiten, die gecrawlt werden konnten, und fand zwei Situationen

1. Bei der Eingabe wird der Antwortcode von 301 auf 200 umgeleitet und nach einer Weile auf 304 aktualisiert

2. Der Antwortcode beim Aufrufen der Webseite ist zunächst 200 und wird nach einer Weile auf 304 aktualisiert

Ah, lass es mich löschen, dann wird es keinen Unterschied machen, ob das irgendetwas damit zu tun hat, dass ich den Inhalt nicht crawlen kann, oderz

Mehr hinzufügen

Das Problem ist nicht die Umleitung, sondern mein Problem mit der Übereinstimmung regulärer Ausdrücke

Answer 1

你都不看官方文档的吗？

• Following redirects

By default up to 5 redirects will be followed, however you may specify
this with the res.redirects(n) method:

request
  .get('/some.png')
  .redirects(2)
  .end(callback);