Rumah > Java > javaTutorial > Mengapa Saya Mendapat Ralat Terlarang 403 Semasa Mengikis Web dengan Java?

Mengapa Saya Mendapat Ralat Terlarang 403 Semasa Mengikis Web dengan Java?

Patricia Arquette
Lepaskan: 2024-12-15 14:19:20
asal
576 orang telah melayarinya

Why Am I Getting a 403 Forbidden Error When Web Scraping with Java?

Cara Menyelesaikan 403 Ralat Terlarang untuk Mengikis Web Java

Apabila mengikis hasil carian Google menggunakan Java, anda mungkin menghadapi "403 Forbidden" ralat semasa pelayar web mengembalikan hasil yang diharapkan. Ini kerana tapak web, seperti Google, melaksanakan langkah anti-mengikis untuk menghalang akses automatik tanpa ejen pengguna yang betul.

Untuk mengatasi isu ini, anda perlu mengubah suai program Java anda untuk memasukkan pengepala ejen pengguna, mensimulasikan permintaan pelayar. Begini cara untuk melakukannya:

  1. Import perpustakaan yang diperlukan:
import java.net.HttpURLConnection;
import java.net.URL;
import java.io.BufferedReader;
import java.io.InputStreamReader;
Salin selepas log masuk
  1. Tetapkan sambungan:
URLConnection connection = new URL("https://www.google.com/search?q=" + query).openConnection();
Salin selepas log masuk
  1. Tetapkan ejen pengguna pengepala:
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11");
Salin selepas log masuk
  1. Sambung dan dapatkan semula data:
connection.connect();
BufferedReader r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8")));
Salin selepas log masuk

Pengubahsuaian ini memastikan program Java anda muncul sebagai penyemak imbas yang sah, membolehkan anda untuk memintas ralat 403 Forbidden. Walau bagaimanapun, ambil perhatian bahawa Google sentiasa mengemas kini langkah anti-mengikisnya, jadi anda mungkin perlu melaraskan kod anda jika anda menghadapi sebarang ralat yang tidak diduga pada masa hadapan.

Atas ialah kandungan terperinci Mengapa Saya Mendapat Ralat Terlarang 403 Semasa Mengikis Web dengan Java?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

sumber:php.cn
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan