python - Data yang dikikis oleh Scrapy tidak boleh dipaparkan dalam talian paip

Data ditangkap melalui scrapy, tetapi ia boleh dikembalikan ke saluran paip tanpa sebarang kesan. Bagaimana untuk menyelesaikan masalah?

我想大声告诉你 2017-05-18 10:57:53 0  2  816

javascript - Mengapa saya tidak boleh merangkak halaman jika saya menggunakan phantomjs untuk merangkak jika terdapat banyak data pada halaman?

Saya mahu merangkak halaman carian Taobao Ia adalah halaman yang dijana oleh js rendering, jadi saya memilih untuk merangkak dengan phantomjs. Tetapi masalah berlaku semasa proses pengambilan. Apabila terdapat lebih daripada dua hasil carian, tiada data boleh diperolehi. Tetapi tangkapan skrin menun...

習慣沉默 2017-07-05 10:50:52 0  1  896

Bagaimanakah halaman web menyambung ke pangkalan data untuk menangkap maklumat?

Terdapat butang dan kotak input pada halaman web Klik butang untuk menyambung ke pangkalan data untuk menangkap maklumat, dan kemudian kembalikan maklumat ke kotak input pada halaman web. Saya masih baru. Adakah sumber yang boleh saya rujuk?

神秘人 2020-12-21 19:45:07 0  1  1146

php merangkak data halaman web

Saya mempunyai beberapa keperluan seperti merangkak halaman web pedagang bawa pulang Baidu https://wmpass.baidu.com/ucen..., tetapi halaman web ini ditulis menggunakan rangka kerja bahagian hadapan modular Apabila melihat kod sumber, saya hanya boleh melihat beberapa Kod sumber sebelum rendering, se...

PHP中文网 2017-05-24 11:34:27 0  1  883

javascript - Mengenai ajax, pemprosesan data yang selamat ditangkap oleh jq bahagian hadapan

Mengenai ajax dan sumber data, saya biasanya menggunakan nota jq untuk terus membuang nilai yang perlu diposkan ke dalam elemen, dan kemudian ambilnya. Dengan cara ini, gunakan konsol penyemak imbas untuk menukar atribut halaman, dan nilai siaran ajax juga ditukar. Walaupun saya menggunakan php di b...

漂亮男人 2017-05-16 13:16:33 0  1  445

python - Fiddler+Android emulator menangkap aplikasi, data json disulitkan, bagaimana untuk menghuraikannya?

Soalan: Apabila cuba merangkak APP Tetingkap Shanxi, saya mendapati bahawa data JSON bukanlah struktur JSON langsung. Adakah terdapat cara untuk menghuraikan kandungan asal. Minta Respons Selepas menyemak beberapa maklumat, nampaknya beberapa syarikat akan menyulitkan data yang dihantar pada kedua-d...

PHPz 2017-05-16 13:31:23 0  2  1369

pemerolehan data php?

pemerolehan data php? pemerolehan data php? pemerolehan data php?

Mr.V 2017-07-27 21:56:28 0  4  2220

python - Halaman web tidak boleh dirangkak semula selepas mengemas kini data

Halaman web yang saya rangkak mengemas kini sekeping maklumat hari ini, dan kemudian perangkak itu berlari tetapi tidak merangkaknya {Kod...} Saya harap pakar dapat lebih spesifik dan berkomunikasi dengan lebih lanjut.

给我你的怀抱 2017-05-18 10:58:50 0  2  605

Gagal membaca data

Tidak dapat memperoleh data daripada pangkalan data

2019-04-01 13:15:50 0  3  1060

php - Bolehkah anda membantu saya melihat peraturan biasa untuk merangkak data yang diperlukan?

A. html halaman yang akan dirangkak: {code...} B. Peraturan merangkak yang saya tulis: {code...} $reg_list = "/<div\s*topClassName\='top1'\s *topSwitch\='on'\s*productId\='(\d+)'\s*productName\='[\x7f-\xff]+'\s*class\='productP...

过去多啦不再A梦 2017-05-16 13:16:30 0  2  610

Bagaimana untuk menerima data penghantaran TCP/IP dalam PHP

Baru-baru ini, TP5.1 telah digunakan untuk membuat antara muka tangkapan kamera tangkapan Hikvision untuk memanggil antara muka data Pada masa ini, data kamera tangkapan Hikvision boleh ditangkap secara tempatan, tetapi bagaimana untuk memantau data yang ditolak? ! !

XuPing.Yang 2022-04-11 19:07:55 0  1  1144

Gunakan sup Cantik untuk mengekstrak data apabila div tidak wujud

Saya cuba mengekstrak data jadual daripada beribu-ribu fail html atau data tapak, tetapi jadual tidak mempunyai div untuk memudahkannya, dan saya sangat baru dengan beautifulsoup. Sekarang saya sedang mengedit secara manual semua html yang ditukar kepada csv dan memasukkannya ke dalam pangkalan data...

P粉818306280 2024-02-26 16:22:47 0  1  442

Simpan hasil HTML DOM ke dalam pangkalan data MySQL

Saya cuba menyimpan data yang dikikis ke dalam pangkalan data saya. Ia hanya mengeluarkan keputusan, jadi merangkak adalah normal. Tetapi pasti terdapat ralat dalam menentukan pembolehubah dan menghantarnya ke mysql-insert. Saya mendapat mesej "Rekod baharu berjaya dibuat". Hasil pembolehu...

P粉549986089 2023-09-15 23:41:06 0  1  563

Tiada aksara baris baharu semasa mendapatkan data daripada pangkalan data PostgreSQL menggunakan PHP

Tajuk: Tiada aksara baris baharu apabila mendapatkan data daripada pangkalan data PostgreSQL menggunakan PHP Teks: Apabila saya menggunakan PHP untuk mendapatkan data daripada pangkalan data PostgreSQL, saya menghadapi masalah. Saya menggunakan Navicat untuk melihat data dalam pangkalan data, dan s...

P粉696146205 2023-08-06 13:44:42 0  1  644

Ekstrak tatasusunan daripada pangkalan data

Tatasusunan (kotak semak) disimpan dalam pangkalan data melalui unserialize(), seperti yang ditunjukkan dalam rajah, cara mengekstraknya dan memaparkannya secara normal, contohnya, paparan: matematik,

杰瑞 2019-11-13 15:30:46 0  0  729

ajax tidak boleh mendapatkan data

Seperti yang dinyatakan dalam kursus, data tidak boleh diperolehi

鲜花批发 2019-08-25 18:20:53 0  1  1137

Gunakan nilai kunci utama data sebagai indeks tatasusunan bersekutu untuk mendapatkan data

Gunakan nilai kunci utama data sebagai indeks tatasusunan bersekutu untuk mendapatkan data

王林 2023-07-16 17:41:35 0  2  8051

python - soalan pembersihan data Scrapy ItemLoader

Apabila menggunakan scrapy untuk menangkap data, gunakan kelas pemuat item Apabila nilai yang dikeluarkan oleh pemilih kosong, masukkan scrapy.Field() dan panggil penapis(). ". Jika pemilih dikeluarkan [] atau "", maka selepas nilai memasuki penapis(), ia tidak...

PHPz 2017-05-27 17:39:47 0  1  1139

Mengikis web: Atribut href hilang - Perlu mensimulasikan klik tetikus untuk mengikis web?

Untuk projek mengikis web yang menyeronokkan, saya ingin mengumpul data NHL daripada ttps://www.nhl.com/stats/teams. Terdapat label eksport Excel yang boleh diklik dan saya boleh menemuinya menggunakan selenium dan bs4. Malangnya, di situlah ia berakhir: Saya nampaknya tidak dapat mengakses data ker...

P粉550823577 2024-04-04 10:32:06 0  1  3607

Gunakan Excel\VBA untuk mengikis maklumat daripada halaman web

Saya cuba mengikis data dari halaman web, saya memerlukan 4 bit data, 2 daripadanya dapat saya dapatkan semula, tetapi 2 yang lain telah dibayangkan kepada saya. Ini bukan URL tetap, tetapi URL ini telah diambil daripada IE selepas ubah hala, jadi untuk contoh ini saya akan menggunakan: https://cpc....

P粉555696738 2023-09-02 18:48:32 0  1  849