python - Data yang dikikis oleh Scrapy tidak boleh dipaparkan dalam talian paip

Data ditangkap melalui scrapy, tetapi ia boleh dikembalikan ke saluran paip tanpa sebarang kesan. Bagaimana untuk menyelesaikan masalah?

我想大声告诉你 2017-05-18 10:57:53 0  2  797

javascript - Mengapa saya tidak boleh merangkak halaman jika saya menggunakan phantomjs untuk merangkak jika terdapat banyak data pada halaman?

Saya mahu merangkak halaman carian Taobao Ia adalah halaman yang dijana oleh js rendering, jadi saya memilih untuk merangkak dengan phantomjs. Tetapi masalah berlaku semasa proses pengambilan. Apabila terdapat lebih daripada dua hasil carian, tiada data boleh diperolehi. Tetapi tangkapan skrin menun...

習慣沉默 2017-07-05 10:50:52 0  1  871

Bagaimanakah halaman web menyambung ke pangkalan data untuk menangkap maklumat?

Terdapat butang dan kotak input pada halaman web Klik butang untuk menyambung ke pangkalan data untuk menangkap maklumat, dan kemudian kembalikan maklumat ke kotak input pada halaman web. Saya masih baru. Adakah sumber yang boleh saya rujuk?

神秘人 2020-12-21 19:45:07 0  1  1123

javascript - Mengenai ajax, pemprosesan data yang selamat ditangkap oleh jq bahagian hadapan

Mengenai ajax dan sumber data, saya biasanya menggunakan nota jq untuk terus membuang nilai yang perlu diposkan ke dalam elemen, dan kemudian ambilnya. Dengan cara ini, gunakan konsol penyemak imbas untuk menukar atribut halaman, dan nilai siaran ajax juga ditukar. Walaupun saya menggunakan php di b...

漂亮男人 2017-05-16 13:16:33 0  1  432

python - Fiddler+Android emulator menangkap aplikasi, data json disulitkan, bagaimana untuk menghuraikannya?

Soalan: Apabila cuba merangkak APP Tetingkap Shanxi, saya mendapati bahawa data JSON bukanlah struktur JSON langsung. Adakah terdapat cara untuk menghuraikan kandungan asal. Minta Respons Selepas menyemak beberapa maklumat, nampaknya beberapa syarikat akan menyulitkan data yang dihantar pada kedua-d...

PHPz 2017-05-16 13:31:23 0  2  1338

php merangkak data halaman web

Saya mempunyai beberapa keperluan seperti merangkak halaman web pedagang bawa pulang Baidu https://wmpass.baidu.com/ucen..., tetapi halaman web ini ditulis menggunakan rangka kerja bahagian hadapan modular Apabila melihat kod sumber, saya hanya boleh melihat beberapa Kod sumber sebelum rendering, se...

PHP中文网 2017-05-24 11:34:27 0  1  860

javascript - Apa lagi yang boleh digunakan selain ajax untuk bahagian depan untuk memanggil antara muka belakang?

Syarikat itu ingin membina tapak web rasmi mudah alih dan tidak boleh menggunakan ajax untuk memanggil antara muka (untuk menangkap data untuk orang lain), jadi apa lagi yang boleh digunakan? ? ? Apakah yang digunakan oleh Baidu untuk menangkap data?

仅有的幸福 2017-06-30 09:57:52 0  4  1114

Scrapy INSERT ke dalam 'new_table' hanya jika tiada rekod wujud dalam 'current table'

Saya mencuba beberapa tapak web mengikis. Saya berjaya mengikis data daripada jadual pangkalan data semasa. Tetapi saya ingin memasukkan "jadual_baru" hanya jika rekod tidak wujud dalam "jadual semasa" Kod saya ialah (talian paip) table='products' table2='new_products'`defsave(se...

P粉122932466 2024-03-29 19:36:16 0  1  368

Heroku mengehadkan Puppeteer untuk berlari tiga kali sahaja

Saya sedang membangunkan tapak web yang menggunakan dalang untuk mengikis data daripada tapak web lain. Apabila saya menjalankan pelayan npm pada mesin tempatan saya ia mengikis data dengan baik, tetapi apabila saya menggunakan ia ke Heroku ia hanya menjalankan tiga fail pertama yang saya cari dan k...

P粉986860950 2024-04-02 19:49:08 0  1  623

Pakar perangkak ular sawa yang dihormati, lihat dan lihat cara menangani anti-merangkak di tapak web ini.

https://www.everysaving.co.uk merangkak data tapak web ini melalui python, tetapi data itu tidak boleh dikembalikan! Saya menambah pengepala dan IP proksi untuk merangkak, tetapi saya harap anda semua boleh mencubanya. . .

曾经蜡笔没有小新 2017-05-18 11:01:00 0  4  750

Simpan hasil HTML DOM ke dalam pangkalan data MySQL

Saya cuba menyimpan data yang dikikis ke dalam pangkalan data saya. Ia hanya mengeluarkan keputusan, jadi merangkak adalah normal. Tetapi pasti terdapat ralat dalam menentukan pembolehubah dan menghantarnya ke mysql-insert. Saya mendapat mesej "Rekod baharu berjaya dibuat". Hasil pembolehu...

P粉549986089 2023-09-15 23:41:06 0  1  540

如何安全转移mongodb集合的collection和index文件以腾出空间

单机环境下使用mongodb缓存爬虫抓取的网页的源码，没有复制集、分片等，使用mongodb纯粹为了取用方便并提升存储效率。现在一个collection占用了50多G的空间，已将数据提取完毕，短期内不会用到它了，但抓取下来十...

大家讲道理 2017-05-02 09:24:50 0  2  705

Scrapy: Panduan untuk menyimpan ke CSV dengan tetapan lajur tersuai

Jadi pada dasarnya saya mengikis data dari web dan saya mempunyai fail projek yang diimport ke dalam fail labah-labah utama saya. Sekarang apabila saya mengambil data dan menyimpannya dalam bekas dan menyimpannya sebagai csv, lajur terpaut sentiasa menjadi lajur pertama dalam csv. Bagaimana untuk me...

P粉576184933 2024-04-04 14:01:17 0  1  369

python menulis data lajur ke-x ke fail ke-x

Perangkak Python perlu merangkak sejumlah 65 halaman data dan bilangan lajur dalam setiap halaman data adalah tidak pasti. Sekarang saya boleh menangkap data setiap lajur, tetapi kerana bilangan lajur tidak pasti, nama fail yang ditulis tidak dapat ditentukan. Masalahnya ialah bagaimana untuk menuli...

漂亮男人 2017-06-12 09:23:40 0  1  749

WeChat $data =file_get_contents('php://input') tidak boleh mendapatkan data dan menangkap paket

$timestamp  = $_GET['timestamp'];       $nonce = $_GET["nonce"];     $msg_signature  = $_GET['msg_signature'];    &nbsp

手机用户1576494449 2020-01-02 15:56:29 0  2  916

javascript - Pemalam pemilihan mudah alih, tetapi data ditakrifkan dengan sendirinya

Ia adalah serupa dengan kesan di sebelah kanan, tetapi data di dalam disesuaikan Pertama sekali, ia adalah kesan terminal mudah alih Kedua, terdapat banyak senarai untuk memaparkan kesan mengikut gambar data yang diperolehi dari latar belakang.

PHP中文网 2017-06-14 10:54:06 0  2  609

Masalah dengan kecekapan pangkalan data storan PHP

Program 1: untuk($i=0;$<100;$++){Sambung ke pangkalan data; sambungan pangkalan data;} Pelaksanaan program Ia mengambil masa kira-kira 1.5-2 saat Program 2: Sambung ke pangkalan data untuk($i=0;$i<100;$i++){Lakukan pilih sekali }Putuskan sambungan pangkalan data; sambungan; pelaksanaan mengamb...

八哥 2023-09-22 22:46:18 0  0  848

python - soalan pembersihan data Scrapy ItemLoader

Apabila menggunakan scrapy untuk menangkap data, gunakan kelas pemuat item Apabila nilai yang dikeluarkan oleh pemilih kosong, masukkan scrapy.Field() dan panggil penapis(). ". Jika pemilih dikeluarkan [] atau "", maka selepas nilai memasuki penapis(), ia tidak...

PHPz 2017-05-27 17:39:47 0  1  1122

Gunakan sup Cantik untuk mengekstrak data apabila div tidak wujud

Saya cuba mengekstrak data jadual daripada beribu-ribu fail html atau data tapak, tetapi jadual tidak mempunyai div untuk memudahkannya, dan saya sangat baru dengan beautifulsoup. Sekarang saya sedang mengedit secara manual semua html yang ditukar kepada csv dan memasukkannya ke dalam pangkalan data...

P粉818306280 2024-02-26 16:22:47 0  1  439

Bagaimana untuk meningkatkan kecekapan eksport excel php

Bagaimana untuk meningkatkan kecekapan eksport phpexcel (nota: format cvs boleh diabaikan, eksport ini mempunyai operasi sel operasi) Apa yang saya fikirkan sekarang ialah: Mengoptimumkan SQL kini mempunyai antara muka untuk butiran data, dan kini ia adalah untuk mendapatkan tatasusunan ID data untu...

欧阳克 2017-06-14 10:49:59 0  4  1238