Rumah pembangunan bahagian belakang tutorial php 大侠何在,采集数据被封ip该怎么处理

大侠何在,采集数据被封ip该怎么处理

Jun 13, 2016 pm 01:42 PM
curl headers quot sleep

大侠何在,采集数据被封ip该怎么办,
大侠何在,采集数据被封ip该怎么办,如何判断出网站都用了哪些仿采集的程序啊,我们又改如何避让开这些仿采集程序啊

------解决方案--------------------

没办法,你可以装做客户投诉他们,
------解决方案--------------------
sleep() 你不要太暴力采集 我们现在采集 都是一秒采集一次 否则对大家都不好是不是 你一下子并发那么高 大家都不好 ,慢慢来 他不会封的。
------解决方案--------------------
这个...除了你换IP,找代理服务器,伪造IP,没其他啥好方法...
人家看到你的IP频繁访问,直接iptables屏掉你的IP都是很简单的...
------解决方案--------------------
封就疯了吧!人家辛辛苦苦地正的那些资料,凭什么给你呀
------解决方案--------------------
疯吧,既然知道封ip,那就用别的服务器采集呗
降低频率,悠着点
------解决方案--------------------
sleep(60)?要是我我也封你ip

我采集都是隔几分钟才一篇
------解决方案--------------------
隔几分钟一篇,这样采集速度会很慢的吧?
不过好像也没有办法吧,毕竟是人家的东西
------解决方案--------------------
用CURL可以假冒IP的吧
$headers['CLIENT-IP'] = $headers['X-FORWARDED-FOR'] = '192.168.1.1'; //用请求地址的IP
$headerArr = array();
foreach( $headers as $n => $v ) {
$headerArr[] = $n .':' . $v;
}
$refer = $_SERVER["HTTP_REFERER"]

curl_setopt($ch, CURLOPT_HTTPHEADER , $headerArr); //构造IP

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

<🎜>: Bubble Gum Simulator Infinity - Cara Mendapatkan dan Menggunakan Kekunci Diraja
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Nordhold: Sistem Fusion, dijelaskan
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Mandragora: Whispers of the Witch Tree - Cara Membuka Kunci Cangkuk Bergelut
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Tutorial Java
1672
14
Tutorial PHP
1277
29
Tutorial C#
1257
24
Bagaimana untuk merealisasikan penukaran bersama antara permintaan CURL dan python dalam python Bagaimana untuk merealisasikan penukaran bersama antara permintaan CURL dan python dalam python May 03, 2023 pm 12:49 PM

Kedua-dua curl dan Pythonrequests adalah alat yang berkuasa untuk menghantar permintaan HTTP. Walaupun curl ialah alat baris arahan yang membolehkan anda menghantar permintaan terus dari terminal, perpustakaan permintaan Python menyediakan cara yang lebih terprogram untuk menghantar permintaan daripada kod Python. Sintaks asas untuk menukar perintah curl kepada Pythonrequestscurl adalah seperti berikut: curl[OPTIONS]URL Apabila menukar arahan curl kepada permintaan Python, kita perlu menukar pilihan dan URL kepada kod Python. Berikut ialah contoh perintah curlPOST: curl-XPOST https://example.com/api

PHP8.1 dikeluarkan: Memperkenalkan curl untuk pemprosesan serentak berbilang permintaan PHP8.1 dikeluarkan: Memperkenalkan curl untuk pemprosesan serentak berbilang permintaan Jul 08, 2023 pm 09:13 PM

PHP8.1 dikeluarkan: Memperkenalkan curl untuk pemprosesan serentak berbilang permintaan Baru-baru ini, PHP secara rasmi mengeluarkan versi terkini PHP8.1, yang memperkenalkan ciri penting: curl untuk pemprosesan serentak berbilang permintaan. Ciri baharu ini menyediakan pembangun cara yang lebih cekap dan fleksibel untuk mengendalikan berbilang permintaan HTTP, meningkatkan prestasi dan pengalaman pengguna dengan pesat. Dalam versi sebelumnya, pengendalian berbilang permintaan selalunya memerlukan mencipta berbilang sumber curl dan menggunakan gelung untuk menghantar dan menerima data masing-masing. Walaupun kaedah ini boleh mencapai tujuan

Dari awal hingga akhir: Cara menggunakan cURL sambungan php untuk membuat permintaan HTTP Dari awal hingga akhir: Cara menggunakan cURL sambungan php untuk membuat permintaan HTTP Jul 29, 2023 pm 05:07 PM

Dari awal hingga akhir: Cara menggunakan cURL sambungan php untuk permintaan HTTP Pengenalan: Dalam pembangunan web, selalunya perlu untuk berkomunikasi dengan API pihak ketiga atau pelayan jauh lain. Menggunakan cURL untuk membuat permintaan HTTP ialah cara yang biasa dan berkesan. Artikel ini akan memperkenalkan cara menggunakan PHP untuk melanjutkan cURL untuk melaksanakan permintaan HTTP dan menyediakan beberapa contoh kod praktikal. 1. Penyediaan Pertama, pastikan php telah memasang sambungan cURL. Anda boleh melaksanakan php-m|grepcurl pada baris arahan untuk menyemak

Tutorial mengemas kini versi curl di bawah Linux! Tutorial mengemas kini versi curl di bawah Linux! Mar 07, 2024 am 08:30 AM

Untuk mengemas kini versi curl di bawah Linux, anda boleh mengikuti langkah di bawah: Semak versi curl semasa: Pertama, anda perlu menentukan versi curl yang dipasang dalam sistem semasa. Buka terminal dan laksanakan arahan berikut: curl --version Perintah ini akan memaparkan maklumat versi curl semasa. Sahkan versi curl tersedia: Sebelum mengemas kini curl, anda perlu mengesahkan versi terkini yang tersedia. Anda boleh melawati tapak web rasmi curl (curl.haxx.se) atau sumber perisian yang berkaitan untuk mencari versi terkini curl. Muat turun kod sumber curl: Menggunakan curl atau penyemak imbas, muat turun fail kod sumber untuk versi curl pilihan anda (biasanya .tar.gz atau .tar.bz2

Bolehkah linux tidur melambatkan benang? Bolehkah linux tidur melambatkan benang? Mar 16, 2023 am 11:02 AM

tidur boleh tertangguh. Perintah tidur linux boleh digunakan untuk menangguhkan tindakan semasa untuk tempoh masa, sintaksnya ialah "tidur [--help] [--version] nombor [smhd]" secara lalai, arahan tidur akan melambatkan untuk beberapa saat, tetapi akhiran dibenarkan untuk menentukan masa Unit untuk menentukan kelewatan dalam saat, minit, jam atau hari.

Bagaimana untuk mengendalikan 301 pengalihan semula halaman web dalam PHP Curl? Bagaimana untuk mengendalikan 301 pengalihan semula halaman web dalam PHP Curl? Mar 08, 2024 am 11:36 AM

Bagaimana untuk mengendalikan 301 pengalihan semula halaman web dalam PHPCurl? Apabila menggunakan PHPCurl untuk menghantar permintaan rangkaian, anda akan sering menemui kod status 301 yang dikembalikan oleh halaman web, yang menunjukkan bahawa halaman itu telah diubah hala secara kekal. Untuk mengendalikan situasi ini dengan betul, kami perlu menambah beberapa pilihan khusus dan logik pemprosesan pada permintaan Curl. Berikut akan memperkenalkan secara terperinci cara mengendalikan 301 pengalihan semula halaman web dalam PHPCurl, dan memberikan contoh kod khusus. Prinsip pemprosesan 301 ubah hala 301 ubah hala bermakna pelayan mengembalikan 30

apa itu linux curl apa itu linux curl Apr 20, 2023 pm 05:05 PM

Di Linux, curl ialah alat yang sangat praktikal untuk memindahkan data ke dan dari pelayan Ia adalah alat pemindahan fail yang menggunakan peraturan URL untuk berfungsi di bawah baris arahan ia menyokong muat naik dan muat turun fail, dan merupakan alat pemindahan yang komprehensif. Curl menyediakan banyak fungsi yang sangat berguna, termasuk akses proksi, pengesahan pengguna, muat naik dan muat turun ftp, HTTP POST, sambungan SSL, sokongan kuki, resume titik putus dan sebagainya.

Apakah perbezaan antara kaedah tidur dan menunggu di Jawa? Apakah perbezaan antara kaedah tidur dan menunggu di Jawa? May 06, 2023 am 09:52 AM

1. Perbezaan asas antara kaedah tidur dan tunggu: tidur ialah kaedah dalam kelas Thread dan tidak akan memasuki keadaan berjalan serta-merta ialah kaedah dalam kelas Objek Setelah objek memanggil kaedah tunggu, maklumkan () dan notifyAll mesti digunakan. () kaedah membangunkan proses untuk melepaskan kunci penyegerakan: tidur akan melepaskan cpu, tetapi tidur tidak akan melepaskan sumber kunci penyegerakan, dan tunggu akan melepaskan julat penggunaan sumber kunci penyegerakan: tidur boleh digunakan di mana-mana sahaja , tetapi tunggu hanya boleh digunakan dalam kaedah penyegerakan disegerakkan Atau gunakan pengendalian pengecualian dalam blok kod: tidur perlu menangkap pengecualian, tetapi tunggu tidak perlu menangkap pengecualian 2. wa

See all articles