Proksi untuk web scraping: kolam IP tetap dengan trafik tanpa had
Updated:
Proksi web scraping yang dibilkan setiap gigabait menyebabkan crawler semakin mahal setiap kali halaman menjadi lebih berat, itulah sebabnya crawler berjadual yang stabil adalah lebih murah menggunakan kolam alamat tetap dengan trafik tanpa had. ProxyV4 menjual IPv4 peribadi di tujuh negara dan ISP statik di AS dan Vietnam, setiap satunya dihargakan setiap IP tanpa had kuota trafik. Anda menentukan saiz kolam mengikut bilangan permintaan sesaat yang dibenarkan sasaran, dan bil anda kekal sama walau seberat mana pun halaman tersebut.
- 1 IPUSD 1.85
- 3+ IPUSD 1.70
- 10+ IPUSD 1.60
- 25+ IPUSD 1.50
- 50+ IPUSD 1.40
- 100+ IPUSD 1.30
- 200+ IPUSD 1.20
- 500+ IPUSD 1.10
- 1 IPUSD 1.85
- 3+ IPUSD 1.70
- 10+ IPUSD 1.60
- 25+ IPUSD 1.50
- 50+ IPUSD 1.40
- 100+ IPUSD 1.30
- 200+ IPUSD 1.20
- 500+ IPUSD 1.10
Harga setiap IP berbanding harga setiap GB untuk crawler
| Soalan | Kolam statik (setiap IP) | Trafik bermeter (setiap GB) |
|---|---|---|
| Faktor penentu kos | Bilangan IP dan tempoh sewaan | Bait dimuat turun, termasuk HTML, JS dan aset |
| Apa berlaku apabila halaman menjadi lebih berat | Tiada apa-apa; lebar jalur adalah tanpa had | Bil meningkat seiring dengannya |
| Faktor yang mengehadkan daya pemprosesan | Had kadar setiap IP bagi setiap sasaran | Belanjawan |
| Cara meningkatkan skala | Tambah IP; harga setiap IP menurun dengan kuantiti | Beli lebih banyak trafik |
Sebab scraper disekat, dan perubahan yang dibawa oleh kolam IP
Semasa mengikis katalog, penyenaraian dan API awam, kebanyakan sekatan bukanlah disebabkan identiti anda tetapi kelajuan permintaan anda: satu alamat yang melebihi had kadar permintaan laman web akan menerima HTTP 429. Kolam 10 hingga 100 IP statik, dengan setiap satu mengekalkan kadar keserentakan yang wajar, memastikan setiap alamat kekal di bawah ambang had sementara crawler secara keseluruhannya beroperasi pada kelajuan yang anda perlukan.
Penyewaan tunggal turut membantu di sini. Setiap IP ProxyV4 adalah milik seorang pelanggan sahaja sepanjang tempoh sewaan, jadi sejarah kadar yang dilihat oleh sasaran pada alamat tersebut adalah milik anda sepenuhnya.
Memadankan kolam IP dengan sasaran
- Katalog awam dan API volum tinggi: IPv4 peribadi di Amerika Syarikat atau Singapura, kos terendah setiap IP
- E-dagang dan portal tempatan Vietnam: IPv4 Vietnam untuk mengakses halaman domestik dan harga tempatan
- Sasaran yang menapis ASN pengehosan di sebalik WAF: ISP statik di Amerika Syarikat atau Vietnam, didaftarkan di bawah ISP pengguna, yang biasanya menerima cabaran Cloudflare yang lebih sedikit
- Sasaran yang memerlukan IP baharu pada setiap permintaan: proksi berputar Vietnam belum dibuka untuk jualan; halaman proksi berputar Vietnam menyediakan senarai menunggu
Tetapan crawler untuk mengekalkan prestasi kolam statik
Setiap sambungan menggunakan kelayakan standard, jadi dalam Python konfigurasi proksi hanyalah proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Agihkan permintaan secara round-robin merentasi senarai dan tambahkan variasi masa rawak (jitter), kira-kira 2 hingga 5 saat bagi setiap IP untuk setiap domain sasaran
- Gunakan semula sambungan dengan
requests.Session()atau klien terkumpul supaya anda tidak perlu menanggung kos jabat tangan TLS pada setiap permintaan - Dalam Playwright dan Puppeteer, sekat imej, fon dan media yang tidak anda huraikan
- Apabila sesuatu IP menerima HTTP 429 atau 503, keluarkannya daripada giliran untuk tempoh bertenang dan perlahankan permintaan dan bukannya mencuba semula serta-merta
Langkah demi langkah
- 1
- 2
Tukarkan senarai kepada URL
Tampal baris
ip:port:user:passke dalam penukar format proksi untuk mendapatkan rentetanhttp://user:pass@ip:portatau JSON. - 3
Sambungkan kolam ke dalam rangka kerja anda
Gunakan halaman persediaan untuk Python Requests, Scrapy, Selenium atau Node.js Axios.
- 4
Ukur sebelum operasi penuh yang pertama
Periksa masa tindak balas dengan ujian kelajuan proksi dan gugurkan mana-mana talian yang perlahan ke sasaran anda.
Soalan lazim
Adakah trafik pengikisan pada proksi ProxyV4 bermeter?
Tidak. IPv4 peribadi dan ISP statik dihargakan setiap IP untuk tempoh sewaan dengan lebar jalur tanpa had.
Berapa banyak halaman sehari yang boleh diambil oleh satu IP statik?
Ia bergantung pada had kadar sasaran. Pada kadar 1 hingga 3 permintaan seminit bagi setiap domain, satu IP boleh mengambil kira-kira 1,500 hingga 4,000 halaman sehari tanpa menarik perhatian.
Adakah anda menjual proksi berputar untuk pengikisan?
Belum lagi. Proksi berputar Vietnam hanya untuk senarai menunggu. Buat masa ini, kolam statik dengan agihan round-robin melakukan fungsi yang sama untuk kebanyakan crawler berjadual.
Bagaimanakah cara menukar 50 proksi kepada format Scrapy dengan cepat?
Tampalkannya ke dalam penukar format proksi. Ia menukarkan baris ip:port:user:pass kepada rentetan URL atau tatasusunan JSON dalam pelayar.
Bina kolam pengikisan dengan kos bulanan tetap
IPv4 peribadi di tujuh negara dan ISP statik di AS dan Vietnam, dihargakan setiap IP dengan trafik tanpa had.
Semak harga langsung IPv4 AS