ProxyV4

Proksi untuk web scraping: kolam IP tetap dengan trafik tanpa had

Updated:

Proksi web scraping yang dibilkan setiap gigabait menyebabkan crawler semakin mahal setiap kali halaman menjadi lebih berat, itulah sebabnya crawler berjadual yang stabil adalah lebih murah menggunakan kolam alamat tetap dengan trafik tanpa had. ProxyV4 menjual IPv4 peribadi di tujuh negara dan ISP statik di AS dan Vietnam, setiap satunya dihargakan setiap IP tanpa had kuota trafik. Anda menentukan saiz kolam mengikut bilangan permintaan sesaat yang dibenarkan sasaran, dan bil anda kekal sama walau seberat mana pun halaman tersebut.

IPv4 peribadi (pusat data)
🇺🇸 Amerika Syarikat
Ada stok
Daripada
USD 1.10 / IP / bulan
Diskaun kuantiti
  • 1 IPUSD 1.85
  • 3+ IPUSD 1.70
  • 10+ IPUSD 1.60
  • 25+ IPUSD 1.50
  • 50+ IPUSD 1.40
  • 100+ IPUSD 1.30
  • 200+ IPUSD 1.20
  • 500+ IPUSD 1.10
Beli Amerika Syarikat
IPv4 peribadi (pusat data)
🇻🇳 Vietnam
Ada stok
Daripada
USD 1.10 / IP / bulan
Diskaun kuantiti
  • 1 IPUSD 1.85
  • 3+ IPUSD 1.70
  • 10+ IPUSD 1.60
  • 25+ IPUSD 1.50
  • 50+ IPUSD 1.40
  • 100+ IPUSD 1.30
  • 200+ IPUSD 1.20
  • 500+ IPUSD 1.10
Beli Vietnam

Harga setiap IP berbanding harga setiap GB untuk crawler

SoalanKolam statik (setiap IP)Trafik bermeter (setiap GB)
Faktor penentu kosBilangan IP dan tempoh sewaanBait dimuat turun, termasuk HTML, JS dan aset
Apa berlaku apabila halaman menjadi lebih beratTiada apa-apa; lebar jalur adalah tanpa hadBil meningkat seiring dengannya
Faktor yang mengehadkan daya pemprosesanHad kadar setiap IP bagi setiap sasaranBelanjawan
Cara meningkatkan skalaTambah IP; harga setiap IP menurun dengan kuantitiBeli lebih banyak trafik

Sebab scraper disekat, dan perubahan yang dibawa oleh kolam IP

Semasa mengikis katalog, penyenaraian dan API awam, kebanyakan sekatan bukanlah disebabkan identiti anda tetapi kelajuan permintaan anda: satu alamat yang melebihi had kadar permintaan laman web akan menerima HTTP 429. Kolam 10 hingga 100 IP statik, dengan setiap satu mengekalkan kadar keserentakan yang wajar, memastikan setiap alamat kekal di bawah ambang had sementara crawler secara keseluruhannya beroperasi pada kelajuan yang anda perlukan.

Penyewaan tunggal turut membantu di sini. Setiap IP ProxyV4 adalah milik seorang pelanggan sahaja sepanjang tempoh sewaan, jadi sejarah kadar yang dilihat oleh sasaran pada alamat tersebut adalah milik anda sepenuhnya.

Memadankan kolam IP dengan sasaran

  • Katalog awam dan API volum tinggi: IPv4 peribadi di Amerika Syarikat atau Singapura, kos terendah setiap IP
  • E-dagang dan portal tempatan Vietnam: IPv4 Vietnam untuk mengakses halaman domestik dan harga tempatan
  • Sasaran yang menapis ASN pengehosan di sebalik WAF: ISP statik di Amerika Syarikat atau Vietnam, didaftarkan di bawah ISP pengguna, yang biasanya menerima cabaran Cloudflare yang lebih sedikit
  • Sasaran yang memerlukan IP baharu pada setiap permintaan: proksi berputar Vietnam belum dibuka untuk jualan; halaman proksi berputar Vietnam menyediakan senarai menunggu

Tetapan crawler untuk mengekalkan prestasi kolam statik

Setiap sambungan menggunakan kelayakan standard, jadi dalam Python konfigurasi proksi hanyalah proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • Agihkan permintaan secara round-robin merentasi senarai dan tambahkan variasi masa rawak (jitter), kira-kira 2 hingga 5 saat bagi setiap IP untuk setiap domain sasaran
  • Gunakan semula sambungan dengan requests.Session() atau klien terkumpul supaya anda tidak perlu menanggung kos jabat tangan TLS pada setiap permintaan
  • Dalam Playwright dan Puppeteer, sekat imej, fon dan media yang tidak anda huraikan
  • Apabila sesuatu IP menerima HTTP 429 atau 503, keluarkannya daripada giliran untuk tempoh bertenang dan perlahankan permintaan dan bukannya mencuba semula serta-merta

Langkah demi langkah

  1. 1

    Beli kolam mengikut saiz sasaran anda

    Pilih kuantiti mengikut negara, contohnya IPv4 AS, Jepun atau UK. Tahap volum dikenakan secara automatik apabila kuantiti meningkat.

  2. 2

    Tukarkan senarai kepada URL

    Tampal baris ip:port:user:pass ke dalam penukar format proksi untuk mendapatkan rentetan http://user:pass@ip:port atau JSON.

  3. 3

    Sambungkan kolam ke dalam rangka kerja anda

    Gunakan halaman persediaan untuk Python Requests, Scrapy, Selenium atau Node.js Axios.

  4. 4

    Ukur sebelum operasi penuh yang pertama

    Periksa masa tindak balas dengan ujian kelajuan proksi dan gugurkan mana-mana talian yang perlahan ke sasaran anda.

Soalan lazim

Adakah trafik pengikisan pada proksi ProxyV4 bermeter?

Tidak. IPv4 peribadi dan ISP statik dihargakan setiap IP untuk tempoh sewaan dengan lebar jalur tanpa had.

Berapa banyak halaman sehari yang boleh diambil oleh satu IP statik?

Ia bergantung pada had kadar sasaran. Pada kadar 1 hingga 3 permintaan seminit bagi setiap domain, satu IP boleh mengambil kira-kira 1,500 hingga 4,000 halaman sehari tanpa menarik perhatian.

Adakah anda menjual proksi berputar untuk pengikisan?

Belum lagi. Proksi berputar Vietnam hanya untuk senarai menunggu. Buat masa ini, kolam statik dengan agihan round-robin melakukan fungsi yang sama untuk kebanyakan crawler berjadual.

Bagaimanakah cara menukar 50 proksi kepada format Scrapy dengan cepat?

Tampalkannya ke dalam penukar format proksi. Ia menukarkan baris ip:port:user:pass kepada rentetan URL atau tatasusunan JSON dalam pelayar.

Bina kolam pengikisan dengan kos bulanan tetap

IPv4 peribadi di tujuh negara dan ISP statik di AS dan Vietnam, dihargakan setiap IP dengan trafik tanpa had.

Semak harga langsung IPv4 AS

Related articles

Kes penggunaan
Mereka bentuk scraper menggunakan kolam IP khusus
Panduan pasukan data: tentukan saiz kolam IP statik peribadi, putarkannya dalam kod sendiri, pilih IPv4, ISP atau IPv6, dan kumpul data secara beretika.
Persediaan proksi
Permintaan Python melalui proksi dengan pengesahan, langkah demi langkah
Hantar permintaan Python melalui proksi HTTP(S) disahkan: bina dict proxies, sambung ke Session, enkod kata laluan ganjil, gilirkan senarai dan semak IP.
Persediaan proksi
Pengesahsahihan proksi Playwright, satu IP statik setiap konteks
Berikan setiap konteks pelayar Playwright proksi HTTP(S) disahkan tersendiri dalam Node.js atau Python, padankan zon masa dan lokaliti, serta sahkan IP keluar.
Persediaan proksi
Proksi Scrapy: meta['proxy'], susunan middleware dan giliran
Guna proksi HTTP(S) disahkan dalam Scrapy: tetapkan request.meta['proxy'], atur middleware sebelum HttpProxyMiddleware (750), gilir IP dan kawal kadar rayapan.
IPV4 · united states
Kumpulan Proksi IPv4 Peribadi AS untuk Pengikisan, Penjejakan Kedudukan dan Semakan Iklan
Beli proksi IPv4 peribadi AS: IP pusat data Amerika statik, satu pelanggan per IP, data tanpa had. Sesuai untuk pengikisan, jejak SERP & semakan iklan AS.
IPV4 · vietnam
Proksi IPv4 Peribadi Vietnam: Satu IP Tetap bagi Setiap Akaun dalam Jumlah Besar
Proksi IPv4 peribadi Vietnam: IP pusat data Vietnam statik, khas setiap pelanggan, harga volum. Untuk profil pembenihan, kedai Shopee kedua dan alatan.
ISP · united states
Proksi ISP Statik AS: IP Berdaftar Kediaman yang Tidak Pernah Berubah
Proksi ISP statik AS pada IP penyedia internet pengguna. Satu IP tetap Amerika bagi setiap akaun untuk penjual Amazon, akaun iklan dan Instagram.
Persediaan proksi
Selenium WebDriver dan proksi berpengesahan: apa yang berkesan
Pengesahan proksi Selenium ChromeDriver: sebab --proxy-server abaikan user:pass, cara selenium-wire atau sambungan onAuthRequired mengatasinya, dan semak IP.