Proksi untuk web scraping: pool IP tetap dengan lalu lintas tanpa batas

Updated:

Proksi web scraping dengan tagihan per gigabyte membuat crawler makin mahal setiap kali ukuran halaman bertambah berat. Itulah mengapa crawler terjadwal yang stabil jauh lebih hemat jika menggunakan pool alamat tetap dengan lalu lintas tanpa batas. ProxyV4 menyediakan IPv4 privat di tujuh negara dan ISP statis di AS dan Vietnam, masing-masing dihargai per IP tanpa pembatasan kuota lalu lintas. Anda menentukan ukuran pool berdasarkan jumlah permintaan per detik yang dapat ditoleransi target, dan tagihan tetap sama seberapa pun berat ukuran halamannya.

IPv4 privat (datacenter)
🇺🇸 Amerika Serikat
Tersedia
Mulai dari
US$1,10 / IP / bulan
Diskon jumlah pembelian
  • 1 IPUS$1,85
  • 3+ IPUS$1,70
  • 10+ IPUS$1,60
  • 25+ IPUS$1,50
  • 50+ IPUS$1,40
  • 100+ IPUS$1,30
  • 200+ IPUS$1,20
  • 500+ IPUS$1,10
Beli Amerika Serikat
IPv4 privat (datacenter)
🇻🇳 Vietnam
Tersedia
Mulai dari
US$1,10 / IP / bulan
Diskon jumlah pembelian
  • 1 IPUS$1,85
  • 3+ IPUS$1,70
  • 10+ IPUS$1,60
  • 25+ IPUS$1,50
  • 50+ IPUS$1,40
  • 100+ IPUS$1,30
  • 200+ IPUS$1,20
  • 500+ IPUS$1,10
Beli Vietnam

Harga per IP versus harga per GB untuk crawler

PertanyaanPool statis (per IP)Lalu lintas berbasis kuota (per GB)
Faktor penentu biayaJumlah IP dan masa sewaByte yang diunduh, termasuk HTML, JS, dan aset
Dampak saat halaman makin beratTidak ada; bandwidth tanpa batasTagihan membengkak seiring ukurannya
Pembatas throughputBatas laju permintaan per IP di tiap targetAnggaran
Cara melakukan penskalaanTambah IP; harga per IP makin murah seiring bertambahnya jumlahBeli lebih banyak kuota traffic

Mengapa scraper diblokir, dan bagaimana pool IP mengubahnya

Pada scraping katalog, listing, dan API publik, sebagian besar pemblokiran bukan karena identitas Anda, melainkan seberapa cepat Anda mengirim permintaan: satu alamat yang melebihi batas laju permintaan situs akan terkena HTTP 429. Pool berisi 10 hingga 100 IP statis, dengan masing-masing IP dijaga pada konkurensi yang wajar, menjaga setiap alamat tetap di bawah ambang batas sembari crawler secara keseluruhan berjalan pada kecepatan yang Anda butuhkan.

Sistem single-tenancy juga sangat membantu di sini. Setiap IP ProxyV4 hanya dimiliki oleh satu pelanggan selama masa sewa, sehingga riwayat laju permintaan yang dilihat target pada alamat tersebut sepenuhnya milik Anda sendiri.

Menyesuaikan pool dengan target

  • Katalog publik dan API bervolume tinggi: IPv4 privat di Amerika Serikat atau Singapura, biaya per IP terendah
  • E-commerce dan portal lokal Vietnam: IPv4 Vietnam untuk mengakses halaman domestik dan harga lokal
  • Target yang menyaring ASN hosting di balik WAF: ISP statis di Amerika Serikat atau Vietnam, terdaftar pada ISP konsumen, yang biasanya berarti lebih sedikit tantangan Cloudflare
  • Target yang memerlukan IP baru di setiap permintaan: proksi rotating Vietnam belum dijual; daftar tunggu tersedia di halaman rotating Vietnam

Pengaturan crawler agar pool statis tahan lama

Setiap jalur menggunakan kredensial standar, jadi di Python konfigurasi proksinya cukup proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.

  • Distribusikan permintaan secara round-robin ke seluruh daftar dan tambahkan jitter acak, sekitar 2 hingga 5 detik per IP per domain target
  • Gunakan kembali koneksi dengan requests.Session() atau klien berbasis pool agar Anda tidak terbebani handshake TLS di setiap permintaan
  • Di Playwright dan Puppeteer, blokir gambar, font, dan media yang tidak Anda parse
  • Ketika IP terkena HTTP 429 atau 503, keluarkan dari rotasi untuk masa cooldown dan lakukan backoff alih-alih langsung mencoba kembali

Langkah demi langkah

  1. 1

    Beli pool yang disesuaikan dengan target Anda

    Pilih jumlah per negara, misalnya IPv4 AS, Jepang, atau Inggris. Diskon volume berlaku otomatis seiring bertambahnya jumlah.

  2. 2

    Ubah daftar menjadi URL

    Tempel baris ip:port:user:pass ke pengonversi format proksi untuk mendapatkan string http://user:pass@ip:port atau JSON.

  3. 3

    Pasang pool ke framework Anda

    Gunakan panduan penyiapan untuk Python Requests, Scrapy, Selenium, atau Node.js Axios.

  4. 4

    Uji performa sebelum proses penuh pertama

    Periksa waktu respons dengan uji kecepatan proksi dan singkirkan jalur mana pun yang lambat ke target Anda.

Pertanyaan yang sering diajukan

Apakah lalu lintas scraping pada proksi ProxyV4 dibatasi kuota?

Tidak. IPv4 privat dan ISP statis dihargai per IP selama masa sewa dengan bandwidth tanpa batas.

Berapa banyak halaman per hari yang dapat diambil oleh satu IP statis?

Tergantung pada rate limit target. Pada 1 hingga 3 permintaan per menit per domain, satu IP dapat mengambil sekitar 1.500 hingga 4.000 halaman per hari tanpa menarik kecurigaan.

Apakah Anda menjual proksi rotating untuk scraping?

Belum. Proksi rotating Vietnam saat ini hanya melalui daftar tunggu. Untuk sekarang, pool statis dengan pembagian round-robin berfungsi sama baiknya untuk sebagian besar crawling terjadwal.

Bagaimana cara cepat mengonversi 50 proksi ke format Scrapy?

Tempel semuanya ke pengonversi format proksi. Alat ini akan mengubah baris ip:port:user:pass menjadi string URL atau array JSON langsung di browser.

Bangun pool scraping dengan biaya bulanan tetap

IPv4 privat di tujuh negara dan ISP statis di AS dan Vietnam, dihargai per IP dengan lalu lintas tanpa batas.

Cek harga langsung IPv4 AS

Related articles

Penggunaan
Merancang scraper berbasis pool IP dedicated
Panduan untuk tim data: tentukan ukuran pool IP statis privat, rotasikan di kode Anda, pilih IPv4, ISP, atau IPv6, dan kumpulkan data secara bertanggung jawab.
Setup proxy
Request Python melalui proxy berautentikasi, langkah demi langkah
Kirim request Python via proxy HTTP(S) berautentikasi: buat dict proxies, pasang ke Session, encode password khusus, rotasi daftar, dan periksa IP.
Setup proxy
Autentikasi proxy Playwright, satu IP statis per context
Beri setiap browser context Playwright proxy HTTP(S) terautentikasi di Node.js atau Python, sesuaikan zona waktu dan lokal dengan IP, lalu cek alamat keluar.
Setup proxy
Proxy Scrapy: meta['proxy'], urutan middleware, dan rotasi
Gunakan proxy HTTP(S) terautentikasi di Scrapy: atur request.meta['proxy'], urutkan middleware sebelum HttpProxyMiddleware (750), rotasi IP dan atur laju crawl.
IPV4 · united states
Pool Proxy IPv4 Privat AS untuk Scraping, Pelacakan Peringkat, dan Pengecekan Iklan
Beli proxy IPv4 privat AS: IP datacenter statis Amerika, satu pengguna per IP, bandwidth tanpa batas. Dibuat untuk scraping, pelacakan SERP, dan cek iklan AS.
IPV4 · vietnam
Proxy IPv4 Privat Vietnam: Satu IP Tetap per Akun dalam Jumlah Besar
Proxy IPv4 privat Vietnam: IP datacenter statis, satu pelanggan per IP, hemat untuk pembelian massal. Cocok untuk profil seeding, toko Shopee kedua, dan tool.
ISP · united states
Proxy ISP Statis AS: IP Terdaftar Rumahan yang Tidak Pernah Berubah
Proxy ISP statis AS dengan IP terdaftar di penyedia internet konsumen. Satu IP Amerika tetap per akun untuk seller Amazon, akun iklan, dan Instagram.
Setup proxy
Selenium WebDriver dan proxy terautentikasi: solusi yang berhasil
Autentikasi proxy Selenium di ChromeDriver: penyebab --proxy-server abaikan user:pass, solusi selenium-wire atau ekstensi onAuthRequired, serta verifikasi IP.