Proksi untuk web scraping: pool IP tetap dengan lalu lintas tanpa batas
Updated:
Proksi web scraping dengan tagihan per gigabyte membuat crawler makin mahal setiap kali ukuran halaman bertambah berat. Itulah mengapa crawler terjadwal yang stabil jauh lebih hemat jika menggunakan pool alamat tetap dengan lalu lintas tanpa batas. ProxyV4 menyediakan IPv4 privat di tujuh negara dan ISP statis di AS dan Vietnam, masing-masing dihargai per IP tanpa pembatasan kuota lalu lintas. Anda menentukan ukuran pool berdasarkan jumlah permintaan per detik yang dapat ditoleransi target, dan tagihan tetap sama seberapa pun berat ukuran halamannya.
- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
Harga per IP versus harga per GB untuk crawler
| Pertanyaan | Pool statis (per IP) | Lalu lintas berbasis kuota (per GB) |
|---|---|---|
| Faktor penentu biaya | Jumlah IP dan masa sewa | Byte yang diunduh, termasuk HTML, JS, dan aset |
| Dampak saat halaman makin berat | Tidak ada; bandwidth tanpa batas | Tagihan membengkak seiring ukurannya |
| Pembatas throughput | Batas laju permintaan per IP di tiap target | Anggaran |
| Cara melakukan penskalaan | Tambah IP; harga per IP makin murah seiring bertambahnya jumlah | Beli lebih banyak kuota traffic |
Mengapa scraper diblokir, dan bagaimana pool IP mengubahnya
Pada scraping katalog, listing, dan API publik, sebagian besar pemblokiran bukan karena identitas Anda, melainkan seberapa cepat Anda mengirim permintaan: satu alamat yang melebihi batas laju permintaan situs akan terkena HTTP 429. Pool berisi 10 hingga 100 IP statis, dengan masing-masing IP dijaga pada konkurensi yang wajar, menjaga setiap alamat tetap di bawah ambang batas sembari crawler secara keseluruhan berjalan pada kecepatan yang Anda butuhkan.
Sistem single-tenancy juga sangat membantu di sini. Setiap IP ProxyV4 hanya dimiliki oleh satu pelanggan selama masa sewa, sehingga riwayat laju permintaan yang dilihat target pada alamat tersebut sepenuhnya milik Anda sendiri.
Menyesuaikan pool dengan target
- Katalog publik dan API bervolume tinggi: IPv4 privat di Amerika Serikat atau Singapura, biaya per IP terendah
- E-commerce dan portal lokal Vietnam: IPv4 Vietnam untuk mengakses halaman domestik dan harga lokal
- Target yang menyaring ASN hosting di balik WAF: ISP statis di Amerika Serikat atau Vietnam, terdaftar pada ISP konsumen, yang biasanya berarti lebih sedikit tantangan Cloudflare
- Target yang memerlukan IP baru di setiap permintaan: proksi rotating Vietnam belum dijual; daftar tunggu tersedia di halaman rotating Vietnam
Pengaturan crawler agar pool statis tahan lama
Setiap jalur menggunakan kredensial standar, jadi di Python konfigurasi proksinya cukup proxies = {"http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port"}.
- Distribusikan permintaan secara round-robin ke seluruh daftar dan tambahkan jitter acak, sekitar 2 hingga 5 detik per IP per domain target
- Gunakan kembali koneksi dengan
requests.Session()atau klien berbasis pool agar Anda tidak terbebani handshake TLS di setiap permintaan - Di Playwright dan Puppeteer, blokir gambar, font, dan media yang tidak Anda parse
- Ketika IP terkena HTTP 429 atau 503, keluarkan dari rotasi untuk masa cooldown dan lakukan backoff alih-alih langsung mencoba kembali
Langkah demi langkah
- 1
- 2
Ubah daftar menjadi URL
Tempel baris
ip:port:user:passke pengonversi format proksi untuk mendapatkan stringhttp://user:pass@ip:portatau JSON. - 3
Pasang pool ke framework Anda
Gunakan panduan penyiapan untuk Python Requests, Scrapy, Selenium, atau Node.js Axios.
- 4
Uji performa sebelum proses penuh pertama
Periksa waktu respons dengan uji kecepatan proksi dan singkirkan jalur mana pun yang lambat ke target Anda.
Pertanyaan yang sering diajukan
Apakah lalu lintas scraping pada proksi ProxyV4 dibatasi kuota?
Tidak. IPv4 privat dan ISP statis dihargai per IP selama masa sewa dengan bandwidth tanpa batas.
Berapa banyak halaman per hari yang dapat diambil oleh satu IP statis?
Tergantung pada rate limit target. Pada 1 hingga 3 permintaan per menit per domain, satu IP dapat mengambil sekitar 1.500 hingga 4.000 halaman per hari tanpa menarik kecurigaan.
Apakah Anda menjual proksi rotating untuk scraping?
Belum. Proksi rotating Vietnam saat ini hanya melalui daftar tunggu. Untuk sekarang, pool statis dengan pembagian round-robin berfungsi sama baiknya untuk sebagian besar crawling terjadwal.
Bagaimana cara cepat mengonversi 50 proksi ke format Scrapy?
Tempel semuanya ke pengonversi format proksi. Alat ini akan mengubah baris ip:port:user:pass menjadi string URL atau array JSON langsung di browser.
Bangun pool scraping dengan biaya bulanan tetap
IPv4 privat di tujuh negara dan ISP statis di AS dan Vietnam, dihargai per IP dengan lalu lintas tanpa batas.
Cek harga langsung IPv4 AS