Merancang scraper berbasis pool IP dedicated

Updated:

Proxy web scraping menyebarkan permintaan Anda ke banyak alamat sehingga tidak ada satu IP pun yang menanggung seluruh proses crawling. Untuk sebagian besar target, pool alamat IPv4 privat adalah opsi tercepat dan termurah; alamat ISP statis menjadi cadangan untuk situs yang memblokir rentang datacenter. Anda merotasi pool tersebut di kode Anda sendiri, yang berarti Anda selalu tahu IP mana yang mengambil halaman tertentu.

Mengapa satu IP berhenti bekerja

Situs membatasi jumlah permintaan yang dapat dikirim oleh satu alamat. Crawler yang berjalan dari koneksi kantor Anda akan cepat mencapai batas tersebut, dan pemblokirannya bisa berdampak pada semua orang di gedung yang sama. Pool proxy membagi beban kerja, menjaga jaringan Anda sendiri dari log, dan memungkinkan Anda mengambil versi halaman yang dilihat oleh pengunjung di negara tertentu.

Pengguna umum: tim e-commerce yang memantau harga dan stok kompetitor, analis yang menyusun dataset publik, agregator perjalanan, properti, dan lowongan kerja, serta developer yang menguji situs mereka dari negara lain.

Pool statis versus gateway rotasi

Dengan pool statis, daftar alamat menjadi milik Anda selama masa sewa. Penjadwal (scheduler) Anda memilih IP per permintaan atau per sesi, mencatatnya dalam log, dan mengistirahatkan alamat yang mulai terkena pembatasan laju (throttling). Setiap IP bersifat single-tenant, sehingga reputasinya hanya mencerminkan traffic Anda sendiri, dan daftar tetap ini mudah dimasukkan ke allowlist pada alat internal.

Bandwidth pada IPv4 privat dan ISP statis tidak dibatasi kuota. Halaman berukuran besar, gambar, dan proses crawling panjang dibayar per IP, bukan per gigabita.

Mencocokkan produk dengan target

TargetProdukAlasan
Katalog publik, API, sebagian besar situsPrivate IPv4Cepat, hemat biaya, tujuh negara
Situs yang menolak rentang datacenterStatic ISP, AS atau VietnamAlamat terdaftar di ISP konsumen
Crawling berskala sangat besar pada situs yang mendukung IPv6IPv6Banyak alamat dengan harga per IP yang murah; pastikan situs menerima IPv6
Halaman terlokalisasi di AsiaIPv4 privat di Jepang, Korea Selatan, Singapura, Hong Kong, atau VietnamAmbil apa yang dilihat oleh pengunjung lokal

Penentuan ukuran pool dan disiplin permintaan

  • Tentukan ukuran pool berdasarkan target laju permintaan: lebih banyak alamat dengan laju per-IP yang rendah bertahan lebih lama daripada sedikit alamat yang dipaksa bekerja keras.
  • Pertahankan satu alamat selama sesi login atau keranjang belanja berlangsung, lalu ganti.
  • Kirim header yang realistis, tambahkan jeda acak (jitter) antar-permintaan, dan lakukan backoff pada HTTP 429 serta 403.
  • Validasi respons agar halaman captcha dan halaman pemblokiran tidak pernah masuk ke dalam dataset.
  • Periksa alamat dengan proxy checker (hingga 100 sekaligus, kata sandi tidak disimpan) dan buang alamat yang lambat atau terblokir.

Menghubungkan pool ke stack Anda

Setiap alamat berfungsi melalui HTTP(S) atau SOCKS5 dengan nama pengguna dan kata sandi, yang diberikan sebagai ip:port:user:pass di menu Pesanan. Library umum dapat langsung menerimanya; lihat halaman panduan pengaturan untuk Python requests, Scrapy, Playwright, dan Puppeteer. Alat desktop tanpa pengaturan proxy dapat dirutekan melalui Proxifier. Halaman proxy web scraping menambahkan catatan khusus untuk target tertentu.

Kumpulkan data secara bertanggung jawab

Proxy mengubah asal permintaan, bukan hak Anda atas apa yang boleh dikumpulkan. Patuhi robots.txt, ketentuan situs, dan undang-undang perlindungan data yang berlaku untuk Anda, serta jangan mengumpulkan data pribadi yang tidak berhak Anda proses. Membanjiri situs dengan permintaan paralel, melakukan scraping di balik login dengan akun yang bukan milik Anda, dan segala bentuk penyalahgunaan berat juga melanggar ketentuan layanan kami.

Pertanyaan yang sering diajukan

Haruskah saya mulai dengan proxy datacenter atau ISP untuk scraping?

Datacenter. IPv4 privat lebih cepat dan tersedia di lebih banyak negara. Alihkan target ke ISP statis hanya jika situs memblokir rentang datacenter. Halaman perbandingan jenis proxy menjelaskan pertimbangannya.

Apakah layanan proxy berotasi diperlukan?

Tidak. Pool statis yang dirotasi oleh kode Anda sendiri memberi Anda kendali penuh atas alamat mana yang menangani permintaan tertentu.

Apakah traffic dibatasi kuota?

Tidak. IPv4 privat dan ISP statis memiliki bandwidth tanpa batas; Anda membayar per IP sesuai masa sewa.

Bisakah saya menggunakan SOCKS5 dengan Scrapy atau Playwright?

Bisa. Proxy berbayar mendukung HTTP(S) dan SOCKS5 dengan nama pengguna serta kata sandi; ubah pesanan ke SOCKS5 (atau keduanya) pada halamannya di dashboard. Middleware bawaan Scrapy hanya mendukung HTTP, jadi tetap gunakan HTTP di sana. Lihat HTTP vs SOCKS5.

Apakah web scraping itu legal?

Tergantung pada apa yang Anda kumpulkan, di mana Anda beroperasi, dan ketentuan situs tersebut. Mengumpulkan data publik non-pribadi sambil mematuhi robots.txt adalah praktik umum; periksa aturan yang berlaku untuk proyek Anda sendiri.

Mulai pool scraping

Pesan alamat IPv4 privat sebanyak yang dibutuhkan crawling Anda; harga per IP makin murah seiring bertambahnya jumlah, dan bandwidth tidak dibatasi kuota.

Cek harga datacenter AS

Related articles

Penggunaan
Membangun setup pelacakan peringkat yang melaporkan posisi lokal akurat
Cek peringkat Google sesuai tampilan pencari lokal: siapkan satu IP per pasar, atur ritme kueri, dan hindari kesalahan setup yang merusak data peringkat.
Proxy per platform
Proksi untuk web scraping: pool IP tetap dengan lalu lintas tanpa batas
Proksi web scraping untuk Python, Scrapy, Playwright, dan Selenium: pool alamat IPv4 privat dan ISP statis, bandwidth tanpa batas, harga flat per IP.
Basis pengetahuan
Datacenter, ISP, atau Residential: Penjelasan Tiga Jenis IP Proxy
Proxy ISP vs datacenter vs residential: pemilik IP, lokasi, masa aktif, penagihan, serta opsi terbaik untuk kelola akun, iklan, atau pengumpulan data.
Setup proxy
Proxy Scrapy: meta['proxy'], urutan middleware, dan rotasi
Gunakan proxy HTTP(S) terautentikasi di Scrapy: atur request.meta['proxy'], urutkan middleware sebelum HttpProxyMiddleware (750), rotasi IP dan atur laju crawl.
Alat gratis
Cek proxy secara massal: status, IP keluar, dan latensi
Proxy checker online gratis: tempel hingga 100 baris ip:port:user:pass untuk cek status aktif, IP keluar, latensi, serta arti dari setiap hasil yang gagal.
ISP · vietnam
Proxy ISP Statis Vietnam untuk Toko Utama dan Akun Iklan
Proxy ISP statis Vietnam dengan IP terdaftar di provider konsumen Vietnam. IP tetap untuk toko utama Shopee, TikTok Shop, akun iklan Facebook, dan Zalo OA.
ISP · united states
Proxy ISP Statis AS: IP Terdaftar Rumahan yang Tidak Pernah Berubah
Proxy ISP statis AS dengan IP terdaftar di penyedia internet konsumen. Satu IP Amerika tetap per akun untuk seller Amazon, akun iklan, dan Instagram.
Proxy per platform
Proxy untuk penjual TikTok Shop yang mengelola lebih dari satu toko
Proxy TikTok Shop untuk banyak toko: ISP statis atau IPv4 privat per toko di AS, Vietnam, UK, atau Singapura, IP tetap sama saat perpanjangan.