Merancang scraper berbasis pool IP dedicated
Updated:
Proxy web scraping menyebarkan permintaan Anda ke banyak alamat sehingga tidak ada satu IP pun yang menanggung seluruh proses crawling. Untuk sebagian besar target, pool alamat IPv4 privat adalah opsi tercepat dan termurah; alamat ISP statis menjadi cadangan untuk situs yang memblokir rentang datacenter. Anda merotasi pool tersebut di kode Anda sendiri, yang berarti Anda selalu tahu IP mana yang mengambil halaman tertentu.
Mengapa satu IP berhenti bekerja
Situs membatasi jumlah permintaan yang dapat dikirim oleh satu alamat. Crawler yang berjalan dari koneksi kantor Anda akan cepat mencapai batas tersebut, dan pemblokirannya bisa berdampak pada semua orang di gedung yang sama. Pool proxy membagi beban kerja, menjaga jaringan Anda sendiri dari log, dan memungkinkan Anda mengambil versi halaman yang dilihat oleh pengunjung di negara tertentu.
Pengguna umum: tim e-commerce yang memantau harga dan stok kompetitor, analis yang menyusun dataset publik, agregator perjalanan, properti, dan lowongan kerja, serta developer yang menguji situs mereka dari negara lain.
Pool statis versus gateway rotasi
Dengan pool statis, daftar alamat menjadi milik Anda selama masa sewa. Penjadwal (scheduler) Anda memilih IP per permintaan atau per sesi, mencatatnya dalam log, dan mengistirahatkan alamat yang mulai terkena pembatasan laju (throttling). Setiap IP bersifat single-tenant, sehingga reputasinya hanya mencerminkan traffic Anda sendiri, dan daftar tetap ini mudah dimasukkan ke allowlist pada alat internal.
Bandwidth pada IPv4 privat dan ISP statis tidak dibatasi kuota. Halaman berukuran besar, gambar, dan proses crawling panjang dibayar per IP, bukan per gigabita.
Mencocokkan produk dengan target
| Target | Produk | Alasan |
|---|---|---|
| Katalog publik, API, sebagian besar situs | Private IPv4 | Cepat, hemat biaya, tujuh negara |
| Situs yang menolak rentang datacenter | Static ISP, AS atau Vietnam | Alamat terdaftar di ISP konsumen |
| Crawling berskala sangat besar pada situs yang mendukung IPv6 | IPv6 | Banyak alamat dengan harga per IP yang murah; pastikan situs menerima IPv6 |
| Halaman terlokalisasi di Asia | IPv4 privat di Jepang, Korea Selatan, Singapura, Hong Kong, atau Vietnam | Ambil apa yang dilihat oleh pengunjung lokal |
Penentuan ukuran pool dan disiplin permintaan
- Tentukan ukuran pool berdasarkan target laju permintaan: lebih banyak alamat dengan laju per-IP yang rendah bertahan lebih lama daripada sedikit alamat yang dipaksa bekerja keras.
- Pertahankan satu alamat selama sesi login atau keranjang belanja berlangsung, lalu ganti.
- Kirim header yang realistis, tambahkan jeda acak (jitter) antar-permintaan, dan lakukan backoff pada HTTP 429 serta 403.
- Validasi respons agar halaman captcha dan halaman pemblokiran tidak pernah masuk ke dalam dataset.
- Periksa alamat dengan proxy checker (hingga 100 sekaligus, kata sandi tidak disimpan) dan buang alamat yang lambat atau terblokir.
Menghubungkan pool ke stack Anda
Setiap alamat berfungsi melalui HTTP(S) atau SOCKS5 dengan nama pengguna dan kata sandi, yang diberikan sebagai ip:port:user:pass di menu Pesanan. Library umum dapat langsung menerimanya; lihat halaman panduan pengaturan untuk Python requests, Scrapy, Playwright, dan Puppeteer. Alat desktop tanpa pengaturan proxy dapat dirutekan melalui Proxifier. Halaman proxy web scraping menambahkan catatan khusus untuk target tertentu.
Kumpulkan data secara bertanggung jawab
Proxy mengubah asal permintaan, bukan hak Anda atas apa yang boleh dikumpulkan. Patuhi robots.txt, ketentuan situs, dan undang-undang perlindungan data yang berlaku untuk Anda, serta jangan mengumpulkan data pribadi yang tidak berhak Anda proses. Membanjiri situs dengan permintaan paralel, melakukan scraping di balik login dengan akun yang bukan milik Anda, dan segala bentuk penyalahgunaan berat juga melanggar ketentuan layanan kami.
Pertanyaan yang sering diajukan
Haruskah saya mulai dengan proxy datacenter atau ISP untuk scraping?
Datacenter. IPv4 privat lebih cepat dan tersedia di lebih banyak negara. Alihkan target ke ISP statis hanya jika situs memblokir rentang datacenter. Halaman perbandingan jenis proxy menjelaskan pertimbangannya.
Apakah layanan proxy berotasi diperlukan?
Tidak. Pool statis yang dirotasi oleh kode Anda sendiri memberi Anda kendali penuh atas alamat mana yang menangani permintaan tertentu.
Apakah traffic dibatasi kuota?
Tidak. IPv4 privat dan ISP statis memiliki bandwidth tanpa batas; Anda membayar per IP sesuai masa sewa.
Bisakah saya menggunakan SOCKS5 dengan Scrapy atau Playwright?
Bisa. Proxy berbayar mendukung HTTP(S) dan SOCKS5 dengan nama pengguna serta kata sandi; ubah pesanan ke SOCKS5 (atau keduanya) pada halamannya di dashboard. Middleware bawaan Scrapy hanya mendukung HTTP, jadi tetap gunakan HTTP di sana. Lihat HTTP vs SOCKS5.
Apakah web scraping itu legal?
Tergantung pada apa yang Anda kumpulkan, di mana Anda beroperasi, dan ketentuan situs tersebut. Mengumpulkan data publik non-pribadi sambil mematuhi robots.txt adalah praktik umum; periksa aturan yang berlaku untuk proyek Anda sendiri.
Mulai pool scraping
Pesan alamat IPv4 privat sebanyak yang dibutuhkan crawling Anda; harga per IP makin murah seiring bertambahnya jumlah, dan bandwidth tidak dibatasi kuota.
Cek harga datacenter AS