Proxy Scrapy: meta['proxy'], urutan middleware, dan rotasi
Oleh Tim Engineering ProxyV4 · Updated:
Di Scrapy, proxy diatur per permintaan melalui request.meta['proxy'] = 'http://user:pass@ip:port', dan HttpProxyMiddleware bawaan (urutan 750) mengubah bagian user:pass menjadi header Proxy-Authorization. Tambahkan downloader middleware sederhana yang berjalan sebelumnya, di 740, dan setiap permintaan yang dihasilkan spider Anda dapat memilih IP dari pool ProxyV4 Anda.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
- 1 IPUS$1,85
- 3+ IPUS$1,70
- 10+ IPUS$1,60
- 25+ IPUS$1,50
- 50+ IPUS$1,40
- 100+ IPUS$1,30
- 200+ IPUS$1,20
- 500+ IPUS$1,10
Mengapa nomor urutan middleware penting
Downloader middleware berjalan dalam urutan menaik saat permintaan dikirim keluar. HttpProxyMiddleware di 750 membaca meta['proxy'], menghapus kredensial dari URL, dan menulis header autentikasi. Jika middleware Anda sendiri mengatur proxy setelahnya, misalnya di 800, middleware bawaan sudah berjalan, kredensial tidak pernah dikonversi, dan proxy merespons 407. Mendaftarkan middleware Anda di 740 membuatnya berjalan lebih dulu.
| Pengaturan | Nilai yang disarankan | Efek |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Mengirim permintaan tersebut melalui proxy ProxyV4 yang ditentukan |
| Urutan middleware Anda | 740 | Berjalan sebelum HttpProxyMiddleware (750), sehingga data login dienkode |
CONCURRENT_REQUESTS_PER_IP | 2 hingga 4 | Membatasi permintaan paralel per IP tujuan, batas wajar agar server tujuan tidak terbebani berlebihan |
AUTOTHROTTLE_ENABLED | True | Memungkinkan Scrapy memperpanjang atau memperpendek jeda berdasarkan seberapa cepat target merespons |
Gambaran umum middleware rotasi
- Baca daftar proxy dari pengaturan di
from_crawler()dan simpan pada instance middleware - Di
process_request(), tetapkanrequest.meta['proxy'] = random.choice(self.proxies)kecuali jika permintaan tersebut sudah memilikinya - Ketika respons mengembalikan
429atau503, coba lagi dengan proxy lain dari pool alih-alih proxy yang baru saja ditolak - Gabungkan
DOWNLOAD_DELAY = 1.0denganRANDOMIZE_DOWNLOAD_DELAY = Trueagar jeda antarpermintaan bervariasi dan tidak berjalan konstan seperti metronom
Menentukan ukuran pool
Proses crawl Scrapy dapat mengirim banyak permintaan per menit, sehingga jumlah IP menentukan seberapa aman setiap IP digunakan. Bersama ProxyV4, tidak ada minimum pemesanan dan harga per IP menurun seiring bertambahnya jumlah, serta lalu lintas IPv4 privat tidak dibatasi, sehingga crawl skala besar memerlukan biaya bandwidth yang sama dengan crawl skala kecil. Setiap IP hanya digunakan oleh satu pelanggan, sehingga reputasinya murni mencerminkan aktivitas crawl Anda sendiri, bukan orang lain. Untuk merencanakan volume dan etika crawl, lihat panduan web scraping.
Langkah demi langkah
- 1
Siapkan URL proxy
Konversikan baris
ip:port:user:passProxyV4 Anda menjadihttp://user:pass@ip:portdengan konverter format proxy dan simpan di pengaturan atau sebuah berkas. - 2
Tulis ProxyPoolMiddleware
Di
middlewares.py, terapkanprocess_request(self, request, spider)agar menetapkanrequest.meta['proxy'] = random.choice(self.proxies). - 3
Daftarkan sebelum middleware bawaan
Di
settings.py, tambahkan'myproject.middlewares.ProxyPoolMiddleware': 740keDOWNLOADER_MIDDLEWARESdan aturCONCURRENT_REQUESTS_PER_IP = 2. - 4
Konfirmasikan rotasi
Akses
https://proxyv4.com/api/my-ipbeberapa kali menggunakanscrapy shellatau spider uji coba singkat dan pastikan IP yang dilaporkan berganti-ganti di seluruh pool Anda.
Pertanyaan yang sering diajukan
Middleware proxy saya di prioritas 800 mengalami error 407. Mengapa?
Di 800, middleware berjalan setelah HttpProxyMiddleware (750), sehingga user:pass di URL proxy Anda tidak pernah diubah menjadi header Proxy-Authorization. Pindahkan middleware Anda ke bawah 750, misalnya 740.
Bisakah saya mengatur proxy hanya untuk satu permintaan?
Bisa. Teruskan meta={'proxy': 'http://user:pass@ip:port'} saat Anda membuat Request; middleware bawaan akan menangani proses login khusus untuk permintaan tersebut.
Apakah crawling jutaan halaman akan mencapai batas bandwidth?
Tidak pada proxy IPv4 privat atau ISP statis ProxyV4; keduanya memiliki bandwidth tanpa batas. Batasan praktisnya adalah seberapa cepat situs target mengizinkan Anda melakukan crawl.
Sumber
IP statis tanpa batas kuota untuk crawl Scrapy
IPv4 privat di 7 negara ditambah ISP statis di Amerika Serikat dan Vietnam, dari satu IP hingga pool besar, dengan harga volume langsung.
Cek harga langsung AS