Proksi Scrapy: meta['proxy'], susunan middleware dan giliran
Oleh Pasukan Kejuruteraan ProxyV4 · Updated:
Dalam Scrapy, proksi ditetapkan bagi setiap permintaan melalui request.meta['proxy'] = 'http://user:pass@ip:port', dan HttpProxyMiddleware bawaan (urutan 750) menukar bahagian user:pass kepada pengepala Proxy-Authorization. Tambah middleware pemuat turun kecil yang berjalan sebelumnya pada 740, dan setiap permintaan yang dihasilkan spider anda boleh memilih IP daripada kolam ProxyV4 anda.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IPUSD 1.85
- 3+ IPUSD 1.70
- 10+ IPUSD 1.60
- 25+ IPUSD 1.50
- 50+ IPUSD 1.40
- 100+ IPUSD 1.30
- 200+ IPUSD 1.20
- 500+ IPUSD 1.10
- 1 IPUSD 1.85
- 3+ IPUSD 1.70
- 10+ IPUSD 1.60
- 25+ IPUSD 1.50
- 50+ IPUSD 1.40
- 100+ IPUSD 1.30
- 200+ IPUSD 1.20
- 500+ IPUSD 1.10
Mengapa nombor middleware penting
Middleware pemuat turun berjalan mengikut urutan menaik semasa keluar. HttpProxyMiddleware pada 750 membaca meta['proxy'], membuang kelayakan daripada URL dan menulis pengepala pengesahan. Jika middleware anda sendiri menetapkan proksi selepas itu, contohnya pada 800, middleware bawaan telah pun berjalan, kelayakan tidak pernah ditukar, dan proksi membalas 407. Mendaftarkan middleware anda pada 740 meletakkannya di hadapan.
| Tetapan | Nilai dicadangkan | Kesan |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Menghantar permintaan tersebut melalui proksi ProxyV4 yang diberikan |
| Urutan middleware anda | 740 | Berjalan sebelum HttpProxyMiddleware (750), jadi log masuk dikodkan |
CONCURRENT_REQUESTS_PER_IP | 2 hingga 4 | Mengehadkan permintaan selari bagi setiap IP destinasi, had sopan terhadap kekerapan setiap pelayan diakses |
AUTOTHROTTLE_ENABLED | True | Membolehkan Scrapy memanjangkan atau memendekkan kelewatan berdasarkan kepantasan sasaran bertindak balas |
Garis kasar middleware giliran
- Baca senarai proksi daripada tetapan dalam
from_crawler()dan simpannya pada tika middleware - Dalam
process_request(), tetapkanrequest.meta['proxy'] = random.choice(self.proxies)melainkan permintaan tersebut sudah membawanya - Apabila respons kembali dengan
429atau503, cuba semula dengan proksi berbeza daripada kolam dan bukannya proksi yang baru sahaja ditolak - Gabungkan
DOWNLOAD_DELAY = 1.0denganRANDOMIZE_DOWNLOAD_DELAY = Truesupaya jurang antara permintaan berbeza-beza dan bukannya berdetik seperti metronom
Menentukan saiz kolam
Rayapan Scrapy boleh menghantar banyak permintaan setiap minit, jadi jumlah IP menentukan tahap penggunaan berhemah bagi setiap IP. Dengan ProxyV4 tiada pesanan minimum dan harga setiap IP menurun apabila kuantiti meningkat, dan trafik IPv4 peribadi tidak dihadkan kuota, jadi kos lebar jalur rayapan besar adalah sama seperti rayapan kecil. Setiap IP digunakan oleh seorang pelanggan sahaja, jadi reputasinya mencerminkan rayapan anda sendiri dan bukan orang lain. Untuk merancang volum dan kesopanan rayapan, lihat panduan pengikisan web.
Langkah demi langkah
- 1
Sediakan URL proksi
Tukar baris
ip:port:user:passProxyV4 anda kepadahttp://user:pass@ip:portdengan penukar format proksi dan simpannya dalam tetapan atau fail. - 2
Tulis ProxyPoolMiddleware
Dalam
middlewares.py, laksanakanprocess_request(self, request, spider)supaya ia menetapkanrequest.meta['proxy'] = random.choice(self.proxies). - 3
Daftarkannya sebelum middleware bawaan
Dalam
settings.py, tambah'myproject.middlewares.ProxyPoolMiddleware': 740ke dalamDOWNLOADER_MIDDLEWARESdan tetapkanCONCURRENT_REQUESTS_PER_IP = 2. - 4
Sahkan giliran
Ambil
https://proxyv4.com/api/my-ipbeberapa kali denganscrapy shellatau spider ujian pendek dan periksa bahawa IP yang dilaporkan berubah merentasi kolam anda.
Soalan lazim
Middleware proksi saya pada keutamaan 800 mendapat ralat 407. Mengapa?
Pada 800 ia berjalan selepas HttpProxyMiddleware (750), jadi user:pass dalam URL proksi anda tidak pernah ditukar kepada pengepala Proxy-Authorization. Alihkan middleware anda ke bawah 750, cth. 740.
Bolehkah saya menetapkan proksi untuk satu permintaan sahaja?
Ya. Hantar meta={'proxy': 'http://user:pass@ip:port'} semasa anda mencipta Request; middleware bawaan mengendalikan log masuk untuk permintaan itu sahaja.
Adakah rayapan berjuta-juta halaman akan mencapai had lebar jalur?
Tidak pada proksi IPv4 peribadi atau ISP statik ProxyV4; kedua-duanya mempunyai lebar jalur tanpa had. Had praktikal ialah seberapa pantas sasaran membenarkan anda merayap.
Sumber
IP statik tanpa had kuota untuk rayapan Scrapy
IPv4 peribadi di 7 negara serta ISP statik di AS dan Vietnam, daripada satu IP kepada kolam yang besar, dengan harga volum langsung.
Semak harga langsung AS