ProxyV4

Proksi Scrapy: meta['proxy'], susunan middleware dan giliran

· Updated:

Dalam Scrapy, proksi ditetapkan bagi setiap permintaan melalui request.meta['proxy'] = 'http://user:pass@ip:port', dan HttpProxyMiddleware bawaan (urutan 750) menukar bahagian user:pass kepada pengepala Proxy-Authorization. Tambah middleware pemuat turun kecil yang berjalan sebelumnya pada 740, dan setiap permintaan yang dihasilkan spider anda boleh memilih IP daripada kolam ProxyV4 anda.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 peribadi (pusat data)
🇺🇸 Amerika Syarikat
Ada stok
Daripada
USD 1.10 / IP / bulan
Diskaun kuantiti
  • 1 IPUSD 1.85
  • 3+ IPUSD 1.70
  • 10+ IPUSD 1.60
  • 25+ IPUSD 1.50
  • 50+ IPUSD 1.40
  • 100+ IPUSD 1.30
  • 200+ IPUSD 1.20
  • 500+ IPUSD 1.10
Beli Amerika Syarikat
IPv4 peribadi (pusat data)
🇬🇧 United Kingdom
Ada stok
Daripada
USD 1.10 / IP / bulan
Diskaun kuantiti
  • 1 IPUSD 1.85
  • 3+ IPUSD 1.70
  • 10+ IPUSD 1.60
  • 25+ IPUSD 1.50
  • 50+ IPUSD 1.40
  • 100+ IPUSD 1.30
  • 200+ IPUSD 1.20
  • 500+ IPUSD 1.10
Beli United Kingdom

Mengapa nombor middleware penting

Middleware pemuat turun berjalan mengikut urutan menaik semasa keluar. HttpProxyMiddleware pada 750 membaca meta['proxy'], membuang kelayakan daripada URL dan menulis pengepala pengesahan. Jika middleware anda sendiri menetapkan proksi selepas itu, contohnya pada 800, middleware bawaan telah pun berjalan, kelayakan tidak pernah ditukar, dan proksi membalas 407. Mendaftarkan middleware anda pada 740 meletakkannya di hadapan.

TetapanNilai dicadangkanKesan
request.meta['proxy']'http://user:pass@ip:port'Menghantar permintaan tersebut melalui proksi ProxyV4 yang diberikan
Urutan middleware anda740Berjalan sebelum HttpProxyMiddleware (750), jadi log masuk dikodkan
CONCURRENT_REQUESTS_PER_IP2 hingga 4Mengehadkan permintaan selari bagi setiap IP destinasi, had sopan terhadap kekerapan setiap pelayan diakses
AUTOTHROTTLE_ENABLEDTrueMembolehkan Scrapy memanjangkan atau memendekkan kelewatan berdasarkan kepantasan sasaran bertindak balas

Garis kasar middleware giliran

  • Baca senarai proksi daripada tetapan dalam from_crawler() dan simpannya pada tika middleware
  • Dalam process_request(), tetapkan request.meta['proxy'] = random.choice(self.proxies) melainkan permintaan tersebut sudah membawanya
  • Apabila respons kembali dengan 429 atau 503, cuba semula dengan proksi berbeza daripada kolam dan bukannya proksi yang baru sahaja ditolak
  • Gabungkan DOWNLOAD_DELAY = 1.0 dengan RANDOMIZE_DOWNLOAD_DELAY = True supaya jurang antara permintaan berbeza-beza dan bukannya berdetik seperti metronom

Menentukan saiz kolam

Rayapan Scrapy boleh menghantar banyak permintaan setiap minit, jadi jumlah IP menentukan tahap penggunaan berhemah bagi setiap IP. Dengan ProxyV4 tiada pesanan minimum dan harga setiap IP menurun apabila kuantiti meningkat, dan trafik IPv4 peribadi tidak dihadkan kuota, jadi kos lebar jalur rayapan besar adalah sama seperti rayapan kecil. Setiap IP digunakan oleh seorang pelanggan sahaja, jadi reputasinya mencerminkan rayapan anda sendiri dan bukan orang lain. Untuk merancang volum dan kesopanan rayapan, lihat panduan pengikisan web.

Langkah demi langkah

  1. 1

    Sediakan URL proksi

    Tukar baris ip:port:user:pass ProxyV4 anda kepada http://user:pass@ip:port dengan penukar format proksi dan simpannya dalam tetapan atau fail.

  2. 2

    Tulis ProxyPoolMiddleware

    Dalam middlewares.py, laksanakan process_request(self, request, spider) supaya ia menetapkan request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Daftarkannya sebelum middleware bawaan

    Dalam settings.py, tambah 'myproject.middlewares.ProxyPoolMiddleware': 740 ke dalam DOWNLOADER_MIDDLEWARES dan tetapkan CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Sahkan giliran

    Ambil https://proxyv4.com/api/my-ip beberapa kali dengan scrapy shell atau spider ujian pendek dan periksa bahawa IP yang dilaporkan berubah merentasi kolam anda.

Soalan lazim

Middleware proksi saya pada keutamaan 800 mendapat ralat 407. Mengapa?

Pada 800 ia berjalan selepas HttpProxyMiddleware (750), jadi user:pass dalam URL proksi anda tidak pernah ditukar kepada pengepala Proxy-Authorization. Alihkan middleware anda ke bawah 750, cth. 740.

Bolehkah saya menetapkan proksi untuk satu permintaan sahaja?

Ya. Hantar meta={'proxy': 'http://user:pass@ip:port'} semasa anda mencipta Request; middleware bawaan mengendalikan log masuk untuk permintaan itu sahaja.

Adakah rayapan berjuta-juta halaman akan mencapai had lebar jalur?

Tidak pada proksi IPv4 peribadi atau ISP statik ProxyV4; kedua-duanya mempunyai lebar jalur tanpa had. Had praktikal ialah seberapa pantas sasaran membenarkan anda merayap.

Sumber

IP statik tanpa had kuota untuk rayapan Scrapy

IPv4 peribadi di 7 negara serta ISP statik di AS dan Vietnam, daripada satu IP kepada kolam yang besar, dengan harga volum langsung.

Semak harga langsung AS

Related articles

Proksi mengikut platform
Proksi untuk web scraping: kolam IP tetap dengan trafik tanpa had
Proksi web scraping untuk Python, Scrapy, Playwright dan Selenium: kolam alamat IPv4 peribadi dan ISP statik, lebar jalur tanpa had, harga tetap setiap IP.
Persediaan proksi
Permintaan Python melalui proksi dengan pengesahan, langkah demi langkah
Hantar permintaan Python melalui proksi HTTP(S) disahkan: bina dict proxies, sambung ke Session, enkod kata laluan ganjil, gilirkan senarai dan semak IP.
Persediaan proksi
Pengesahsahihan proksi Playwright, satu IP statik setiap konteks
Berikan setiap konteks pelayar Playwright proksi HTTP(S) disahkan tersendiri dalam Node.js atau Python, padankan zon masa dan lokaliti, serta sahkan IP keluar.
Alat percuma
Tukar format senarai proksi mengikut keperluan alatan anda
Tukar senarai proksi pukal dalam pelayar antara ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, tatasusunan JSON serta fail import FoxyProxy.
Proksi mengikut platform
Proksi untuk penjejakan kedudukan SEO: lihat halaman hasil carian yang dilihat pencari tempatan
Proksi jejak ranking SEO dengan IPv4 peribadi di AS, UK, Vietnam, Jepun dan 4 pasaran lagi agar kedudukan, pek tempatan serta iklan sepadan paparan tempatan.
Proksi mengikut platform
Proksi penjual Amazon yang memberikan alamat kekal kepada setiap akaun
Proksi penjual Amazon untuk Seller Central, KDP dan Merch: ISP statik AS atau IPv4 peribadi UK/Jepun setiap akaun, disewa khusus dan kekal semasa pembaharuan.
IPV4 · united states
Kumpulan Proksi IPv4 Peribadi AS untuk Pengikisan, Penjejakan Kedudukan dan Semakan Iklan
Beli proksi IPv4 peribadi AS: IP pusat data Amerika statik, satu pelanggan per IP, data tanpa had. Sesuai untuk pengikisan, jejak SERP & semakan iklan AS.
IPV4 · united kingdom
Proksi IPv4 Peribadi UK untuk Pasaran, Carian dan Kempen
Proksi IPv4 peribadi UK dengan IP pusat data British statik untuk satu pelanggan, sesuai untuk kajian eBay UK, Amazon.co.uk, semakan google.co.uk dan iklan UK.