Proxy Scrapy: meta['proxy'], urutan middleware, dan rotasi

· Updated:

Di Scrapy, proxy diatur per permintaan melalui request.meta['proxy'] = 'http://user:pass@ip:port', dan HttpProxyMiddleware bawaan (urutan 750) mengubah bagian user:pass menjadi header Proxy-Authorization. Tambahkan downloader middleware sederhana yang berjalan sebelumnya, di 740, dan setiap permintaan yang dihasilkan spider Anda dapat memilih IP dari pool ProxyV4 Anda.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 privat (datacenter)
🇺🇸 Amerika Serikat
Tersedia
Mulai dari
US$1,10 / IP / bulan
Diskon jumlah pembelian
  • 1 IPUS$1,85
  • 3+ IPUS$1,70
  • 10+ IPUS$1,60
  • 25+ IPUS$1,50
  • 50+ IPUS$1,40
  • 100+ IPUS$1,30
  • 200+ IPUS$1,20
  • 500+ IPUS$1,10
Beli Amerika Serikat
IPv4 privat (datacenter)
🇬🇧 Inggris Raya
Tersedia
Mulai dari
US$1,10 / IP / bulan
Diskon jumlah pembelian
  • 1 IPUS$1,85
  • 3+ IPUS$1,70
  • 10+ IPUS$1,60
  • 25+ IPUS$1,50
  • 50+ IPUS$1,40
  • 100+ IPUS$1,30
  • 200+ IPUS$1,20
  • 500+ IPUS$1,10
Beli Inggris Raya

Mengapa nomor urutan middleware penting

Downloader middleware berjalan dalam urutan menaik saat permintaan dikirim keluar. HttpProxyMiddleware di 750 membaca meta['proxy'], menghapus kredensial dari URL, dan menulis header autentikasi. Jika middleware Anda sendiri mengatur proxy setelahnya, misalnya di 800, middleware bawaan sudah berjalan, kredensial tidak pernah dikonversi, dan proxy merespons 407. Mendaftarkan middleware Anda di 740 membuatnya berjalan lebih dulu.

PengaturanNilai yang disarankanEfek
request.meta['proxy']'http://user:pass@ip:port'Mengirim permintaan tersebut melalui proxy ProxyV4 yang ditentukan
Urutan middleware Anda740Berjalan sebelum HttpProxyMiddleware (750), sehingga data login dienkode
CONCURRENT_REQUESTS_PER_IP2 hingga 4Membatasi permintaan paralel per IP tujuan, batas wajar agar server tujuan tidak terbebani berlebihan
AUTOTHROTTLE_ENABLEDTrueMemungkinkan Scrapy memperpanjang atau memperpendek jeda berdasarkan seberapa cepat target merespons

Gambaran umum middleware rotasi

  • Baca daftar proxy dari pengaturan di from_crawler() dan simpan pada instance middleware
  • Di process_request(), tetapkan request.meta['proxy'] = random.choice(self.proxies) kecuali jika permintaan tersebut sudah memilikinya
  • Ketika respons mengembalikan 429 atau 503, coba lagi dengan proxy lain dari pool alih-alih proxy yang baru saja ditolak
  • Gabungkan DOWNLOAD_DELAY = 1.0 dengan RANDOMIZE_DOWNLOAD_DELAY = True agar jeda antarpermintaan bervariasi dan tidak berjalan konstan seperti metronom

Menentukan ukuran pool

Proses crawl Scrapy dapat mengirim banyak permintaan per menit, sehingga jumlah IP menentukan seberapa aman setiap IP digunakan. Bersama ProxyV4, tidak ada minimum pemesanan dan harga per IP menurun seiring bertambahnya jumlah, serta lalu lintas IPv4 privat tidak dibatasi, sehingga crawl skala besar memerlukan biaya bandwidth yang sama dengan crawl skala kecil. Setiap IP hanya digunakan oleh satu pelanggan, sehingga reputasinya murni mencerminkan aktivitas crawl Anda sendiri, bukan orang lain. Untuk merencanakan volume dan etika crawl, lihat panduan web scraping.

Langkah demi langkah

  1. 1

    Siapkan URL proxy

    Konversikan baris ip:port:user:pass ProxyV4 Anda menjadi http://user:pass@ip:port dengan konverter format proxy dan simpan di pengaturan atau sebuah berkas.

  2. 2

    Tulis ProxyPoolMiddleware

    Di middlewares.py, terapkan process_request(self, request, spider) agar menetapkan request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Daftarkan sebelum middleware bawaan

    Di settings.py, tambahkan 'myproject.middlewares.ProxyPoolMiddleware': 740 ke DOWNLOADER_MIDDLEWARES dan atur CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Konfirmasikan rotasi

    Akses https://proxyv4.com/api/my-ip beberapa kali menggunakan scrapy shell atau spider uji coba singkat dan pastikan IP yang dilaporkan berganti-ganti di seluruh pool Anda.

Pertanyaan yang sering diajukan

Middleware proxy saya di prioritas 800 mengalami error 407. Mengapa?

Di 800, middleware berjalan setelah HttpProxyMiddleware (750), sehingga user:pass di URL proxy Anda tidak pernah diubah menjadi header Proxy-Authorization. Pindahkan middleware Anda ke bawah 750, misalnya 740.

Bisakah saya mengatur proxy hanya untuk satu permintaan?

Bisa. Teruskan meta={'proxy': 'http://user:pass@ip:port'} saat Anda membuat Request; middleware bawaan akan menangani proses login khusus untuk permintaan tersebut.

Apakah crawling jutaan halaman akan mencapai batas bandwidth?

Tidak pada proxy IPv4 privat atau ISP statis ProxyV4; keduanya memiliki bandwidth tanpa batas. Batasan praktisnya adalah seberapa cepat situs target mengizinkan Anda melakukan crawl.

Sumber

IP statis tanpa batas kuota untuk crawl Scrapy

IPv4 privat di 7 negara ditambah ISP statis di Amerika Serikat dan Vietnam, dari satu IP hingga pool besar, dengan harga volume langsung.

Cek harga langsung AS

Related articles

Proxy per platform
Proksi untuk web scraping: pool IP tetap dengan lalu lintas tanpa batas
Proksi web scraping untuk Python, Scrapy, Playwright, dan Selenium: pool alamat IPv4 privat dan ISP statis, bandwidth tanpa batas, harga flat per IP.
Setup proxy
Request Python melalui proxy berautentikasi, langkah demi langkah
Kirim request Python via proxy HTTP(S) berautentikasi: buat dict proxies, pasang ke Session, encode password khusus, rotasi daftar, dan periksa IP.
Setup proxy
Autentikasi proxy Playwright, satu IP statis per context
Beri setiap browser context Playwright proxy HTTP(S) terautentikasi di Node.js atau Python, sesuaikan zona waktu dan lokal dengan IP, lalu cek alamat keluar.
Alat gratis
Ubah daftar proxy ke format yang dibutuhkan tool Anda
Konversi daftar proxy di browser secara massal antara ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, array JSON, dan file impor FoxyProxy.
Proxy per platform
Proxy untuk pelacakan rank SEO: lihat halaman hasil seperti pencari lokal
Proxy pelacakan rank SEO dengan IPv4 privat di AS, Inggris, Vietnam, Jepang, dan 4 pasar lain agar peringkat, local pack, dan iklan sesuai tampilan lokal.
Proxy per platform
Proxy seller Amazon yang memberikan alamat permanen untuk setiap akun
Proxy Amazon seller untuk Seller Central, KDP & Merch: ISP statis US atau IPv4 privat UK/Jepang per akun, khusus untuk Anda dan tetap sama saat diperpanjang.
IPV4 · united states
Pool Proxy IPv4 Privat AS untuk Scraping, Pelacakan Peringkat, dan Pengecekan Iklan
Beli proxy IPv4 privat AS: IP datacenter statis Amerika, satu pengguna per IP, bandwidth tanpa batas. Dibuat untuk scraping, pelacakan SERP, dan cek iklan AS.
IPV4 · united kingdom
Proxy IPv4 Privat Inggris Raya untuk Marketplace, Pencarian, dan Kampanye
Proxy IPv4 privat UK dengan IP datacenter statis khusus satu pengguna, untuk riset eBay UK dan Amazon.co.uk, pelacakan google.co.uk, serta cek iklan UK.