ProxyV4

Scrapy proxies: meta['proxy'], σειρά middleware και rotation

· Updated:

Στο Scrapy, το proxy ορίζεται ανά αίτημα μέσω του request.meta['proxy'] = 'http://user:pass@ip:port', και το ενσωματωμένο HttpProxyMiddleware (σειρά 750) μετατρέπει το τμήμα user:pass σε header Proxy-Authorization. Προσθέστε ένα μικρό downloader middleware που εκτελείται πριν από αυτό, στο 740, και κάθε αίτημα που παράγει το spider σας θα μπορεί να επιλέγει μια IP από το pool σας στην ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Private IPv4 (datacenter)
🇺🇸 Ηνωμένες Πολιτείες
Σε απόθεμα
Από
1,10 $ / IP / μήνα
Εκπτώσεις ποσότητας
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Αγορά Ηνωμένες Πολιτείες
Private IPv4 (datacenter)
🇬🇧 United Kingdom
Σε απόθεμα
Από
1,10 $ / IP / μήνα
Εκπτώσεις ποσότητας
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Αγορά United Kingdom
Proxies ανά πλατφόρμα:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Γιατί έχει σημασία ο αριθμός του middleware

Τα downloader middlewares εκτελούνται με αύξουσα σειρά κατά την εξερχόμενη πορεία. Το HttpProxyMiddleware στο 750 διαβάζει το meta['proxy'], αφαιρεί τα διαπιστευτήρια από το URL και γράφει το auth header. Αν το δικό σας middleware ορίσει το proxy αργότερα, για παράδειγμα στο 800, το ενσωματωμένο έχει ήδη εκτελεστεί, τα διαπιστευτήρια δεν μετατρέπονται ποτέ και το proxy απαντά με 407. Δηλώνοντας το δικό σας στο 740, εκτελείται πρώτο.

ΡύθμισηΠροτεινόμενη τιμήΑποτέλεσμα
request.meta['proxy']'http://user:pass@ip:port'Στέλνει το συγκεκριμένο αίτημα μέσω του επιλεγμένου ProxyV4 proxy
Σειρά του middleware σας740Εκτελείται πριν από το HttpProxyMiddleware (750), ώστε τα στοιχεία σύνδεσης να κωδικοποιούνται
CONCURRENT_REQUESTS_PER_IP2 έως 4Περιορίζει τα παράλληλα αιτήματα ανά IP προορισμού, θέτοντας ένα ευγενικό όριο στην επιβάρυνση κάθε διακομιστή
AUTOTHROTTLE_ENABLEDTrueΕπιτρέπει στο Scrapy να αυξομειώνει τις καθυστερήσεις ανάλογα με την ταχύτητα απόκρισης του στόχου

Συνοπτική δομή ενός rotation middleware

  • Διαβάστε τη λίστα των proxies από τα settings στη from_crawler() και διατηρήστε την στο instance του middleware
  • Στη μέθοδο process_request(), αντιστοιχίστε request.meta['proxy'] = random.choice(self.proxies), εκτός αν το αίτημα περιέχει ήδη κάποιο
  • Όταν μια απόκριση επιστρέφει 429 ή 503, επαναλάβετε το αίτημα με διαφορετικό proxy από το pool αντί για αυτό που μόλις απορρίφθηκε
  • Συνδυάστε το DOWNLOAD_DELAY = 1.0 με το RANDOMIZE_DOWNLOAD_DELAY = True, ώστε το διάστημα μεταξύ των αιτημάτων να μεταβάλλεται αντί να χτυπά σαν μετρονόμος

Καθορισμός του μεγέθους του pool

Ένα crawl στο Scrapy μπορεί να στείλει πολλά αιτήματα ανά λεπτό, επομένως ο αριθμός των IPs καθορίζει πόσο ήπια χρησιμοποιείται η καθεμία. Στην ProxyV4 δεν υπάρχει ελάχιστη παραγγελία, η τιμή ανά IP μειώνεται καθώς αυξάνεται η ποσότητα και η κίνηση σε private IPv4 δεν καταμετράται, οπότε ένα μεγάλο crawl κοστίζει το ίδιο με ένα μικρό όσον αφορά το bandwidth. Κάθε IP χρησιμοποιείται αποκλειστικά από έναν πελάτη, συνεπώς η φήμη της αντικατοπτρίζει μόνο το δικό σας crawl και κανενός άλλου. Για τον προγραμματισμό του όγκου και της ευγένειας του crawl, δείτε τον οδηγό web scraping.

Βήμα προς βήμα

  1. 1

    Προετοιμάστε τα proxy URLs

    Μετατρέψτε τις γραμμές ip:port:user:pass της ProxyV4 σε http://user:pass@ip:port με τον μετατροπέα μορφής proxy και αποθηκεύστε τες στα settings ή σε ένα αρχείο.

  2. 2

    Δημιουργήστε το ProxyPoolMiddleware

    Στο middlewares.py, υλοποιήστε τη μέθοδο process_request(self, request, spider) ώστε να ορίζει request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Δηλώστε το πριν από το ενσωματωμένο

    Στο settings.py, προσθέστε το 'myproject.middlewares.ProxyPoolMiddleware': 740 στο DOWNLOADER_MIDDLEWARES και ορίστε CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Επιβεβαιώστε την εναλλαγή

    Κάντε ανάκτηση του https://proxyv4.com/api/my-ip μερικές φορές με το scrapy shell ή με ένα σύντομο δοκιμαστικό spider και ελέγξτε ότι η IP που εμφανίζεται αλλάζει μέσα από το pool σας.

Συχνές ερωτήσεις

Το proxy middleware μου με προτεραιότητα 800 λαμβάνει σφάλματα 407. Γιατί;

Στο 800 εκτελείται μετά το HttpProxyMiddleware (750), επομένως το user:pass στο proxy URL σας δεν μετατρέπεται ποτέ σε header Proxy-Authorization. Μετακινήστε το middleware σας κάτω από το 750, π.χ. στο 740.

Μπορώ να ορίσω το proxy μόνο για ένα αίτημα;

Ναι. Περάστε το meta={'proxy': 'http://user:pass@ip:port'} όταν δημιουργείτε το Request. Το ενσωματωμένο middleware θα διαχειριστεί τα στοιχεία σύνδεσης μόνο για το συγκεκριμένο αίτημα.

Θα φτάσει ένα crawl εκατομμυρίων σελίδων σε όριο bandwidth;

Όχι στα private IPv4 ή static ISP proxies της ProxyV4. Και τα δύο διαθέτουν απεριόριστο bandwidth. Το πρακτικό όριο είναι το πόσο γρήγορα σας επιτρέπει ο στόχος να κάνετε crawl.

Πηγές

Static IPs χωρίς ογκοχρέωση για Scrapy crawls

Private IPv4 σε 7 χώρες και static ISP σε ΗΠΑ και Βιετνάμ, από μία μεμονωμένη IP έως ένα μεγάλο pool, με δυναμική τιμολόγηση βάσει ποσότητας.

Δείτε τις live τιμές για ΗΠΑ

Related articles

Proxies ανά πλατφόρμα
Proxies για web scraping: σταθερό pool από IP με απεριόριστη κίνηση
Web scraping proxies για Python, Scrapy, Playwright και Selenium: pool private IPv4 και static ISP, απεριόριστο bandwidth, σταθερή χρέωση ανά IP.
Ρύθμιση proxy
Python requests μέσω authenticated proxy, βήμα προς βήμα
Χρησιμοποιήστε authenticated proxy στο Python requests: φτιάξτε το proxies dict, συνδέστε το σε Session, διαχειριστείτε κωδικούς και ελέγξτε την IP.
Ρύθμιση proxy
Ταυτοποίηση proxy στο Playwright: μία στατική IP ανά context
Ορίστε ξεχωριστό HTTP(S) proxy με ταυτοποίηση ανά context στο Playwright (Node.js/Python), ρυθμίστε timezone και locale και επιβεβαιώστε την IP εξόδου.
Δωρεάν εργαλεία
Μετατρέψτε μια λίστα proxy στη μορφή που απαιτεί το εργαλείο σας
Μαζική μετατροπή λιστών proxy στο πρόγραμμα περιήγησης μεταξύ ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, πινάκων JSON και FoxyProxy.
Proxies ανά πλατφόρμα
Proxies για SEO rank tracking: δείτε τη σελίδα αποτελεσμάτων που βλέπει ένας τοπικός χρήστης
SEO rank tracking proxies με private IPv4 σε ΗΠΑ, ΗΒ, Βιετνάμ, Ιαπωνία και 4 ακόμη αγορές: κατατάξεις, local packs και διαφημίσεις όπως τις βλέπουν οι ντόπιοι.
Proxies ανά πλατφόρμα
Amazon seller proxies που δίνουν σε κάθε λογαριασμό μια μόνιμη διεύθυνση
Amazon seller proxies για Seller Central, KDP και Merch: στατική ISP ΗΠΑ ή private IPv4 UK/Ιαπωνίας ανά λογαριασμό, μόνο για εσάς, σταθερή σε κάθε ανανέωση.
IPV4 · united states
Δεξαμενή ιδιωτικών IPv4 Proxy ΗΠΑ για εξαγωγή δεδομένων, παρακολούθηση κατάταξης και ελέγχους διαφημίσεων
Αγοράστε private IPv4 proxy ΗΠΑ: στατικές datacenter IPs, ένας χρήστης ανά IP, απεριόριστο bandwidth. Για scraping, SERP tracking και έλεγχο διαφημίσεων ΗΠΑ.
IPV4 · united kingdom
Ιδιωτικό IPv4 Proxy Ηνωμένου Βασιλείου για ηλεκτρονικές αγορές, αναζήτηση και καμπάνιες
Private IPv4 proxy ΗΒ με στατική datacenter IP για έναν χρήστη: έρευνα σε eBay UK και Amazon.co.uk, tracking στο google.co.uk και έλεγχο διαφημίσεων.