Scrapy proxies: meta['proxy'], σειρά middleware και rotation
Από την ομάδα μηχανικών της ProxyV4 · Updated:
Στο Scrapy, το proxy ορίζεται ανά αίτημα μέσω του request.meta['proxy'] = 'http://user:pass@ip:port', και το ενσωματωμένο HttpProxyMiddleware (σειρά 750) μετατρέπει το τμήμα user:pass σε header Proxy-Authorization. Προσθέστε ένα μικρό downloader middleware που εκτελείται πριν από αυτό, στο 740, και κάθε αίτημα που παράγει το spider σας θα μπορεί να επιλέγει μια IP από το pool σας στην ProxyV4.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
Γιατί έχει σημασία ο αριθμός του middleware
Τα downloader middlewares εκτελούνται με αύξουσα σειρά κατά την εξερχόμενη πορεία. Το HttpProxyMiddleware στο 750 διαβάζει το meta['proxy'], αφαιρεί τα διαπιστευτήρια από το URL και γράφει το auth header. Αν το δικό σας middleware ορίσει το proxy αργότερα, για παράδειγμα στο 800, το ενσωματωμένο έχει ήδη εκτελεστεί, τα διαπιστευτήρια δεν μετατρέπονται ποτέ και το proxy απαντά με 407. Δηλώνοντας το δικό σας στο 740, εκτελείται πρώτο.
| Ρύθμιση | Προτεινόμενη τιμή | Αποτέλεσμα |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Στέλνει το συγκεκριμένο αίτημα μέσω του επιλεγμένου ProxyV4 proxy |
| Σειρά του middleware σας | 740 | Εκτελείται πριν από το HttpProxyMiddleware (750), ώστε τα στοιχεία σύνδεσης να κωδικοποιούνται |
CONCURRENT_REQUESTS_PER_IP | 2 έως 4 | Περιορίζει τα παράλληλα αιτήματα ανά IP προορισμού, θέτοντας ένα ευγενικό όριο στην επιβάρυνση κάθε διακομιστή |
AUTOTHROTTLE_ENABLED | True | Επιτρέπει στο Scrapy να αυξομειώνει τις καθυστερήσεις ανάλογα με την ταχύτητα απόκρισης του στόχου |
Συνοπτική δομή ενός rotation middleware
- Διαβάστε τη λίστα των proxies από τα settings στη
from_crawler()και διατηρήστε την στο instance του middleware - Στη μέθοδο
process_request(), αντιστοιχίστεrequest.meta['proxy'] = random.choice(self.proxies), εκτός αν το αίτημα περιέχει ήδη κάποιο - Όταν μια απόκριση επιστρέφει
429ή503, επαναλάβετε το αίτημα με διαφορετικό proxy από το pool αντί για αυτό που μόλις απορρίφθηκε - Συνδυάστε το
DOWNLOAD_DELAY = 1.0με τοRANDOMIZE_DOWNLOAD_DELAY = True, ώστε το διάστημα μεταξύ των αιτημάτων να μεταβάλλεται αντί να χτυπά σαν μετρονόμος
Καθορισμός του μεγέθους του pool
Ένα crawl στο Scrapy μπορεί να στείλει πολλά αιτήματα ανά λεπτό, επομένως ο αριθμός των IPs καθορίζει πόσο ήπια χρησιμοποιείται η καθεμία. Στην ProxyV4 δεν υπάρχει ελάχιστη παραγγελία, η τιμή ανά IP μειώνεται καθώς αυξάνεται η ποσότητα και η κίνηση σε private IPv4 δεν καταμετράται, οπότε ένα μεγάλο crawl κοστίζει το ίδιο με ένα μικρό όσον αφορά το bandwidth. Κάθε IP χρησιμοποιείται αποκλειστικά από έναν πελάτη, συνεπώς η φήμη της αντικατοπτρίζει μόνο το δικό σας crawl και κανενός άλλου. Για τον προγραμματισμό του όγκου και της ευγένειας του crawl, δείτε τον οδηγό web scraping.
Βήμα προς βήμα
- 1
Προετοιμάστε τα proxy URLs
Μετατρέψτε τις γραμμές
ip:port:user:passτης ProxyV4 σεhttp://user:pass@ip:portμε τον μετατροπέα μορφής proxy και αποθηκεύστε τες στα settings ή σε ένα αρχείο. - 2
Δημιουργήστε το ProxyPoolMiddleware
Στο
middlewares.py, υλοποιήστε τη μέθοδοprocess_request(self, request, spider)ώστε να ορίζειrequest.meta['proxy'] = random.choice(self.proxies). - 3
Δηλώστε το πριν από το ενσωματωμένο
Στο
settings.py, προσθέστε το'myproject.middlewares.ProxyPoolMiddleware': 740στοDOWNLOADER_MIDDLEWARESκαι ορίστεCONCURRENT_REQUESTS_PER_IP = 2. - 4
Επιβεβαιώστε την εναλλαγή
Κάντε ανάκτηση του
https://proxyv4.com/api/my-ipμερικές φορές με τοscrapy shellή με ένα σύντομο δοκιμαστικό spider και ελέγξτε ότι η IP που εμφανίζεται αλλάζει μέσα από το pool σας.
Συχνές ερωτήσεις
Το proxy middleware μου με προτεραιότητα 800 λαμβάνει σφάλματα 407. Γιατί;
Στο 800 εκτελείται μετά το HttpProxyMiddleware (750), επομένως το user:pass στο proxy URL σας δεν μετατρέπεται ποτέ σε header Proxy-Authorization. Μετακινήστε το middleware σας κάτω από το 750, π.χ. στο 740.
Μπορώ να ορίσω το proxy μόνο για ένα αίτημα;
Ναι. Περάστε το meta={'proxy': 'http://user:pass@ip:port'} όταν δημιουργείτε το Request. Το ενσωματωμένο middleware θα διαχειριστεί τα στοιχεία σύνδεσης μόνο για το συγκεκριμένο αίτημα.
Θα φτάσει ένα crawl εκατομμυρίων σελίδων σε όριο bandwidth;
Όχι στα private IPv4 ή static ISP proxies της ProxyV4. Και τα δύο διαθέτουν απεριόριστο bandwidth. Το πρακτικό όριο είναι το πόσο γρήγορα σας επιτρέπει ο στόχος να κάνετε crawl.
Πηγές
Static IPs χωρίς ογκοχρέωση για Scrapy crawls
Private IPv4 σε 7 χώρες και static ISP σε ΗΠΑ και Βιετνάμ, από μία μεμονωμένη IP έως ένα μεγάλο pool, με δυναμική τιμολόγηση βάσει ποσότητας.
Δείτε τις live τιμές για ΗΠΑ