Scrapy проксита: meta['proxy'], подредба на middleware и ротация
От инженерния екип на ProxyV4 · Updated:
В Scrapy проксито се задава за всяка заявка чрез request.meta['proxy'] = 'http://user:pass@ip:port', а вграденият HttpProxyMiddleware (ред 750) преобразува частта user:pass в хедър Proxy-Authorization. Добавете малък downloader middleware, който се изпълнява преди него, с номер 740, и всяка заявка от вашия спайдър ще може да избира IP от вашия ProxyV4 пул.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP1,85 щ.д.
- 3+ IP адреса1,70 щ.д.
- 10+ IP адреса1,60 щ.д.
- 25+ IP адреса1,50 щ.д.
- 50+ IP адреса1,40 щ.д.
- 100+ IP адреса1,30 щ.д.
- 200+ IP адреса1,20 щ.д.
- 500+ IP адреса1,10 щ.д.
- 1 IP1,85 щ.д.
- 3+ IP адреса1,70 щ.д.
- 10+ IP адреса1,60 щ.д.
- 25+ IP адреса1,50 щ.д.
- 50+ IP адреса1,40 щ.д.
- 100+ IP адреса1,30 щ.д.
- 200+ IP адреса1,20 щ.д.
- 500+ IP адреса1,10 щ.д.
Защо номерът на middleware има значение
Downloader middleware модулите се изпълняват във възходящ ред при изходящите заявки. HttpProxyMiddleware с номер 750 чете meta['proxy'], премахва данните за вход от URL адреса и записва хедъра за автентикация. Ако вашият собствен middleware зададе проксито след това, например с 800, вграденият вече се е изпълнил, данните за вход никога не се преобразуват и проксито връща грешка 407. Регистрирането на вашия с 740 го поставя пръв.
| Настройка | Препоръчителна стойност | Ефект |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Изпраща конкретната заявка през посоченото ProxyV4 прокси |
| Подредба на вашия middleware | 740 | Изпълнява се преди HttpProxyMiddleware (750), така че данните за вход са кодирани |
CONCURRENT_REQUESTS_PER_IP | от 2 до 4 | Ограничава паралелните заявки към даден целеви IP адрес – разумен лимит за натоварването на всеки сървър |
AUTOTHROTTLE_ENABLED | True | Позволява на Scrapy да увеличава или намалява закъсненията според това колко бързо отговаря целта |
Принцип на middleware за ротация
- Прочетете списъка с проксита от настройките във
from_crawler()и го запазете в инстанцията на middleware - В
process_request()задайтеrequest.meta['proxy'] = random.choice(self.proxies), освен ако заявката вече няма зададено такова - Когато полученият отговор е
429или503, опитайте отново с различно прокси от пула вместо с това, което току-що е било отхвърлено - Комбинирайте
DOWNLOAD_DELAY = 1.0сRANDOMIZE_DOWNLOAD_DELAY = True, така че интервалът между заявките да варира, вместо да бъде монотонен като метроном
Оразмеряване на пула
Обхождането със Scrapy може да генерира много заявки в минута, затова броят на IP адресите определя колко ненатоварващо се използва всеки от тях. При ProxyV4 няма минимална поръчка, цената на IP намалява при по-голямо количество, а трафикът при частните IPv4 адреси е неограничен, така че голямото обхождане струва колкото малкото по отношение на трафика. Всеки IP адрес се използва само от един клиент, така че репутацията му зависи изцяло от вашето обхождане и от никой друг. За планиране на обема на обхождане и натоварването вижте ръководството за web scraping.
Стъпка по стъпка
- 1
Подгответе URL адресите на прокситата
Конвертирайте редовете
ip:port:user:passот ProxyV4 вhttp://user:pass@ip:portс конвертора на формати за проксита и ги запазете в настройките или във файл. - 2
Напишете ProxyPoolMiddleware
В
middlewares.pyимплементирайтеprocess_request(self, request, spider), така че да задаваrequest.meta['proxy'] = random.choice(self.proxies). - 3
Регистрирайте го преди вградения middleware
В
settings.pyдобавете'myproject.middlewares.ProxyPoolMiddleware': 740вDOWNLOADER_MIDDLEWARESи задайтеCONCURRENT_REQUESTS_PER_IP = 2. - 4
Потвърдете ротацията
Заредете
https://proxyv4.com/api/my-ipняколко пъти сscrapy shellили с кратък тестов спайдър и проверете дали отчетеният IP адрес се сменя измежду тези в пула ви.
Често задавани въпроси
Моят proxy middleware с приоритет 800 получава грешки 407. Защо?
При 800 той се изпълнява след HttpProxyMiddleware (750), затова данните user:pass във вашия прокси URL адрес никога не се преобразуват в хедър Proxy-Authorization. Преместете вашия middleware с номер преди 750, например 740.
Мога ли да задам проксито само за една заявка?
Да. Предайте meta={'proxy': 'http://user:pass@ip:port'}, когато създавате Request; вграденият middleware ще обработи автентикацията само за тази заявка.
Ще достигне ли обхождането на милиони страници лимит на трафика?
Не и с частните IPv4 или статичните ISP проксита на ProxyV4; и двата вида имат неограничен трафик. Единственото практическо ограничение е скоростта, с която целевият сайт ви позволява да обхождате.
Източници
Статични IP адреси без лимит на трафика за Scrapy
Частни IPv4 в 7 държави плюс статични ISP в САЩ и Виетнам, от единичен IP адрес до голям пул, с актуални отстъпки за обем.
Вижте актуалните цени за САЩ