ProxyV4

Scrapy проксита: meta['proxy'], подредба на middleware и ротация

· Updated:

В Scrapy проксито се задава за всяка заявка чрез request.meta['proxy'] = 'http://user:pass@ip:port', а вграденият HttpProxyMiddleware (ред 750) преобразува частта user:pass в хедър Proxy-Authorization. Добавете малък downloader middleware, който се изпълнява преди него, с номер 740, и всяка заявка от вашия спайдър ще може да избира IP от вашия ProxyV4 пул.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
Частни IPv4 (дейтацентър)
🇺🇸 Съединени щати
В наличност
От
1,10 щ.д. / IP / месец
Отстъпки за количество
  • 1 IP1,85 щ.д.
  • 3+ IP адреса1,70 щ.д.
  • 10+ IP адреса1,60 щ.д.
  • 25+ IP адреса1,50 щ.д.
  • 50+ IP адреса1,40 щ.д.
  • 100+ IP адреса1,30 щ.д.
  • 200+ IP адреса1,20 щ.д.
  • 500+ IP адреса1,10 щ.д.
Купете Съединени щати
Частни IPv4 (дейтацентър)
🇬🇧 Обединено кралство
В наличност
От
1,10 щ.д. / IP / месец
Отстъпки за количество
  • 1 IP1,85 щ.д.
  • 3+ IP адреса1,70 щ.д.
  • 10+ IP адреса1,60 щ.д.
  • 25+ IP адреса1,50 щ.д.
  • 50+ IP адреса1,40 щ.д.
  • 100+ IP адреса1,30 щ.д.
  • 200+ IP адреса1,20 щ.д.
  • 500+ IP адреса1,10 щ.д.
Купете Обединено кралство
Проксита по платформи:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Защо номерът на middleware има значение

Downloader middleware модулите се изпълняват във възходящ ред при изходящите заявки. HttpProxyMiddleware с номер 750 чете meta['proxy'], премахва данните за вход от URL адреса и записва хедъра за автентикация. Ако вашият собствен middleware зададе проксито след това, например с 800, вграденият вече се е изпълнил, данните за вход никога не се преобразуват и проксито връща грешка 407. Регистрирането на вашия с 740 го поставя пръв.

НастройкаПрепоръчителна стойностЕфект
request.meta['proxy']'http://user:pass@ip:port'Изпраща конкретната заявка през посоченото ProxyV4 прокси
Подредба на вашия middleware740Изпълнява се преди HttpProxyMiddleware (750), така че данните за вход са кодирани
CONCURRENT_REQUESTS_PER_IPот 2 до 4Ограничава паралелните заявки към даден целеви IP адрес – разумен лимит за натоварването на всеки сървър
AUTOTHROTTLE_ENABLEDTrueПозволява на Scrapy да увеличава или намалява закъсненията според това колко бързо отговаря целта

Принцип на middleware за ротация

  • Прочетете списъка с проксита от настройките във from_crawler() и го запазете в инстанцията на middleware
  • В process_request() задайте request.meta['proxy'] = random.choice(self.proxies), освен ако заявката вече няма зададено такова
  • Когато полученият отговор е 429 или 503, опитайте отново с различно прокси от пула вместо с това, което току-що е било отхвърлено
  • Комбинирайте DOWNLOAD_DELAY = 1.0 с RANDOMIZE_DOWNLOAD_DELAY = True, така че интервалът между заявките да варира, вместо да бъде монотонен като метроном

Оразмеряване на пула

Обхождането със Scrapy може да генерира много заявки в минута, затова броят на IP адресите определя колко ненатоварващо се използва всеки от тях. При ProxyV4 няма минимална поръчка, цената на IP намалява при по-голямо количество, а трафикът при частните IPv4 адреси е неограничен, така че голямото обхождане струва колкото малкото по отношение на трафика. Всеки IP адрес се използва само от един клиент, така че репутацията му зависи изцяло от вашето обхождане и от никой друг. За планиране на обема на обхождане и натоварването вижте ръководството за web scraping.

Стъпка по стъпка

  1. 1

    Подгответе URL адресите на прокситата

    Конвертирайте редовете ip:port:user:pass от ProxyV4 в http://user:pass@ip:port с конвертора на формати за проксита и ги запазете в настройките или във файл.

  2. 2

    Напишете ProxyPoolMiddleware

    В middlewares.py имплементирайте process_request(self, request, spider), така че да задава request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Регистрирайте го преди вградения middleware

    В settings.py добавете 'myproject.middlewares.ProxyPoolMiddleware': 740 в DOWNLOADER_MIDDLEWARES и задайте CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Потвърдете ротацията

    Заредете https://proxyv4.com/api/my-ip няколко пъти с scrapy shell или с кратък тестов спайдър и проверете дали отчетеният IP адрес се сменя измежду тези в пула ви.

Често задавани въпроси

Моят proxy middleware с приоритет 800 получава грешки 407. Защо?

При 800 той се изпълнява след HttpProxyMiddleware (750), затова данните user:pass във вашия прокси URL адрес никога не се преобразуват в хедър Proxy-Authorization. Преместете вашия middleware с номер преди 750, например 740.

Мога ли да задам проксито само за една заявка?

Да. Предайте meta={'proxy': 'http://user:pass@ip:port'}, когато създавате Request; вграденият middleware ще обработи автентикацията само за тази заявка.

Ще достигне ли обхождането на милиони страници лимит на трафика?

Не и с частните IPv4 или статичните ISP проксита на ProxyV4; и двата вида имат неограничен трафик. Единственото практическо ограничение е скоростта, с която целевият сайт ви позволява да обхождате.

Източници

Статични IP адреси без лимит на трафика за Scrapy

Частни IPv4 в 7 държави плюс статични ISP в САЩ и Виетнам, от единичен IP адрес до голям пул, с актуални отстъпки за обем.

Вижте актуалните цени за САЩ

Related articles

Проксита по платформи
Проксита за web scraping: фиксиран пул от IP адреси с неограничен трафик
Web scraping проксита за Python, Scrapy, Playwright и Selenium: пул от частни IPv4 и статични ISP адреси, неограничен трафик, фиксирана цена на IP.
Настройка на прокси
Python requests през автентикирано прокси: стъпка по стъпка
Изпращайте Python заявки през автентикирано HTTP(S) прокси: създайте proxies речник, свържете към Session, кодирайте пароли, редувайте списък и проверете IP.
Настройка на прокси
Автентикация на Playwright прокси: статичен IP за всеки контекст
Задайте на всеки Playwright контекст отделно автентикирано HTTP(S) прокси в Node.js или Python, съобразете часовата зона и проверете изходния IP адрес.
Безплатни инструменти
Преобразувайте прокси списък във формата, който вашият инструмент изисква
Конвертирайте групово прокси списъци в браузъра между ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON масиви и файлове за FoxyProxy импорт.
Проксита по платформи
Проксита за SEO проследяване на позиции: вижте страницата с резултати като местен потребител
SEO проксита с частен IPv4 в САЩ, UK, Виетнам, Япония и още 4 пазара – позиции, локални пакети и реклами точно както ги виждат местните потребители.
Проксита по платформи
Amazon проксита за продавачи, които осигуряват постоянен адрес за всеки акаунт
Amazon проксита за Seller Central, KDP и Merch: статичен US ISP или UK/Japan частен IPv4 за акаунт, нает само от вас и запазван при всяко подновяване.
IPV4 · united states
Пул от частни IPv4 проксита от САЩ за скрапинг, следене на позиции и проверка на реклами
Купете частни US IPv4 проксита: статични дейтацентър IP от САЩ, един клиент на IP, неограничен трафик. За скрапване, SERP следене и US рекламни проверки.
IPV4 · united kingdom
Британско частно IPv4 прокси за маркетплейси, търсене и кампании
UK частно IPv4 прокси със статичен британски дейтацентър IP за един клиент – за eBay UK, Amazon.co.uk, следене на google.co.uk и проверка на UK реклами.