ProxyV4

Python requests през автентикирано прокси: стъпка по стъпка

· Updated:

За да използвате прокси в Python requests, подайте речник proxies, чиито ключове 'http' и 'https' сочат към http://user:pass@ip:port. Задайте този речник на requests.Session() и същата връзка към проксито ще се преизползва за всяко извикване, което е по-бързо от отварянето на нова за всяка заявка. По-долу: речникът, сесията, грешките, които е най-вероятно да срещнете, и проверка на изходния IP адрес на ProxyV4 в един ред.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Частни IPv4 (дейтацентър)
🇺🇸 Съединени щати
В наличност
От
1,10 щ.д. / IP / месец
Отстъпки за количество
  • 1 IP1,85 щ.д.
  • 3+ IP адреса1,70 щ.д.
  • 10+ IP адреса1,60 щ.д.
  • 25+ IP адреса1,50 щ.д.
  • 50+ IP адреса1,40 щ.д.
  • 100+ IP адреса1,30 щ.д.
  • 200+ IP адреса1,20 щ.д.
  • 500+ IP адреса1,10 щ.д.
Купете Съединени щати
Частни IPv4 (дейтацентър)
🇻🇳 Виетнам
В наличност
От
1,10 щ.д. / IP / месец
Отстъпки за количество
  • 1 IP1,85 щ.д.
  • 3+ IP адреса1,70 щ.д.
  • 10+ IP адреса1,60 щ.д.
  • 25+ IP адреса1,50 щ.д.
  • 50+ IP адреса1,40 щ.д.
  • 100+ IP адреса1,30 щ.д.
  • 200+ IP адреса1,20 щ.д.
  • 500+ IP адреса1,10 щ.д.
Купете Виетнам
Проксита по платформи:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Разяснение на речника proxies

НастройкаСтойностПричина
Ключ 'http''http://user:pass@ip:port'Използва се за обикновени http:// URL адреси
Ключ 'https''http://user:pass@ip:port'Отново http:// прокси URL: urllib3 изисква от проксито CONNECT тунел и изпълнява TLS вътре в него
timeouttimeout=(5, 15)5 сек. за свързване, 15 сек. за четене, за да не може недостъпна цел да блокира нишката
Ротацияitertools.cycle(proxy_list)Предоставя вашите статични IP адреси последователно

Защо Session превъзхожда самостоятелния requests.get()

Всяко самостоятелно извикване на requests.get() изгражда нов пул от връзки, така че TCP връзката към проксито и TLS ръкостискането със сайта се повтарят всеки път. Обектът Session запазва тези връзки активни между заявките. При скрипт, който изтегля стотици страници през едно IP, тази разлика се отразява осезаемо на общото време за изпълнение.

Задайте s.proxies.update(proxies) веднъж и всяко извикване на s.get() и s.post() ще минава през проксито. Важно уточнение: ако променливите HTTP_PROXY или HTTPS_PROXY са зададени в системната среда, requests може да ги комбинира с настройките на сесията; предайте proxies= директно при самото извикване, когато трябва да сте сигурни кое точно се използва.

Грешки и как да ги разчитате

  • ProxyError с 407 Proxy Authentication Required: проксито е достъпно, но данните за вход в URL адреса не съответстват на поръчката. Вижте страницата за грешка 407
  • Пароли, съдържащи @, : или /, развалят URL адреса; първо ги кодирайте с urllib.parse.quote(password, safe='')
  • Смяната на прокси URL адреса с https:// обикновено прекъсва връзката; запазете http:// и за двата ключа, освен ако прокси портът не е изрично TLS порт
  • ConnectTimeout показва проблем с IP адреса или порта, а не с данните за вход; проверете достъпността с инструмента за проверка на портове

Същият модел в httpx и aiohttp

Форматът на URL адреса се запазва. В httpx създайте httpx.Client(proxy='http://user:pass@ip:port'); в aiohttp подайте proxy= на session.get(url, proxy=...). По-мащабно обхождане с планиране и повторни опити обикновено е по-лесно в Scrapy.

Стъпка по стъпка

  1. 1

    Създайте прокси URL адреса

    Преобразувайте всеки ред ip:port:user:pass от ProxyV4 във вид http://user:pass@ip:port или конвертирайте целия списък с инструмента за конвертиране на прокси формати.

  2. 2

    Създайте речника

    Дефинирайте proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Прикачете го към Session

    Създайте s = requests.Session() и извикайте s.proxies.update(proxies), за да се поддържат връзките активни между заявките.

  4. 4

    Изведете изходния IP адрес

    Изпълнете print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); изведеният IP адрес трябва да бъде този на проксито.

Често задавани въпроси

Защо записът за 'https' е http:// URL?

Схемата описва как Python се свързва с проксито, а не с уебсайта. urllib3 се свързва с проксито през обикновен HTTP, изпраща CONNECT и след това осъществява TLS връзка със сайта по https:// през този тунел, така че трафикът към страницата остава криптиран.

Как да разпределя заявките между 25 статични проксита?

Поставете 25-те URL адреса в списък, създайте pool = itertools.cycle(PROXIES) и за всяка заявка вземайте p = next(pool) и подавайте proxies={'http': p, 'https': p}. Поддържайте разумно забавяне за всяко IP, за да не се претоварва нито един адрес.

Отчита ли се трафикът от Python скриптове?

Не. Плановете за индивидуални IPv4 и статични ISP от ProxyV4 включват неограничен трафик, така че продължително работещите скриптове не срещат лимит на данните.

Източници

Пул от статични IP адреси за Python скриптове

Индивидуални IPv4 в 7 държави плюс статични ISP в САЩ и Виетнам. Купете единичен IP адрес или пакет; цената на IP намалява при по-голямо количество.

Вижте актуалните цени за САЩ

Related articles

Проксита по платформи
Проксита за web scraping: фиксиран пул от IP адреси с неограничен трафик
Web scraping проксита за Python, Scrapy, Playwright и Selenium: пул от частни IPv4 и статични ISP адреси, неограничен трафик, фиксирана цена на IP.
Настройка на прокси
Автентикация на Playwright прокси: статичен IP за всеки контекст
Задайте на всеки Playwright контекст отделно автентикирано HTTP(S) прокси в Node.js или Python, съобразете часовата зона и проверете изходния IP адрес.
Настройка на прокси
Scrapy проксита: meta['proxy'], подредба на middleware и ротация
Използвайте HTTP(S) проксита в Scrapy: задайте request.meta['proxy'], сложете middleware преди HttpProxyMiddleware (750), ротирайте IP и темпирайте обхождането.
Безплатни инструменти
Преобразувайте прокси списък във формата, който вашият инструмент изисква
Конвертирайте групово прокси списъци в браузъра между ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON масиви и файлове за FoxyProxy импорт.
Проксита по платформи
Проксита за SEO проследяване на позиции: вижте страницата с резултати като местен потребител
SEO проксита с частен IPv4 в САЩ, UK, Виетнам, Япония и още 4 пазара – позиции, локални пакети и реклами точно както ги виждат местните потребители.
Проксита по платформи
Amazon проксита за продавачи, които осигуряват постоянен адрес за всеки акаунт
Amazon проксита за Seller Central, KDP и Merch: статичен US ISP или UK/Japan частен IPv4 за акаунт, нает само от вас и запазван при всяко подновяване.
IPV4 · united states
Пул от частни IPv4 проксита от САЩ за скрапинг, следене на позиции и проверка на реклами
Купете частни US IPv4 проксита: статични дейтацентър IP от САЩ, един клиент на IP, неограничен трафик. За скрапване, SERP следене и US рекламни проверки.
IPV4 · vietnam
Виетнамско частно IPv4 прокси: Един фиксиран IP адрес на акаунт при големи обеми
Частни IPv4 проксита за Виетнам: статични дейтацентър IP адреси за един клиент с цени за обем. За сийдинг профили, вторични Shopee магазини и инструменти.