Python requests през автентикирано прокси: стъпка по стъпка
От инженерния екип на ProxyV4 · Updated:
За да използвате прокси в Python requests, подайте речник proxies, чиито ключове 'http' и 'https' сочат към http://user:pass@ip:port. Задайте този речник на requests.Session() и същата връзка към проксито ще се преизползва за всяко извикване, което е по-бързо от отварянето на нова за всяка заявка. По-долу: речникът, сесията, грешките, които е най-вероятно да срещнете, и проверка на изходния IP адрес на ProxyV4 в един ред.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 щ.д.
- 3+ IP адреса1,70 щ.д.
- 10+ IP адреса1,60 щ.д.
- 25+ IP адреса1,50 щ.д.
- 50+ IP адреса1,40 щ.д.
- 100+ IP адреса1,30 щ.д.
- 200+ IP адреса1,20 щ.д.
- 500+ IP адреса1,10 щ.д.
- 1 IP1,85 щ.д.
- 3+ IP адреса1,70 щ.д.
- 10+ IP адреса1,60 щ.д.
- 25+ IP адреса1,50 щ.д.
- 50+ IP адреса1,40 щ.д.
- 100+ IP адреса1,30 щ.д.
- 200+ IP адреса1,20 щ.д.
- 500+ IP адреса1,10 щ.д.
Разяснение на речника proxies
| Настройка | Стойност | Причина |
|---|---|---|
Ключ 'http' | 'http://user:pass@ip:port' | Използва се за обикновени http:// URL адреси |
Ключ 'https' | 'http://user:pass@ip:port' | Отново http:// прокси URL: urllib3 изисква от проксито CONNECT тунел и изпълнява TLS вътре в него |
timeout | timeout=(5, 15) | 5 сек. за свързване, 15 сек. за четене, за да не може недостъпна цел да блокира нишката |
| Ротация | itertools.cycle(proxy_list) | Предоставя вашите статични IP адреси последователно |
Защо Session превъзхожда самостоятелния requests.get()
Всяко самостоятелно извикване на requests.get() изгражда нов пул от връзки, така че TCP връзката към проксито и TLS ръкостискането със сайта се повтарят всеки път. Обектът Session запазва тези връзки активни между заявките. При скрипт, който изтегля стотици страници през едно IP, тази разлика се отразява осезаемо на общото време за изпълнение.
Задайте s.proxies.update(proxies) веднъж и всяко извикване на s.get() и s.post() ще минава през проксито. Важно уточнение: ако променливите HTTP_PROXY или HTTPS_PROXY са зададени в системната среда, requests може да ги комбинира с настройките на сесията; предайте proxies= директно при самото извикване, когато трябва да сте сигурни кое точно се използва.
Грешки и как да ги разчитате
ProxyErrorс407 Proxy Authentication Required: проксито е достъпно, но данните за вход в URL адреса не съответстват на поръчката. Вижте страницата за грешка 407- Пароли, съдържащи
@,:или/, развалят URL адреса; първо ги кодирайте сurllib.parse.quote(password, safe='') - Смяната на прокси URL адреса с
https://обикновено прекъсва връзката; запазетеhttp://и за двата ключа, освен ако прокси портът не е изрично TLS порт ConnectTimeoutпоказва проблем с IP адреса или порта, а не с данните за вход; проверете достъпността с инструмента за проверка на портове
Същият модел в httpx и aiohttp
Форматът на URL адреса се запазва. В httpx създайте httpx.Client(proxy='http://user:pass@ip:port'); в aiohttp подайте proxy= на session.get(url, proxy=...). По-мащабно обхождане с планиране и повторни опити обикновено е по-лесно в Scrapy.
Стъпка по стъпка
- 1
Създайте прокси URL адреса
Преобразувайте всеки ред
ip:port:user:passот ProxyV4 във видhttp://user:pass@ip:portили конвертирайте целия списък с инструмента за конвертиране на прокси формати. - 2
Създайте речника
Дефинирайте
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Прикачете го към Session
Създайте
s = requests.Session()и извикайтеs.proxies.update(proxies), за да се поддържат връзките активни между заявките. - 4
Изведете изходния IP адрес
Изпълнете
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); изведеният IP адрес трябва да бъде този на проксито.
Често задавани въпроси
Защо записът за 'https' е http:// URL?
Схемата описва как Python се свързва с проксито, а не с уебсайта. urllib3 се свързва с проксито през обикновен HTTP, изпраща CONNECT и след това осъществява TLS връзка със сайта по https:// през този тунел, така че трафикът към страницата остава криптиран.
Как да разпределя заявките между 25 статични проксита?
Поставете 25-те URL адреса в списък, създайте pool = itertools.cycle(PROXIES) и за всяка заявка вземайте p = next(pool) и подавайте proxies={'http': p, 'https': p}. Поддържайте разумно забавяне за всяко IP, за да не се претоварва нито един адрес.
Отчита ли се трафикът от Python скриптове?
Не. Плановете за индивидуални IPv4 и статични ISP от ProxyV4 включват неограничен трафик, така че продължително работещите скриптове не срещат лимит на данните.
Източници
Пул от статични IP адреси за Python скриптове
Индивидуални IPv4 в 7 държави плюс статични ISP в САЩ и Виетнам. Купете единичен IP адрес или пакет; цената на IP намалява при по-голямо количество.
Вижте актуалните цени за САЩ