Python requests преку автентицирано прокси, чекор по чекор
Од инженерскиот тим на ProxyV4 · Updated:
За да користите прокси во Python requests, проследете proxies речник чии клучеви 'http' и 'https' покажуваат кон http://user:pass@ip:port. Поставете го тој речник на requests.Session() и истата врска со проксито повторно се користи за секој повик, што е побрзо отколку отворање нова за секое барање. Подолу: речникот, сесијата, грешките на кои најверојатно ќе наидете и проверка во една линија на излезната IP-адреса на ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
- 1 IP1,85 US$
- 3+ IP1,70 US$
- 10+ IP1,60 US$
- 25+ IP1,50 US$
- 50+ IP1,40 US$
- 100+ IP1,30 US$
- 200+ IP1,20 US$
- 500+ IP1,10 US$
Објаснување на речникот proxies
| Поставка | Вредност | Причина |
|---|---|---|
'http' клуч | 'http://user:pass@ip:port' | Се користи за обични http:// URL-адреси |
'https' клуч | 'http://user:pass@ip:port' | Сè уште е http:// прокси URL: urllib3 бара CONNECT тунел од проксито и извршува TLS внатре во него |
timeout | timeout=(5, 15) | 5 s за поврзување, 15 s за читање, за недостапна цел да не може да замрзне нишка |
| Ротација | itertools.cycle(proxy_list) | Ги распределува вашите статични IP-адреси по ред |
Зошто Session е подобар избор од обичен requests.get()
Секој повикан requests.get() на највисоко ниво гради нов базен на врски, па TCP врската со проксито и TLS ракувањето со страницата се повторуваат секој пат. Session ги одржува тие врски активни меѓу повиците. За скрипта што презема стотици страници преку една IP, таа разлика е забележлива во вкупното време на извршување.
Поставете s.proxies.update(proxies) еднаш и секој s.get() и s.post() ќе оди преку проксито. Важно е да знаете: ако HTTP_PROXY или HTTPS_PROXY се поставени во околината, requests може да ги комбинира со поставките на сесијата; проследете proxies= во самиот повик кога треба да бидете сигурни кое точно се користи.
Грешки и како да ги разберете
ProxyErrorсо407 Proxy Authentication Required: проксито е достапно, но најавата во вашата URL-адреса не одговара на нарачката. Погледнете ја страницата за грешка 407- Лозинките што содржат
@,:или/ја расипуваат URL-адресата; прво кодирајте ги соurllib.parse.quote(password, safe='') - Менувањето на прокси URL-адресата во
https://обично ја прекинува врската; задржетеhttp://за двата клуча освен ако вашата прокси порта не е специфично TLS порта ConnectTimeoutукажува на проблем со IP-адресата или портата, а не со податоците за најава; тестирајте ја достапноста со алатката за проверка на порти
Истиот шаблон во httpx и aiohttp
Форматот на URL-адресата се пренесува исто. Во httpx, креирајте httpx.Client(proxy='http://user:pass@ip:port'); во aiohttp, проследете proxy= на session.get(url, proxy=...). Поголемите индексирања со распоредување и повторни обиди обично се полесни во Scrapy.
Чекор по чекор
- 1
Креирајте ја прокси URL-адресата
Препишете ја секоја ProxyV4
ip:port:user:passлинија какоhttp://user:pass@ip:portили конвертирајте ја целата листа со конверторот за формати на прокси. - 2
Креирајте го речникот
Напишете
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Поврзете го со Session
Креирајте
s = requests.Session()и повикајтеs.proxies.update(proxies)за врските да останат активни меѓу барањата. - 4
Испечатете ја излезната IP-адреса
Извршете
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP-адресата во резултатот треба да биде онаа на проксито.
Често поставувани прашања
Зошто записот за 'https' е http:// URL?
Шемата опишува како Python комуницира со проксито, а не со веб-страницата. urllib3 се поврзува со проксито преку обичен HTTP, испраќа CONNECT и потоа воспоставува TLS со https:// страницата преку тој тунел, па сообраќајот на страницата останува енкриптиран.
Како да ги распределам барањата на 25 статични проксија?
Ставете ги 25-те URL-адреси во листа, креирајте pool = itertools.cycle(PROXIES) и за секое барање земете p = next(pool) и проследете proxies={'http': p, 'https': p}. Одржувајте разумно одложување по IP за ниту една адреса да не биде преоптоварена.
Дали сообраќајот од Python скриптите се мери?
Не. Приватните IPv4 и статичните ISP пакети на ProxyV4 доаѓаат со неограничен проток, па долготрајните скрипти нема да наидат на ограничување на податоците.
Извори
Базен од статични IP-адреси за Python скрипти
Приватни IPv4 во 7 земји плус статични ISP во САД и Виетнам. Купете единечна IP или пакет; цената по IP се намалува со количината.
Проверете ги цените за САД во живо