Python requests аутентификацияланған прокси арқылы, қадам бойынша
ProxyV4 инженерлік тобынан · Updated:
Python requests ішінде проксиді пайдалану үшін 'http' және 'https' кілттері http://user:pass@ip:port мәніне сілтейтін proxies сөздігін беріңіз. Бұл сөздікті requests.Session() нысанына орнатсаңыз, проксимен байланыс әрбір шақыру үшін қайта қолданылады, бұл әр сұрау сайын жаңасын ашқаннан әлдеқайда жылдам. Төменде: сөздік, сессия, кездесуі мүмкін қателер және ProxyV4 шығыс IP-ін бір жолмен тексеру жолы көрсетілген.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
- 1 IP1,85 $
- 3+ IP1,70 $
- 10+ IP1,60 $
- 25+ IP1,50 $
- 50+ IP1,40 $
- 100+ IP1,30 $
- 200+ IP1,20 $
- 500+ IP1,10 $
proxies сөздігінің түсіндірмесі
| Баптау | Мәні | Себебі |
|---|---|---|
'http' key | 'http://user:pass@ip:port' | Қарапайым http:// URL мекенжайлары үшін қолданылады |
'https' key | 'http://user:pass@ip:port' | Бәрібір http:// прокси URL-і: urllib3 проксиден CONNECT туннелін сұрайды және оның ішінде TLS іске қосады |
timeout | timeout=(5, 15) | Қосылуға 5 с, оқуға 15 с, сондықтан жауап бермейтін сервер ағынды бұғаттай алмайды |
| Rotation | itertools.cycle(proxy_list) | Статикалық IP мекенжайларыңызды кезекпен береді |
Неліктен Session жай requests.get() қарағанда тиімдірек
Әрбір жеке requests.get() шақыруы жаңа қосылымдар пулын құрады, сондықтан проксимен TCP байланысы және сайтпен TLS келісімі (handshake) әр уақытта қайталанады. Session бұл қосылымдарды сұраулар арасында сақтап тұрады. Бір IP арқылы жүздеген беттерді жүктейтін скрипт үшін бұл айырмашылық жалпы жұмыс уақытынан айқын көрінеді.
s.proxies.update(proxies) баптауын бір рет орнатсаңыз, әрбір s.get() және s.post() прокси арқылы өтеді. Бір ескеретін жайт: жүйелік ортада HTTP_PROXY немесе HTTPS_PROXY орнатылған болса, requests оларды сессия параметрлерімен біріктіруі мүмкін; нақты қайсысы қолданылатынына сенімді болу қажет болғанда шақырудың өзіне proxies= параметрін беріңіз.
Қателер және оларды түсіну жолдары
407 Proxy Authentication Requiredқатесі барProxyError: прокси қолжетімді, бірақ URL мекенжайыңыздағы логин тапсырысқа сәйкес келмейді. 407 error page қараңыз- Құрамында
@,:немесе/таңбалары бар құпия сөздер URL құрылымын бұзады; оларды алдыменurllib.parse.quote(password, safe='')арқылы кодтаңыз - Прокси URL мекенжайын
https://деп өзгерту әдетте қосылымды бұзады; егер прокси порты арнайы TLS порты болмаса, екі кілт үшін деhttp://қалдырыңыз ConnectTimeoutқатесі логин-парольге емес, IP немесе портқа байланысты туындайды; қолжетімділікті port checker арқылы тексеріңіз
httpx және aiohttp кітапханаларындағы осыған ұқсас үлгі
URL форматы өзгеріссіз қалады. httpx ішінде httpx.Client(proxy='http://user:pass@ip:port') жасаңыз; ал aiohttp кітапханасында session.get(url, proxy=...) шақыруына proxy= беріңіз. Жоспарлау мен қайталауды талап ететін үлкен көлемді скрапингті әдетте Scrapy арқылы жүзеге асыру оңайырақ.
Қадамдық нұсқаулық
- 1
Прокси URL мекенжайын құрастыру
Әрбір ProxyV4
ip:port:user:passжолынhttp://user:pass@ip:portретінде қайта жазыңыз немесе бүкіл тізімді proxy format converter арқылы айырбастаңыз. - 2
Сөздік жасау
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}деп жазыңыз. - 3
Оны Session-ге бекіту
s = requests.Session()жасаңыз және сұраулар арасында қосылымдар үзілмеуі үшінs.proxies.update(proxies)шақырыңыз. - 4
Шығыс IP-ін шығару
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())пәрменін іске қосыңыз; шыққан нәтижедегі IP проксидің мекенжайы болуы керек.
Жиі қойылатын сұрақтар
Неліктен 'https' жазбасы http:// URL болып табылады?
Бұл схема веб-сайтпен емес, Python-ның проксимен байланысу тәсілін сипаттайды. urllib3 проксиге қарапайым HTTP арқылы қосылып, CONNECT сұрауын жібереді де, сол туннель арқылы https:// сайтымен TLS орнатады, сондықтан бет трафигі толық шифрланған болып қала береді.
Сұрауларды 25 статикалық проксиге қалай бөлуге болады?
25 URL мекенжайын тізімге салып, pool = itertools.cycle(PROXIES) жасаңыз және әр сұрау үшін p = next(pool) алып, proxies={'http': p, 'https': p} беріңіз. Бір де бір мекенжай шамадан тыс жүктелмеуі үшін әр IP арасында қолайлы кідіріс сақтаңыз.
Python скрипттерінің трафигіне шектеу қойыла ма?
Жоқ. ProxyV4 жеке IPv4 және статикалық ISP тарифтері шексіз трафикпен қамтамасыз етілген, сондықтан ұзақ уақыт жұмыс істейтін скрипттер деректер лимитіне тап болмайды.
Дереккөздер
Python скрипттеріне арналған статикалық IP пулы
7 елдегі жеке IPv4 және АҚШ пен Вьетнамдағы статикалық ISP. Жеке бір IP немесе топтама сатып алыңыз; саны артқан сайын әр IP бағасы арзандайды.
АҚШ бойынша ағымдағы бағаларды тексеру