Запыты Python праз проксі з аўтэнтыфікацыяй: крок за крокам
Ад інжынернай каманды ProxyV4 · Updated:
Каб выкарыстоўваць проксі ў Python requests, перадайце слоўнік proxies, дзе абодва ключы 'http' і 'https' спасылаюцца на http://user:pass@ip:port. Прывяжыце гэты слоўнік да requests.Session(), і тое самае злучэнне з проксі будзе паўторна выкарыстоўвацца для кожнага выкліку, што значна хутчэй, чым адкрываць новае пад кожны запыт. Ніжэй: слоўнік, сесія, тыповыя памылкі і аднарадковая праверка выхаднога IP ад ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 $
- Ад 3 IP1,70 $
- Ад 10 IP1,60 $
- Ад 25 IP1,50 $
- Ад 50 IP1,40 $
- Ад 100 IP1,30 $
- Ад 200 IP1,20 $
- Ад 500 IP1,10 $
- 1 IP1,85 $
- Ад 3 IP1,70 $
- Ад 10 IP1,60 $
- Ад 25 IP1,50 $
- Ад 50 IP1,40 $
- Ад 100 IP1,30 $
- Ад 200 IP1,20 $
- Ад 500 IP1,10 $
Як уладкаваны слоўнік proxies
| Налада | Значэнне | Прызначэнне |
|---|---|---|
Ключ 'http' | 'http://user:pass@ip:port' | Выкарыстоўваецца для звычайных http:// URL-адрасоў |
Ключ 'https' | 'http://user:pass@ip:port' | Усё адно http:// URL проксі: urllib3 запытвае ў проксі тунэль CONNECT і запускае TLS унутры яго |
timeout | timeout=(5, 15) | 5 с на падключэнне, 15 с на чытанне, каб недаступны рэсурс не падвесіў паток |
| Ратацыя | itertools.cycle(proxy_list) | Па чарзе размяркоўвае вашы статычныя IP |
Чаму Session лепшы за звычайны requests.get()
Кожны выклік верхняга ўзроўню requests.get() стварае новы пул злучэнняў, таму TCP-злучэнне з проксі і рукапацісканне TLS з сайтам паўтараюцца кожны раз. Session падтрымлівае гэтыя злучэнні адкрытымі паміж выклікамі. Для скрыпта, які спампоўвае сотні старонак праз адзін IP, гэтая розніца добра заўважная ў агульным часе выканання.
Задайце s.proxies.update(proxies) адзін раз, і кожны s.get() ды s.post() будзе ісці праз проксі. Варта ведаць: калі ў асяроддзі вызначаны HTTP_PROXY або HTTPS_PROXY, requests можа аб'яднаць іх з наладамі сесіі; перадавайце proxies= непасрэдна ў выкліку, калі трэба дакладна ведаць, што выкарыстоўваецца.
Памылкі і як іх чытаць
ProxyErrorз кодам407 Proxy Authentication Required: проксі даступны, але лагін у вашым URL не адпавядае замове. Глядзіце старонку памылкі 407- Паролі, якія змяшчаюць
@,:або/, ламаюць URL; папярэдне закадуйце іх празurllib.parse.quote(password, safe='') - Змена URL проксі на
https://звычайна парушае злучэнне; пакідайцеhttp://для абодвух ключоў, калі толькі ваш порт проксі спецыяльна не наладжаны як порт TLS ConnectTimeoutпаказвае на праблему з IP або портам, а не з уліковымі дадзенымі; праверце даступнасць праз інструмент праверкі портаў
Той самы шаблон у httpx і aiohttp
Фармат URL тут такі самы. У httpx стварыце httpx.Client(proxy='http://user:pass@ip:port'); у aiohttp перадайце proxy= у session.get(url, proxy=...). Больш маштабны збор дадзеных з раскладам і паўторамі звычайна прасцей рэалізаваць у Scrapy.
Крок за крокам
- 1
Сфармуйце URL проксі
Перазапішыце кожны радок ProxyV4 выгляду
ip:port:user:passякhttp://user:pass@ip:portабо канвертуйце ўвесь спіс праз канвертар фарматаў проксі. - 2
Стварыце слоўнік
Прапішыце
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Падключыце яго да Session
Стварыце
s = requests.Session()і выклічцеs.proxies.update(proxies), каб злучэнні заставаліся актыўнымі паміж запытамі. - 4
Выведзіце выхадны IP
Выканайце
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP у вывадзе павінен належаць проксі.
Частыя пытанні
Чаму ў запісе 'https' выкарыстоўваецца URL http://?
Схема вызначае тое, як Python злучаецца з проксі, а не з самім сайтам. urllib3 падключаецца да проксі па звычайным HTTP, адпраўляе запыт CONNECT і пасля ўсталёўвае TLS з сайтам https:// праз гэты тунэль, таму трафік старонкі застаецца зашыфраваным.
Як размеркаваць запыты па 25 статычных проксі?
Змясціце 25 URL-адрасоў у спіс, стварыце pool = itertools.cycle(PROXIES), а для кожнага запыту бярыце p = next(pool) і перадавайце proxies={'http': p, 'https': p}. Рабіце разумныя паўзы для кожнага IP, каб не перагружаць ніводны з адрасоў.
Ці ўлічваецца трафік для скрыптоў Python?
Не. Тарыфы на персанальныя IPv4 і статычныя ISP ад ProxyV4 прапануюць неабмежаваны трафік, таму працяглыя скрыпты не сутыкнуцца з лімітамі на аб'ём дадзеных.
Крыніцы
Пул статычных IP для скрыптоў Python
Персанальныя IPv4 у 7 краінах і статычныя ISP у ЗША і В'етнаме. Купляйце паштучна або пакетам; цана за IP зніжаецца пры павелічэнні колькасці.
Паглядзець актуальныя цэны для ЗША