Python requests преко аутентификованог проксија, корак по корак
Аутор: Инжењерски тим ProxyV4 · Updated:
Да бисте користили прокси у библиотеци Python requests, проследите речник proxies чији кључеви 'http' и 'https' показују на http://user:pass@ip:port. Доделите тај речник објекту requests.Session() и иста веза ка проксију ће се поново користити за сваки позив, што је брже од отварања нове везе за сваки захтев. У наставку: речник, сесија, грешке на које можете наићи и провера излазног IP-ја за ProxyV4 у једном реду.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 US$
- 3+ IP адреса1,70 US$
- 10+ IP адреса1,60 US$
- 25+ IP адреса1,50 US$
- 50+ IP адреса1,40 US$
- 100+ IP адреса1,30 US$
- 200+ IP адреса1,20 US$
- 500+ IP адреса1,10 US$
- 1 IP1,85 US$
- 3+ IP адреса1,70 US$
- 10+ IP адреса1,60 US$
- 25+ IP адреса1,50 US$
- 50+ IP адреса1,40 US$
- 100+ IP адреса1,30 US$
- 200+ IP адреса1,20 US$
- 500+ IP адреса1,10 US$
Објашњење proxies речника
| Подешавање | Вредност | Разлог |
|---|---|---|
Кључ 'http' | 'http://user:pass@ip:port' | Користи се за обичне http:// URL-ове |
Кључ 'https' | 'http://user:pass@ip:port' | И даље http:// прокси URL: urllib3 тражи од проксија CONNECT тунел и покреће TLS унутар њега |
timeout | timeout=(5, 15) | 5 s за повезивање, 15 s за читање, тако да недоступан циљ не може да блокира нит |
| Ротација | itertools.cycle(proxy_list) | Редом додељује ваше статичке IP адресе |
Зашто је Session бољи од обичног requests.get()
Сваки позив requests.get() на највишем нивоу прави нови скуп веза, па се TCP веза са проксијем и TLS руковање са сајтом понављају сваки пут. Session одржава те везе активним између позива. За скрипту која преузима стотине страница преко једне IP адресе, та разлика је очигледна у укупном времену извршавања.
Подесите s.proxies.update(proxies) једном и сваки s.get() и s.post() ће ићи преко проксија. Важно је знати: ако су HTTP_PROXY или HTTPS_PROXY постављени у окружењу, requests их може комбиновати са подешавањима сесије; проследите proxies= при самом позиву када желите да будете сигурни који се користи.
Грешке и како их тумачити
ProxyErrorса407 Proxy Authentication Required: прокси је доступан, али подаци за пријаву у вашем URL-у не одговарају поруџбини. Погледајте страницу о грешци 407- Лозинке које садрже
@,:или/кваре URL; претходно их кодирајте помоћуurllib.parse.quote(password, safe='') - Промена прокси URL-а у
https://обично прекида везу; задржитеhttp://за оба кључа осим ако ваш прокси порт није изричито TLS порт ConnectTimeoutуказује на проблем са IP адресом или портом, а не са акредитивима; тестирајте доступност помоћу провере порта
Исти шаблон у httpx и aiohttp
Формат URL-а се преноси. У httpx направите httpx.Client(proxy='http://user:pass@ip:port'); у aiohttp проследите proxy= у session.get(url, proxy=...). Већа прикупљања података са распоређивањем и поновним покушајима обично су лакша у Scrapy.
Корак по корак
- 1
Креирајте URL проксија
Препишите сваки ProxyV4 ред облика
ip:port:user:passкаоhttp://user:pass@ip:port, или конвертујте целу листу помоћу конвертора формата проксија. - 2
Направите речник
Дефинишите
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Доделите га објекту Session
Креирајте
s = requests.Session()и позовитеs.proxies.update(proxies)како би се везе одржавале активним између захтева. - 4
Испишите излазни IP
Покрените
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP адреса у излазу треба да буде адреса проксија.
Често постављана питања
Зашто је унос 'https' заправо http:// URL?
Шема описује како Python комуницира са проксијем, а не са веб-сајтом. urllib3 се повезује са проксијем преко обичног HTTP протокола, шаље CONNECT и затим успоставља TLS са https:// сајтом кроз тај тунел, тако да је саобраћај ка страници и даље шифрован.
Како да распоредим захтеве на 25 статичких проксија?
Ставите 25 URL-ова у листу, креирајте pool = itertools.cycle(PROXIES), и за сваки захтев узмите p = next(pool) и проследите proxies={'http': p, 'https': p}. Одржавајте разумну паузу између захтева по IP адреси како ниједна адреса не би била преоптерећена.
Да ли се мери потрошња саобраћаја из Python скрипти?
Не. ProxyV4 приватни IPv4 и статички ISP пакети долазе са неограниченим протоком, тако да дуготрајне скрипте не наилазе на лимит потрошње података.
Извори
Пул статичких IP адреса за Python скрипте
Приватни IPv4 у 7 земаља уз статички ISP у САД и Вијетнаму. Купите једну IP адресу или пакет; цена по IP адреси опада са количином.
Погледајте тренутне цене за САД