ProxyV4

Python requests преко аутентификованог проксија, корак по корак

· Updated:

Да бисте користили прокси у библиотеци Python requests, проследите речник proxies чији кључеви 'http' и 'https' показују на http://user:pass@ip:port. Доделите тај речник објекту requests.Session() и иста веза ка проксију ће се поново користити за сваки позив, што је брже од отварања нове везе за сваки захтев. У наставку: речник, сесија, грешке на које можете наићи и провера излазног IP-ја за ProxyV4 у једном реду.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Приватни IPv4 (дата-центар)
🇺🇸 Сједињене Америчке Државе
На стању
Од
1,10 US$ / IP / месечно
Попусти на количину
  • 1 IP1,85 US$
  • 3+ IP адреса1,70 US$
  • 10+ IP адреса1,60 US$
  • 25+ IP адреса1,50 US$
  • 50+ IP адреса1,40 US$
  • 100+ IP адреса1,30 US$
  • 200+ IP адреса1,20 US$
  • 500+ IP адреса1,10 US$
Купи Сједињене Америчке Државе
Приватни IPv4 (дата-центар)
🇻🇳 Вијетнам
На стању
Од
1,10 US$ / IP / месечно
Попусти на количину
  • 1 IP1,85 US$
  • 3+ IP адреса1,70 US$
  • 10+ IP адреса1,60 US$
  • 25+ IP адреса1,50 US$
  • 50+ IP адреса1,40 US$
  • 100+ IP адреса1,30 US$
  • 200+ IP адреса1,20 US$
  • 500+ IP адреса1,10 US$
Купи Вијетнам
Проксији према платформи:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Објашњење proxies речника

ПодешавањеВредностРазлог
Кључ 'http''http://user:pass@ip:port'Користи се за обичне http:// URL-ове
Кључ 'https''http://user:pass@ip:port'И даље http:// прокси URL: urllib3 тражи од проксија CONNECT тунел и покреће TLS унутар њега
timeouttimeout=(5, 15)5 s за повезивање, 15 s за читање, тако да недоступан циљ не може да блокира нит
Ротацијаitertools.cycle(proxy_list)Редом додељује ваше статичке IP адресе

Зашто је Session бољи од обичног requests.get()

Сваки позив requests.get() на највишем нивоу прави нови скуп веза, па се TCP веза са проксијем и TLS руковање са сајтом понављају сваки пут. Session одржава те везе активним између позива. За скрипту која преузима стотине страница преко једне IP адресе, та разлика је очигледна у укупном времену извршавања.

Подесите s.proxies.update(proxies) једном и сваки s.get() и s.post() ће ићи преко проксија. Важно је знати: ако су HTTP_PROXY или HTTPS_PROXY постављени у окружењу, requests их може комбиновати са подешавањима сесије; проследите proxies= при самом позиву када желите да будете сигурни који се користи.

Грешке и како их тумачити

  • ProxyError са 407 Proxy Authentication Required: прокси је доступан, али подаци за пријаву у вашем URL-у не одговарају поруџбини. Погледајте страницу о грешци 407
  • Лозинке које садрже @, : или / кваре URL; претходно их кодирајте помоћу urllib.parse.quote(password, safe='')
  • Промена прокси URL-а у https:// обично прекида везу; задржите http:// за оба кључа осим ако ваш прокси порт није изричито TLS порт
  • ConnectTimeout указује на проблем са IP адресом или портом, а не са акредитивима; тестирајте доступност помоћу провере порта

Исти шаблон у httpx и aiohttp

Формат URL-а се преноси. У httpx направите httpx.Client(proxy='http://user:pass@ip:port'); у aiohttp проследите proxy= у session.get(url, proxy=...). Већа прикупљања података са распоређивањем и поновним покушајима обично су лакша у Scrapy.

Корак по корак

  1. 1

    Креирајте URL проксија

    Препишите сваки ProxyV4 ред облика ip:port:user:pass као http://user:pass@ip:port, или конвертујте целу листу помоћу конвертора формата проксија.

  2. 2

    Направите речник

    Дефинишите proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Доделите га објекту Session

    Креирајте s = requests.Session() и позовите s.proxies.update(proxies) како би се везе одржавале активним између захтева.

  4. 4

    Испишите излазни IP

    Покрените print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP адреса у излазу треба да буде адреса проксија.

Често постављана питања

Зашто је унос 'https' заправо http:// URL?

Шема описује како Python комуницира са проксијем, а не са веб-сајтом. urllib3 се повезује са проксијем преко обичног HTTP протокола, шаље CONNECT и затим успоставља TLS са https:// сајтом кроз тај тунел, тако да је саобраћај ка страници и даље шифрован.

Како да распоредим захтеве на 25 статичких проксија?

Ставите 25 URL-ова у листу, креирајте pool = itertools.cycle(PROXIES), и за сваки захтев узмите p = next(pool) и проследите proxies={'http': p, 'https': p}. Одржавајте разумну паузу између захтева по IP адреси како ниједна адреса не би била преоптерећена.

Да ли се мери потрошња саобраћаја из Python скрипти?

Не. ProxyV4 приватни IPv4 и статички ISP пакети долазе са неограниченим протоком, тако да дуготрајне скрипте не наилазе на лимит потрошње података.

Извори

Пул статичких IP адреса за Python скрипте

Приватни IPv4 у 7 земаља уз статички ISP у САД и Вијетнаму. Купите једну IP адресу или пакет; цена по IP адреси опада са количином.

Погледајте тренутне цене за САД

Related articles

Проксији према платформи
Проксији за web scraping: фиксни пул IP адреса са неограниченим протоком
Проксији за web scraping за Python, Scrapy, Playwright и Selenium: пул приватних IPv4 и статичких ISP адреса, неограничен проток и фиксна цена по IP адреси.
Подешавање проксија
Аутентификација Playwright проксија, једна статичка IP адреса по контексту
Доделите сваком Playwright контексту аутентификовани HTTP(S) прокси у Node.js или Python-у, ускладите временску зону и локалитет и потврдите излазну адресу.
Подешавање проксија
Scrapy проксији: meta['proxy'], редослед middleware-а и ротација
Користите аутентификоване HTTP(S) проксије у Scrapy-ју: додајте request.meta['proxy'], ставите middleware пре HttpProxyMiddleware (750) и ротирајте IP адресе.
Бесплатне алатке
Претворите прокси листу у формат који ваш алат очекује
Масовно конвертујте прокси листе у прегледачу: ip:port:user:pass, user:pass@ip:port, http:// URL-ови, SOCKS5 URI-ји, JSON низови и фајлови за FoxyProxy.
Проксији према платформи
Проксији за праћење SEO рангирања: погледајте страницу резултата коју види локални корисник
SEO проксији за праћење рангирања уз приватни IPv4 у САД, УК, Вијетнаму, Јапану и 4 тржишта: рангирање, локални пакети и огласи одговарају локалном приказу.
Проксији према платформи
Amazon проксији за продавце који сваком налогу дају трајну адресу
Amazon проксији за продавце за Seller Central, KDP и Merch: статички US ISP или UK/Japan приватни IPv4 по налогу, изнајмљен само вама и исти при обнови.
IPV4 · united states
Пул приватних IPv4 проксија у САД за прикупљање података, праћење рангирања и проверу огласа
Купите приватне US IPv4 проксије: статичке америчке датацентар IP адресе, један корисник по IP-ју, неограничен проток. За скрејпинг, SERP и проверу US огласа.
IPV4 · vietnam
Приватни IPv4 прокси у Вијетнаму: Једна фиксна IP адреса по налогу у великим количинама
Вијетнамски приватни IPv4 проксији: статички датацентарски IP-јеви за једног клијента, повољни на количину. За сидовање, споредне Shopee продавнице и алате.