ProxyV4

Python requests преку автентицирано прокси, чекор по чекор

· Updated:

За да користите прокси во Python requests, проследете proxies речник чии клучеви 'http' и 'https' покажуваат кон http://user:pass@ip:port. Поставете го тој речник на requests.Session() и истата врска со проксито повторно се користи за секој повик, што е побрзо отколку отворање нова за секое барање. Подолу: речникот, сесијата, грешките на кои најверојатно ќе наидете и проверка во една линија на излезната IP-адреса на ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Приватен IPv4 (датацентар)
🇺🇸 Соединети Американски Држави
На залиха
Од
1,10 US$ / IP / месец
Попусти на количина
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Купи во Соединети Американски Држави
Приватен IPv4 (датацентар)
🇻🇳 Виетнам
На залиха
Од
1,10 US$ / IP / месец
Попусти на количина
  • 1 IP1,85 US$
  • 3+ IP1,70 US$
  • 10+ IP1,60 US$
  • 25+ IP1,50 US$
  • 50+ IP1,40 US$
  • 100+ IP1,30 US$
  • 200+ IP1,20 US$
  • 500+ IP1,10 US$
Купи во Виетнам
Проксија по платформа:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Објаснување на речникот proxies

ПоставкаВредностПричина
'http' клуч'http://user:pass@ip:port'Се користи за обични http:// URL-адреси
'https' клуч'http://user:pass@ip:port'Сè уште е http:// прокси URL: urllib3 бара CONNECT тунел од проксито и извршува TLS внатре во него
timeouttimeout=(5, 15)5 s за поврзување, 15 s за читање, за недостапна цел да не може да замрзне нишка
Ротацијаitertools.cycle(proxy_list)Ги распределува вашите статични IP-адреси по ред

Зошто Session е подобар избор од обичен requests.get()

Секој повикан requests.get() на највисоко ниво гради нов базен на врски, па TCP врската со проксито и TLS ракувањето со страницата се повторуваат секој пат. Session ги одржува тие врски активни меѓу повиците. За скрипта што презема стотици страници преку една IP, таа разлика е забележлива во вкупното време на извршување.

Поставете s.proxies.update(proxies) еднаш и секој s.get() и s.post() ќе оди преку проксито. Важно е да знаете: ако HTTP_PROXY или HTTPS_PROXY се поставени во околината, requests може да ги комбинира со поставките на сесијата; проследете proxies= во самиот повик кога треба да бидете сигурни кое точно се користи.

Грешки и како да ги разберете

  • ProxyError со 407 Proxy Authentication Required: проксито е достапно, но најавата во вашата URL-адреса не одговара на нарачката. Погледнете ја страницата за грешка 407
  • Лозинките што содржат @, : или / ја расипуваат URL-адресата; прво кодирајте ги со urllib.parse.quote(password, safe='')
  • Менувањето на прокси URL-адресата во https:// обично ја прекинува врската; задржете http:// за двата клуча освен ако вашата прокси порта не е специфично TLS порта
  • ConnectTimeout укажува на проблем со IP-адресата или портата, а не со податоците за најава; тестирајте ја достапноста со алатката за проверка на порти

Истиот шаблон во httpx и aiohttp

Форматот на URL-адресата се пренесува исто. Во httpx, креирајте httpx.Client(proxy='http://user:pass@ip:port'); во aiohttp, проследете proxy= на session.get(url, proxy=...). Поголемите индексирања со распоредување и повторни обиди обично се полесни во Scrapy.

Чекор по чекор

  1. 1

    Креирајте ја прокси URL-адресата

    Препишете ја секоја ProxyV4 ip:port:user:pass линија како http://user:pass@ip:port или конвертирајте ја целата листа со конверторот за формати на прокси.

  2. 2

    Креирајте го речникот

    Напишете proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Поврзете го со Session

    Креирајте s = requests.Session() и повикајте s.proxies.update(proxies) за врските да останат активни меѓу барањата.

  4. 4

    Испечатете ја излезната IP-адреса

    Извршете print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); IP-адресата во резултатот треба да биде онаа на проксито.

Често поставувани прашања

Зошто записот за 'https' е http:// URL?

Шемата опишува како Python комуницира со проксито, а не со веб-страницата. urllib3 се поврзува со проксито преку обичен HTTP, испраќа CONNECT и потоа воспоставува TLS со https:// страницата преку тој тунел, па сообраќајот на страницата останува енкриптиран.

Како да ги распределам барањата на 25 статични проксија?

Ставете ги 25-те URL-адреси во листа, креирајте pool = itertools.cycle(PROXIES) и за секое барање земете p = next(pool) и проследете proxies={'http': p, 'https': p}. Одржувајте разумно одложување по IP за ниту една адреса да не биде преоптоварена.

Дали сообраќајот од Python скриптите се мери?

Не. Приватните IPv4 и статичните ISP пакети на ProxyV4 доаѓаат со неограничен проток, па долготрајните скрипти нема да наидат на ограничување на податоците.

Извори

Базен од статични IP-адреси за Python скрипти

Приватни IPv4 во 7 земји плус статични ISP во САД и Виетнам. Купете единечна IP или пакет; цената по IP се намалува со количината.

Проверете ги цените за САД во живо

Related articles

Проксија по платформа
Проксија за веб-скрапинг: фиксен пул на IP-адреси со неограничен сообраќај
Проксија за веб-скрапинг за Python, Scrapy, Playwright и Selenium: пул од приватни IPv4 и статички ISP адреси, неограничен сообраќај, фиксна цена по IP.
Поставување прокси
Автентикација на Playwright прокси, една статичка IP по контекст
Доделете автентицирано HTTP(S) прокси на секој Playwright контекст во Node.js или Python, усогласете ги зоната и јазикот и потврдете ја излезната адреса.
Поставување прокси
Scrapy проксија: meta['proxy'], редослед на middleware и ротација
Користете автентицирани HTTP(S) проксија во Scrapy: поставете request.meta['proxy'], наредете пред HttpProxyMiddleware (750), ротирајте IP и темпирајте crawl.
Бесплатни алатки
Претворете ја прокси листата во форматот што го бара вашата алатка
Масовно конвертирајте прокси листи во вашиот прелистувач меѓу ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON низи и фајлови за FoxyProxy.
Проксија по платформа
Проксија за следење SEO ранг: видете ја страницата со резултати како локален корисник
SEO проксија за следење ранг со приватна IPv4 во САД, ОК, Виетнам, Јапонија и уште 4 пазари, за рангирањата, пакетите и рекламите да се како кај локалците.
Проксија по платформа
Amazon продавачки проксија што на секоја сметка ѝ даваат трајна адреса
Amazon проксија за Seller Central, KDP и Merch: статички US ISP или приватни UK/Јапонија IPv4 за секоја сметка, резервирани само за вас и трајни при обнова.
IPV4 · united states
Пул од приватни IPv4 проксија во САД за скрејпинг, следење рангирање и проверка на реклами
Купете US приватни IPv4 проксија: статички датацентар IP, еден корисник по IP, неограничен сообраќај. За scraping, следење SERP и проверка на US огласи.
IPV4 · vietnam
Виетнамско приватно IPv4 прокси: Една фиксна IP-адреса по сметка на големо
Приватни IPv4 проксија за Виетнам: статички датацентар IP-адреси, по еден корисник, цена за количина. За сидинг профили, споредни Shopee продавници и алатки.