ProxyV4

Python requests przez proxy z autoryzacją krok po kroku

· Updated:

Aby użyć proxy w bibliotece Python requests, przekaż słownik proxies, którego klucze 'http' i 'https' wskazują na http://user:pass@ip:port. Przypisz ten słownik do requests.Session(), a to samo połączenie z proxy będzie wykorzystywane ponownie przy każdym wywołaniu, co jest szybsze niż otwieranie nowego dla każdego żądania. Poniżej: słownik, sesja, błędy, na które możesz natrafić, oraz jednolinijkowe sprawdzenie wyjściowego IP ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Prywatne IPv4 (datacenter)
🇺🇸 Stany Zjednoczone
Dostępne
Od
1,10 USD / IP / miesiąc
Rabaty ilościowe
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kup Stany Zjednoczone
Prywatne IPv4 (datacenter)
🇻🇳 Wietnam
Dostępne
Od
1,10 USD / IP / miesiąc
Rabaty ilościowe
  • 1 IP1,85 USD
  • 3+ IP1,70 USD
  • 10+ IP1,60 USD
  • 25+ IP1,50 USD
  • 50+ IP1,40 USD
  • 100+ IP1,30 USD
  • 200+ IP1,20 USD
  • 500+ IP1,10 USD
Kup Wietnam

Wyjaśnienie słownika proxies

UstawienieWartośćPowód
Klucz 'http''http://user:pass@ip:port'Używany dla zwykłych adresów URL http://
Klucz 'https''http://user:pass@ip:port'Nadal adres URL proxy http://: biblioteka urllib3 żąda od proxy tunelu CONNECT i uruchamia w nim TLS
timeouttimeout=(5, 15)5 s na połączenie, 15 s na odczyt, dzięki czemu niedziałający cel nie zawiesi wątku
Rotacjaitertools.cycle(proxy_list)Rozdziela Twoje statyczne adresy IP po kolei

Dlaczego Session wygrywa ze zwykłym requests.get()

Każde wywołanie requests.get() najwyższego poziomu tworzy nową pulę połączeń, więc połączenie TCP z proxy oraz uzgadnianie TLS z witryną są powtarzane za każdym razem. Obiekt Session utrzymuje te połączenia aktywne między wywołaniami. W przypadku skryptu, który pobiera setki stron przez jedno IP, różnica ta jest wyraźnie widoczna w całkowitym czasie działania.

Ustaw s.proxies.update(proxies) raz, a każde wywołanie s.get() i s.post() przejdzie przez proxy. Warto pamiętać: jeśli zmienne środowiskowe HTTP_PROXY lub HTTPS_PROXY są ustawione, requests może połączyć je z ustawieniami sesji; przekaż proxies= bezpośrednio w wywołaniu, gdy musisz mieć pewność, które ustawienie zostanie użyte.

Błędy i jak je interpretować

  • ProxyError z 407 Proxy Authentication Required: proxy jest osiągalne, ale dane logowania w Twoim adresie URL nie pasują do zamówienia. Zobacz stronę błędu 407
  • Hasła zawierające @, : lub / psują strukturę adresu URL; zakoduj je najpierw za pomocą urllib.parse.quote(password, safe='')
  • Zmiana adresu URL proxy na https:// zwykle zrywa połączenie; zachowaj http:// dla obu kluczy, chyba że Twój port proxy jest wyraźnie portem TLS
  • ConnectTimeout wskazuje na problem z adresem IP lub portem, a nie z danymi logowania; przetestuj dostępność za pomocą narzędzia port checker

Ten sam wzorzec w httpx i aiohttp

Format adresu URL pozostaje taki sam. W httpx utwórz httpx.Client(proxy='http://user:pass@ip:port'); w aiohttp przekaż proxy= do session.get(url, proxy=...). Większe zadania scrapingu z harmonogramem i ponawianiem prób są zwykle łatwiejsze w Scrapy.

Krok po kroku

  1. 1

    Zbuduj adres URL proxy

    Zapisz każdy wiersz ProxyV4 w formacie ip:port:user:pass jako http://user:pass@ip:port lub przekonwertuj całą listę za pomocą narzędzia konwerter formatu proxy.

  2. 2

    Utwórz słownik

    Zapisz proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Przypisz go do Session

    Utwórz s = requests.Session() i wywołaj s.proxies.update(proxies), aby połączenia były utrzymywane między żądaniami.

  4. 4

    Wyświetl wyjściowy adres IP

    Uruchom print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); wyświetlony adres IP powinien należeć do proxy.

Często zadawane pytania

Dlaczego wpis 'https' to adres URL http://?

Schemat określa sposób, w jaki Python komunikuje się z proxy, a nie ze stroną internetową. Biblioteka urllib3 łączy się z proxy przez zwykłe HTTP, wysyła CONNECT, a następnie nawiązuje połączenie TLS ze stroną https:// wewnątrz tego tunelu, dzięki czemu ruch do witryny pozostaje zaszyfrowany.

Jak rozdzielić żądania na 25 statycznych serwerów proxy?

Umieść 25 adresów URL na liście, utwórz pool = itertools.cycle(PROXIES), a przy każdym żądaniu pobieraj p = next(pool) i przekazuj proxies={'http': p, 'https': p}. Zachowaj rozsądne opóźnienie dla każdego adresu IP, aby nie przeciążać pojedynczego adresu.

Czy ruch ze skryptów w Pythonie jest limitowany?

Nie. Pakiety prywatnych IPv4 oraz statycznych ISP w ProxyV4 oferują nielimitowany transfer, więc długo działające skrypty nie napotkają limitu danych.

Źródła

Pula statycznych IP dla skryptów w Pythonie

Prywatne IPv4 w 7 krajach oraz statyczne ISP w USA i Wietnamie. Kup pojedynczy adres IP lub pakiet; cena za IP spada wraz z ilością.

Sprawdź aktualne ceny w USA

Related articles

Proxy według platform
Proxy do web scrapingu: stała pula IP bez limitu transferu
Proxy do web scrapingu dla Python, Scrapy, Playwright i Selenium: pula prywatnych IPv4 i statycznych ISP, bez limitu transferu i stała cena za IP.
Konfiguracja proxy
Uwierzytelnianie proxy w Playwright: jedno statyczne IP na kontekst
Przypisz każdemu kontekstowi Playwright własne proxy HTTP(S) w Node.js lub Pythonie, dopasuj strefę i język do IP oraz sprawdź adres wyjściowy.
Konfiguracja proxy
Proxy w Scrapy: meta['proxy'], kolejność middleware i rotacja
Użyj proxy HTTP(S) z autoryzacją w Scrapy: ustaw request.meta['proxy'], umieść middleware przed HttpProxyMiddleware (750), rotuj IP i kontroluj tempo pracy.
Darmowe narzędzia
Zmień format listy proxy na wymagany przez Twoje narzędzie
Konwertuj masowo w przeglądarce listy proxy między ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, tablicami JSON i plikami importu FoxyProxy.
Proxy według platform
Proxy do monitoringu pozycji SEO: zobacz stronę wyników oczami lokalnego użytkownika
Proxy SEO z prywatnym IPv4 w USA, UK, Wietnamie, Japonii i 4 innych krajach. Pozycje, wyniki lokalne i reklamy odpowiadają temu, co widzą lokalni użytkownicy.
Proxy według platform
Proxy dla sprzedawców Amazon: stały adres IP dla każdego konta
Proxy dla sprzedawców Amazon pod Seller Central, KDP i Merch: statyczne ISP w USA lub prywatne IPv4 w UK/Japonii na konto, na wyłączność i stałe po odnowieniu.
IPV4 · united states
Pula prywatnych proxy IPv4 w USA do scrapingu, śledzenia pozycji i weryfikacji reklam
Kup prywatne proxy IPv4 w USA: statyczne IP z datacenter, jeden użytkownik na IP, nielimitowany transfer. Do scrapingu, monitoringu SERP i weryfikacji reklam.
IPV4 · vietnam
Prywatne proxy IPv4 w Wietnamie: jeden stały adres IP na konto przy dużej skali
Prywatne proxy IPv4 z Wietnamu: statyczne IP z centrum danych, na wyłączność, taniej w pakiecie. Do seedingu profili, zapasowych sklepów Shopee i narzędzi.