Python requests przez proxy z autoryzacją krok po kroku
Autor: Zespół inżynierski ProxyV4 · Updated:
Aby użyć proxy w bibliotece Python requests, przekaż słownik proxies, którego klucze 'http' i 'https' wskazują na http://user:pass@ip:port. Przypisz ten słownik do requests.Session(), a to samo połączenie z proxy będzie wykorzystywane ponownie przy każdym wywołaniu, co jest szybsze niż otwieranie nowego dla każdego żądania. Poniżej: słownik, sesja, błędy, na które możesz natrafić, oraz jednolinijkowe sprawdzenie wyjściowego IP ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
Wyjaśnienie słownika proxies
| Ustawienie | Wartość | Powód |
|---|---|---|
Klucz 'http' | 'http://user:pass@ip:port' | Używany dla zwykłych adresów URL http:// |
Klucz 'https' | 'http://user:pass@ip:port' | Nadal adres URL proxy http://: biblioteka urllib3 żąda od proxy tunelu CONNECT i uruchamia w nim TLS |
timeout | timeout=(5, 15) | 5 s na połączenie, 15 s na odczyt, dzięki czemu niedziałający cel nie zawiesi wątku |
| Rotacja | itertools.cycle(proxy_list) | Rozdziela Twoje statyczne adresy IP po kolei |
Dlaczego Session wygrywa ze zwykłym requests.get()
Każde wywołanie requests.get() najwyższego poziomu tworzy nową pulę połączeń, więc połączenie TCP z proxy oraz uzgadnianie TLS z witryną są powtarzane za każdym razem. Obiekt Session utrzymuje te połączenia aktywne między wywołaniami. W przypadku skryptu, który pobiera setki stron przez jedno IP, różnica ta jest wyraźnie widoczna w całkowitym czasie działania.
Ustaw s.proxies.update(proxies) raz, a każde wywołanie s.get() i s.post() przejdzie przez proxy. Warto pamiętać: jeśli zmienne środowiskowe HTTP_PROXY lub HTTPS_PROXY są ustawione, requests może połączyć je z ustawieniami sesji; przekaż proxies= bezpośrednio w wywołaniu, gdy musisz mieć pewność, które ustawienie zostanie użyte.
Błędy i jak je interpretować
ProxyErrorz407 Proxy Authentication Required: proxy jest osiągalne, ale dane logowania w Twoim adresie URL nie pasują do zamówienia. Zobacz stronę błędu 407- Hasła zawierające
@,:lub/psują strukturę adresu URL; zakoduj je najpierw za pomocąurllib.parse.quote(password, safe='') - Zmiana adresu URL proxy na
https://zwykle zrywa połączenie; zachowajhttp://dla obu kluczy, chyba że Twój port proxy jest wyraźnie portem TLS ConnectTimeoutwskazuje na problem z adresem IP lub portem, a nie z danymi logowania; przetestuj dostępność za pomocą narzędzia port checker
Ten sam wzorzec w httpx i aiohttp
Format adresu URL pozostaje taki sam. W httpx utwórz httpx.Client(proxy='http://user:pass@ip:port'); w aiohttp przekaż proxy= do session.get(url, proxy=...). Większe zadania scrapingu z harmonogramem i ponawianiem prób są zwykle łatwiejsze w Scrapy.
Krok po kroku
- 1
Zbuduj adres URL proxy
Zapisz każdy wiersz ProxyV4 w formacie
ip:port:user:passjakohttp://user:pass@ip:portlub przekonwertuj całą listę za pomocą narzędzia konwerter formatu proxy. - 2
Utwórz słownik
Zapisz
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Przypisz go do Session
Utwórz
s = requests.Session()i wywołajs.proxies.update(proxies), aby połączenia były utrzymywane między żądaniami. - 4
Wyświetl wyjściowy adres IP
Uruchom
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); wyświetlony adres IP powinien należeć do proxy.
Często zadawane pytania
Dlaczego wpis 'https' to adres URL http://?
Schemat określa sposób, w jaki Python komunikuje się z proxy, a nie ze stroną internetową. Biblioteka urllib3 łączy się z proxy przez zwykłe HTTP, wysyła CONNECT, a następnie nawiązuje połączenie TLS ze stroną https:// wewnątrz tego tunelu, dzięki czemu ruch do witryny pozostaje zaszyfrowany.
Jak rozdzielić żądania na 25 statycznych serwerów proxy?
Umieść 25 adresów URL na liście, utwórz pool = itertools.cycle(PROXIES), a przy każdym żądaniu pobieraj p = next(pool) i przekazuj proxies={'http': p, 'https': p}. Zachowaj rozsądne opóźnienie dla każdego adresu IP, aby nie przeciążać pojedynczego adresu.
Czy ruch ze skryptów w Pythonie jest limitowany?
Nie. Pakiety prywatnych IPv4 oraz statycznych ISP w ProxyV4 oferują nielimitowany transfer, więc długo działające skrypty nie napotkają limitu danych.
Źródła
Pula statycznych IP dla skryptów w Pythonie
Prywatne IPv4 w 7 krajach oraz statyczne ISP w USA i Wietnamie. Kup pojedynczy adres IP lub pakiet; cena za IP spada wraz z ilością.
Sprawdź aktualne ceny w USA