Запити в Python requests через проксі з авторизацією: покроково
Від інженерної команди ProxyV4 · Updated:
Щоб використовувати проксі в Python requests, передайте словник proxies, у якому обидва ключі 'http' та 'https' вказують на http://user:pass@ip:port. Задайте цей словник для requests.Session(), і те саме з'єднання з проксі перевикористовуватиметься для кожного виклику, що швидше, ніж відкривати нове для кожного запиту. Нижче: словник, сесія, типові помилки та однорядковий спосіб перевірки вихідного IP ProxyV4.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 USD
- Від 3 IP1,70 USD
- Від 10 IP1,60 USD
- Від 25 IP1,50 USD
- Від 50 IP1,40 USD
- Від 100 IP1,30 USD
- Від 200 IP1,20 USD
- Від 500 IP1,10 USD
- 1 IP1,85 USD
- Від 3 IP1,70 USD
- Від 10 IP1,60 USD
- Від 25 IP1,50 USD
- Від 50 IP1,40 USD
- Від 100 IP1,30 USD
- Від 200 IP1,20 USD
- Від 500 IP1,10 USD
Розбір словника proxies
| Параметр | Значення | Призначення |
|---|---|---|
Ключ 'http' | 'http://user:pass@ip:port' | Використовується для звичайних http://-URL |
Ключ 'https' | 'http://user:pass@ip:port' | Усе одно URL проксі з http://: urllib3 запитує в проксі тунель CONNECT і запускає TLS усередині нього |
timeout | timeout=(5, 15) | 5 с на з'єднання, 15 с на читання, щоб неробочий ресурс не заблокував потік |
| Ротація | itertools.cycle(proxy_list) | Видає ваші статичні IP по черзі |
Чому Session кращий за звичайний requests.get()
Кожен окремий виклик requests.get() створює новий пул з'єднань, тому TCP-з'єднання з проксі та TLS-рукостискання із сайтом повторюються щоразу. Session підтримує ці з'єднання відкритими між викликами. Для скрипту, який завантажує сотні сторінок через один IP, ця різниця помітно впливає на загальний час роботи.
Встановіть s.proxies.update(proxies) один раз, і кожен s.get() та s.post() проходитиме через проксі. Важливий нюанс: якщо в системному середовищі задано HTTP_PROXY або HTTPS_PROXY, requests може об'єднати їх із налаштуваннями сесії; передавайте proxies= безпосередньо у виклику, коли потрібно чітко визначити, що саме використовується.
Помилки та як їх інтерпретувати
ProxyErrorіз407 Proxy Authentication Required: проксі доступний, але логін або пароль у вашому URL не збігається із замовленням. Дивіться сторінку помилки 407- Паролі, що містять
@,:або/, порушують структуру URL; спершу закодуйте їх за допомогоюurllib.parse.quote(password, safe='') - Зміна протоколу URL проксі на
https://зазвичай призводить до помилки з'єднання; залишайтеhttp://для обох ключів, якщо тільки порт вашого проксі не налаштовано спеціально під TLS ConnectTimeoutвказує на проблему з IP або портом, а не з обліковими даними; перевірте доступність за допомогою чекера портів
Той самий підхід у httpx та aiohttp
Формат URL залишається таким самим. У httpx створіть httpx.Client(proxy='http://user:pass@ip:port'); в aiohttp передайте proxy= у session.get(url, proxy=...). Для масштабнішого скрапінгу з плануванням і повторними спробами зазвичай зручніше використовувати Scrapy.
Покрокова інструкція
- 1
Сформуйте URL проксі
Перепишіть кожен рядок ProxyV4 вигляду
ip:port:user:passякhttp://user:pass@ip:portабо конвертуйте весь список за допомогою конвертера форматів проксі. - 2
Створіть словник
Задайте
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}. - 3
Підключіть його до Session
Створіть
s = requests.Session()та викличтеs.proxies.update(proxies), щоб з'єднання залишалися відкритими між запитами. - 4
Виведіть вихідний IP
Виконайте
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); отриманий IP має належати проксі.
Часті запитання
Чому для 'https' використовується URL із http://?
Схема визначає, як саме Python зв'язується з проксі, а не з кінцевим сайтом. urllib3 підключається до проксі через звичайний HTTP, надсилає запит CONNECT, а потім встановлює TLS-з'єднання із сайтом https:// крізь цей тунель, тому трафік сторінки залишається зашифрованим.
Як розподілити запити між 25 статичними проксі?
Додайте 25 URL у список, створіть pool = itertools.cycle(PROXIES) і для кожного запиту отримуйте p = next(pool), передаючи proxies={'http': p, 'https': p}. Робіть розумні паузи між запитами для кожного IP, щоб не перевантажувати жодну окрему адресу.
Чи тарифікується трафік від Python-скриптів?
Ні. Приватні IPv4 та статичні ISP тарифи від ProxyV4 постачаються з безлімітним трафіком, тому тривалі скрипти не зіткнуться з лімітами на обсяг даних.
Джерела
Пул статичних IP для Python-скриптів
Приватні IPv4 у 7 країнах, а також статичні ISP у США та В'єтнамі. Купуйте один IP або пакетом; ціна за IP знижується зі збільшенням кількості.
Дізнатися актуальні ціни в США