ProxyV4

Запити в Python requests через проксі з авторизацією: покроково

· Updated:

Щоб використовувати проксі в Python requests, передайте словник proxies, у якому обидва ключі 'http' та 'https' вказують на http://user:pass@ip:port. Задайте цей словник для requests.Session(), і те саме з'єднання з проксі перевикористовуватиметься для кожного виклику, що швидше, ніж відкривати нове для кожного запиту. Нижче: словник, сесія, типові помилки та однорядковий спосіб перевірки вихідного IP ProxyV4.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Приватні IPv4 (дата-центри)
🇺🇸 Сполучені Штати
В наявності
Від
1,10 USD / IP / місяць
Знижки за кількість
  • 1 IP1,85 USD
  • Від 3 IP1,70 USD
  • Від 10 IP1,60 USD
  • Від 25 IP1,50 USD
  • Від 50 IP1,40 USD
  • Від 100 IP1,30 USD
  • Від 200 IP1,20 USD
  • Від 500 IP1,10 USD
Купити Сполучені Штати
Приватні IPv4 (дата-центри)
🇻🇳 В'єтнам
В наявності
Від
1,10 USD / IP / місяць
Знижки за кількість
  • 1 IP1,85 USD
  • Від 3 IP1,70 USD
  • Від 10 IP1,60 USD
  • Від 25 IP1,50 USD
  • Від 50 IP1,40 USD
  • Від 100 IP1,30 USD
  • Від 200 IP1,20 USD
  • Від 500 IP1,10 USD
Купити В'єтнам
Проксі за платформами:Web Scraping & CrawlingSEO & SERP TrackingAmazon

Розбір словника proxies

ПараметрЗначенняПризначення
Ключ 'http''http://user:pass@ip:port'Використовується для звичайних http://-URL
Ключ 'https''http://user:pass@ip:port'Усе одно URL проксі з http://: urllib3 запитує в проксі тунель CONNECT і запускає TLS усередині нього
timeouttimeout=(5, 15)5 с на з'єднання, 15 с на читання, щоб неробочий ресурс не заблокував потік
Ротаціяitertools.cycle(proxy_list)Видає ваші статичні IP по черзі

Чому Session кращий за звичайний requests.get()

Кожен окремий виклик requests.get() створює новий пул з'єднань, тому TCP-з'єднання з проксі та TLS-рукостискання із сайтом повторюються щоразу. Session підтримує ці з'єднання відкритими між викликами. Для скрипту, який завантажує сотні сторінок через один IP, ця різниця помітно впливає на загальний час роботи.

Встановіть s.proxies.update(proxies) один раз, і кожен s.get() та s.post() проходитиме через проксі. Важливий нюанс: якщо в системному середовищі задано HTTP_PROXY або HTTPS_PROXY, requests може об'єднати їх із налаштуваннями сесії; передавайте proxies= безпосередньо у виклику, коли потрібно чітко визначити, що саме використовується.

Помилки та як їх інтерпретувати

  • ProxyError із 407 Proxy Authentication Required: проксі доступний, але логін або пароль у вашому URL не збігається із замовленням. Дивіться сторінку помилки 407
  • Паролі, що містять @, : або /, порушують структуру URL; спершу закодуйте їх за допомогою urllib.parse.quote(password, safe='')
  • Зміна протоколу URL проксі на https:// зазвичай призводить до помилки з'єднання; залишайте http:// для обох ключів, якщо тільки порт вашого проксі не налаштовано спеціально під TLS
  • ConnectTimeout вказує на проблему з IP або портом, а не з обліковими даними; перевірте доступність за допомогою чекера портів

Той самий підхід у httpx та aiohttp

Формат URL залишається таким самим. У httpx створіть httpx.Client(proxy='http://user:pass@ip:port'); в aiohttp передайте proxy= у session.get(url, proxy=...). Для масштабнішого скрапінгу з плануванням і повторними спробами зазвичай зручніше використовувати Scrapy.

Покрокова інструкція

  1. 1

    Сформуйте URL проксі

    Перепишіть кожен рядок ProxyV4 вигляду ip:port:user:pass як http://user:pass@ip:port або конвертуйте весь список за допомогою конвертера форматів проксі.

  2. 2

    Створіть словник

    Задайте proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}.

  3. 3

    Підключіть його до Session

    Створіть s = requests.Session() та викличте s.proxies.update(proxies), щоб з'єднання залишалися відкритими між запитами.

  4. 4

    Виведіть вихідний IP

    Виконайте print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()); отриманий IP має належати проксі.

Часті запитання

Чому для 'https' використовується URL із http://?

Схема визначає, як саме Python зв'язується з проксі, а не з кінцевим сайтом. urllib3 підключається до проксі через звичайний HTTP, надсилає запит CONNECT, а потім встановлює TLS-з'єднання із сайтом https:// крізь цей тунель, тому трафік сторінки залишається зашифрованим.

Як розподілити запити між 25 статичними проксі?

Додайте 25 URL у список, створіть pool = itertools.cycle(PROXIES) і для кожного запиту отримуйте p = next(pool), передаючи proxies={'http': p, 'https': p}. Робіть розумні паузи між запитами для кожного IP, щоб не перевантажувати жодну окрему адресу.

Чи тарифікується трафік від Python-скриптів?

Ні. Приватні IPv4 та статичні ISP тарифи від ProxyV4 постачаються з безлімітним трафіком, тому тривалі скрипти не зіткнуться з лімітами на обсяг даних.

Джерела

Пул статичних IP для Python-скриптів

Приватні IPv4 у 7 країнах, а також статичні ISP у США та В'єтнамі. Купуйте один IP або пакетом; ціна за IP знижується зі збільшенням кількості.

Дізнатися актуальні ціни в США

Related articles

Проксі за платформами
Проксі для парсингу: фіксований пул IP з безлімітним трафіком
Проксі для парсингу сайтів на Python, Scrapy, Playwright і Selenium: пул приватних IPv4 та статичних ISP-адрес, безлімітний трафік, фіксована ціна за IP.
Налаштування проксі
Автентифікація проксі у Playwright: окремий статичний IP для кожного контексту
Задайте кожному контексту Playwright власний авторизований HTTP(S)-проксі в Node.js чи Python, підберіть таймзону й локаль під IP та перевірте вихідну адресу.
Налаштування проксі
Проксі для Scrapy: meta['proxy'], порядок middleware та ротація
Авторизовані HTTP(S)-проксі у Scrapy: задайте request.meta['proxy'], ставте свій middleware перед HttpProxyMiddleware (750), ротуйте IP та регулюйте темп.
Безкоштовні інструменти
Перетворіть список проксі у формат, потрібний вашому інструменту
Масово конвертуйте списки проксі у браузері між ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, масивами JSON та файлами імпорту FoxyProxy.
Проксі за платформами
Проксі для трекінгу позицій в SEO: дивіться видачу очима місцевого користувача
SEO-проксі з приватним IPv4 у США, Великій Британії, В'єтнамі, Японії та ще 4 ринках: позиції, локальні блоки й реклама збігаються з тим, що бачать місцеві.
Проксі за платформами
Проксі для Amazon, що дають кожному акаунту постійну адресу
Проксі для Amazon під Seller Central, KDP та Merch: статичний ISP у США чи приватний IPv4 у Британії/Японії на акаунт. В одні руки, без змін при продовженні.
IPV4 · united states
Пул приватних IPv4-проксі США для парсингу, відстеження позицій та перевірки реклами
Купуйте приватні IPv4-проксі США: статичні датацентр-IP, один клієнт на адресу, безлімітний трафік. Для скрапінгу, трекінгу SERP та перевірки реклами в США.
IPV4 · vietnam
Приватні IPv4-проксі В'єтнаму: один фіксований IP на акаунт у великих обсягах
Приватні IPv4 проксі В'єтнаму: статичні датацентрові IP в одні руки, оптові ціни. Для профілів сідингу, додаткових магазинів Shopee та робочих інструментів.