ProxyV4

Python requests аутентификацияланған прокси арқылы, қадам бойынша

· Updated:

Python requests ішінде проксиді пайдалану үшін 'http' және 'https' кілттері http://user:pass@ip:port мәніне сілтейтін proxies сөздігін беріңіз. Бұл сөздікті requests.Session() нысанына орнатсаңыз, проксимен байланыс әрбір шақыру үшін қайта қолданылады, бұл әр сұрау сайын жаңасын ашқаннан әлдеқайда жылдам. Төменде: сөздік, сессия, кездесуі мүмкін қателер және ProxyV4 шығыс IP-ін бір жолмен тексеру жолы көрсетілген.

Python Requests · HTTP
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}
Жеке IPv4 (дата-орталық)
🇺🇸 АҚШ
Қолжетімді
Бастап
1,10 $ / IP / айына
Көлемдік жеңілдіктер
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
АҚШ сатып алу
Жеке IPv4 (дата-орталық)
🇻🇳 Вьетнам
Қолжетімді
Бастап
1,10 $ / IP / айына
Көлемдік жеңілдіктер
  • 1 IP1,85 $
  • 3+ IP1,70 $
  • 10+ IP1,60 $
  • 25+ IP1,50 $
  • 50+ IP1,40 $
  • 100+ IP1,30 $
  • 200+ IP1,20 $
  • 500+ IP1,10 $
Вьетнам сатып алу
Платформаларға арналған проксилер:Web Scraping & CrawlingSEO & SERP TrackingAmazon

proxies сөздігінің түсіндірмесі

БаптауМәніСебебі
'http' key'http://user:pass@ip:port'Қарапайым http:// URL мекенжайлары үшін қолданылады
'https' key'http://user:pass@ip:port'Бәрібір http:// прокси URL-і: urllib3 проксиден CONNECT туннелін сұрайды және оның ішінде TLS іске қосады
timeouttimeout=(5, 15)Қосылуға 5 с, оқуға 15 с, сондықтан жауап бермейтін сервер ағынды бұғаттай алмайды
Rotationitertools.cycle(proxy_list)Статикалық IP мекенжайларыңызды кезекпен береді

Неліктен Session жай requests.get() қарағанда тиімдірек

Әрбір жеке requests.get() шақыруы жаңа қосылымдар пулын құрады, сондықтан проксимен TCP байланысы және сайтпен TLS келісімі (handshake) әр уақытта қайталанады. Session бұл қосылымдарды сұраулар арасында сақтап тұрады. Бір IP арқылы жүздеген беттерді жүктейтін скрипт үшін бұл айырмашылық жалпы жұмыс уақытынан айқын көрінеді.

s.proxies.update(proxies) баптауын бір рет орнатсаңыз, әрбір s.get() және s.post() прокси арқылы өтеді. Бір ескеретін жайт: жүйелік ортада HTTP_PROXY немесе HTTPS_PROXY орнатылған болса, requests оларды сессия параметрлерімен біріктіруі мүмкін; нақты қайсысы қолданылатынына сенімді болу қажет болғанда шақырудың өзіне proxies= параметрін беріңіз.

Қателер және оларды түсіну жолдары

  • 407 Proxy Authentication Required қатесі бар ProxyError: прокси қолжетімді, бірақ URL мекенжайыңыздағы логин тапсырысқа сәйкес келмейді. 407 error page қараңыз
  • Құрамында @, : немесе / таңбалары бар құпия сөздер URL құрылымын бұзады; оларды алдымен urllib.parse.quote(password, safe='') арқылы кодтаңыз
  • Прокси URL мекенжайын https:// деп өзгерту әдетте қосылымды бұзады; егер прокси порты арнайы TLS порты болмаса, екі кілт үшін де http:// қалдырыңыз
  • ConnectTimeout қатесі логин-парольге емес, IP немесе портқа байланысты туындайды; қолжетімділікті port checker арқылы тексеріңіз

httpx және aiohttp кітапханаларындағы осыған ұқсас үлгі

URL форматы өзгеріссіз қалады. httpx ішінде httpx.Client(proxy='http://user:pass@ip:port') жасаңыз; ал aiohttp кітапханасында session.get(url, proxy=...) шақыруына proxy= беріңіз. Жоспарлау мен қайталауды талап ететін үлкен көлемді скрапингті әдетте Scrapy арқылы жүзеге асыру оңайырақ.

Қадамдық нұсқаулық

  1. 1

    Прокси URL мекенжайын құрастыру

    Әрбір ProxyV4 ip:port:user:pass жолын http://user:pass@ip:port ретінде қайта жазыңыз немесе бүкіл тізімді proxy format converter арқылы айырбастаңыз.

  2. 2

    Сөздік жасау

    proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'} деп жазыңыз.

  3. 3

    Оны Session-ге бекіту

    s = requests.Session() жасаңыз және сұраулар арасында қосылымдар үзілмеуі үшін s.proxies.update(proxies) шақырыңыз.

  4. 4

    Шығыс IP-ін шығару

    print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json()) пәрменін іске қосыңыз; шыққан нәтижедегі IP проксидің мекенжайы болуы керек.

Жиі қойылатын сұрақтар

Неліктен 'https' жазбасы http:// URL болып табылады?

Бұл схема веб-сайтпен емес, Python-ның проксимен байланысу тәсілін сипаттайды. urllib3 проксиге қарапайым HTTP арқылы қосылып, CONNECT сұрауын жібереді де, сол туннель арқылы https:// сайтымен TLS орнатады, сондықтан бет трафигі толық шифрланған болып қала береді.

Сұрауларды 25 статикалық проксиге қалай бөлуге болады?

25 URL мекенжайын тізімге салып, pool = itertools.cycle(PROXIES) жасаңыз және әр сұрау үшін p = next(pool) алып, proxies={'http': p, 'https': p} беріңіз. Бір де бір мекенжай шамадан тыс жүктелмеуі үшін әр IP арасында қолайлы кідіріс сақтаңыз.

Python скрипттерінің трафигіне шектеу қойыла ма?

Жоқ. ProxyV4 жеке IPv4 және статикалық ISP тарифтері шексіз трафикпен қамтамасыз етілген, сондықтан ұзақ уақыт жұмыс істейтін скрипттер деректер лимитіне тап болмайды.

Дереккөздер

Python скрипттеріне арналған статикалық IP пулы

7 елдегі жеке IPv4 және АҚШ пен Вьетнамдағы статикалық ISP. Жеке бір IP немесе топтама сатып алыңыз; саны артқан сайын әр IP бағасы арзандайды.

АҚШ бойынша ағымдағы бағаларды тексеру

Related articles

Платформаларға арналған проксилер
Веб-скрейпингке арналған проксилер: шексіз трафигі бар бекітілген IP пулы
Python, Scrapy, Playwright және Selenium үшін веб-скрейпинг проксилері: жеке IPv4 және статикалық ISP пулы, шексіз трафик, әр IP үшін бекітілген баға.
Проксиді баптау
Playwright прокси аутентификациясы: әр контекстке бір статикалық IP
Node.js немесе Python-да әр Playwright контекстіне аутентификациялы HTTP(S) прокси беріңіз, уақыт пен тілді IP-ге сай етіп, шығыс мекенжайды тексеріңіз.
Проксиді баптау
Scrapy проксилері: meta['proxy'], middleware реті және ротация
Scrapy-де аутентификацияланған HTTP(S) прокси орнату: request.meta['proxy'], HttpProxyMiddleware (750) алдындағы рет, IP ротациясы және жиілікті баптау.
Тегін құралдар
Прокси тізімін құралыңыз күтетін форматқа қайта жазыңыз
Браузерде прокси тізімін ip:port:user:pass, user:pass@ip:port, http:// URL, SOCKS5 URI, JSON массиві мен FoxyProxy импорт файлы арасында жаппай түрлендіріңіз.
Платформаларға арналған проксилер
SEO позицияларын бақылауға арналған проксилер: жергілікті іздеуші көретін нәтижелер беті
Позициялар, жергілікті топтама мен жарнама тұрғындар көретіндей болуы үшін АҚШ, Ұлыбритания, Вьетнам, Жапония және тағы 4 нарықтағы жеке IPv4 SEO проксилері.
Платформаларға арналған проксилер
Әр аккаунтқа тұрақты мекенжай беретін Amazon сатушы проксилері
Amazon сатушы проксилері (Seller Central, KDP, Merch): әр аккаунтқа АҚШ статикалық ISP не Ұлыбритания/Жапония жеке IPv4, тек сізге беріліп, ұзартуда сақталады.
IPV4 · united states
Скрейпинг, позицияларды бақылау және жарнаманы тексеруге арналған АҚШ-тың жеке IPv4 прокси пулы
АҚШ жеке IPv4 проксилерін сатып алыңыз: статикалық америкалық ДЦ IP, бір клиентке бір IP, шексіз трафик. Скрейпинг, SERP және АҚШ жарнамасын тексеру үшін.
IPV4 · vietnam
Вьетнамның жеке IPv4 проксиі: үлкен көлемде әр аккаунтқа бір тұрақты IP
Вьетнам жеке IPv4 проксилері: бір тұтынушыға тұрақты дата-орталық IP-лері, көлемге тиімді баға. Сидингке, қосалқы Shopee дүкендері мен құралдарға арналған.