Python requests аутентификацияланган прокси аркылуу, кадам-кадамы менен
ProxyV4 инженердик тобу тарабынан · Updated:
Python requests'те прокси колдонуу үчүн, 'http' жана 'https' ачкычтары тең http://user:pass@ip:port дарегин көрсөткөн proxies сөздүгүн өткөрүңүз. Ал сөздүктү requests.Session() объектисине жүктөсөңүз, проксиге болгон ошол эле байланыш ар бир чакыруу үчүн кайра колдонулат, бул ар бир сурамга жаңысын ачканга караганда тезирээк. Төмөндө: сөздүк, сессия, сиз кабылышы мүмкүн болгон каталар жана ProxyV4 чыгуучу IP дарегин бир сапта текшерүү.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
- 1 IP1,85 USD
- 3+ IP1,70 USD
- 10+ IP1,60 USD
- 25+ IP1,50 USD
- 50+ IP1,40 USD
- 100+ IP1,30 USD
- 200+ IP1,20 USD
- 500+ IP1,10 USD
proxies сөздүгү жөнүндө түшүндүрмө
| Параметр | Мааниси | Себеби |
|---|---|---|
'http' ачкычы | 'http://user:pass@ip:port' | Жөнөкөй http:// URL даректери үчүн колдонулат |
'https' ачкычы | 'http://user:pass@ip:port' | Дагы эле http:// прокси URL дареги: urllib3 проксиден CONNECT туннелин сурайт жана анын ичинде TLS иштетет |
timeout | timeout=(5, 15) | Туташуу үчүн 5 с, окуу үчүн 15 с, ошондуктан иштебей калган максаттуу түйүн агымды токтотуп коё албайт |
| Ротация | itertools.cycle(proxy_list) | Сиздин статикалык IP даректериңизди кезек менен берет |
Эмне үчүн Session жөнөкөй requests.get() караганда артыкчылыктуу
Жогорку деңгээлдеги ар бир requests.get() чакыруусу байланыштардын жаңы пулун курат, андыктан прокси менен TCP байланышы жана сайт менен TLS кол алышуусу ар бир жолу кайталанат. Session бул байланыштарды чакыруулардын ортосунда активдүү сактайт. Бир IP аркылуу жүздөгөн барактарды жүктөгөн скрипт үчүн бул айырма жалпы иштөө убактысынан даана байкалат.
s.proxies.update(proxies) сабын бир жолу орнотсоңуз, ар бир s.get() жана s.post() прокси аркылуу өтөт. Бир нерсени билүү керек: эгер айлана-чөйрөдө HTTP_PROXY же HTTPS_PROXY орнотулган болсо, requests аларды сессиянын жөндөөлөрү менен айкалыштырышы мүмкүн; кайсынысы колдонулуп жатканына толук ишенүү керек болгондо чакыруунун өзүндө proxies= параметрин өткөрүңүз.
Каталар жана аларды кантип түшүнүү керек
ProxyErrorжана407 Proxy Authentication Required: прокси жеткиликтүү, бирок URL дарегиңиздеги логин буйрутмага дал келбейт. 407 катасынын барагын караңыз- Курамында
@,:же/белгилери бар сырсөздөр URL дарегин бузат; аларды алгачurllib.parse.quote(password, safe='')менен коддоңуз - Прокси URL дарегин
https://форматына өзгөртүү адатта байланышты үзөт; эгер прокси портуңуз атайын TLS порту болбосо, эки ачкыч үчүн теңhttp://сактаңыз ConnectTimeoutлогин-сырсөздү эмес, IP даректи же портту көрсөтөт; жеткиликтүүлүктү порт текшергич менен текшериңиз
httpx жана aiohttp китепканаларындагы окшош ыкма
URL форматы өзгөрүүсүз калат. httpx китепканасында httpx.Client(proxy='http://user:pass@ip:port') түзүңүз; aiohttp китепканасында болсо session.get(url, proxy=...) чакыруусуна proxy= өткөрүңүз. Графикке салуу жана кайра аракет кылуу талап кылынган чоңураак скрапингди Scrapy аркылуу аткаруу адатта оңоюраак.
Кадам-кадам боюнча
- 1
Прокси URL дарегин куруу
Ар бир ProxyV4
ip:port:user:passсабынhttp://user:pass@ip:portкатары кайра жазыңыз, же бүтүндөй тизмени прокси форматын өзгөрткүч менен айландырыңыз. - 2
Сөздүктү түзүү
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}деп жазыңыз. - 3
Аны Session'го байлоо
s = requests.Session()түзүп, сурамдардын ортосунда байланыштар активдүү сакталышы үчүнs.proxies.update(proxies)чакырыңыз. - 4
Чыгуучу IP даректи чыгаруу
print(s.get('https://proxyv4.com/api/my-ip', timeout=10).json())кодун иштетиңиз; натыйжадагы IP дарек проксиники болушу керек.
Көп берилүүчү суроолор
Why is the 'https' entry an http:// URL?
Бул схема Python веб-сайт менен эмес, прокси менен кандай байланышарын сүрөттөйт. urllib3 проксиге жөнөкөй HTTP аркылуу туташып, CONNECT жөнөтөт жана ошол туннель аркылуу https:// сайты менен TLS байланышын түзөт, андыктан баракчанын трафиги баары бир шифрленген бойдон калат.
Сурамдарды 25 статикалык проксиге кантип бөлүштүрөм?
25 URL дарегин тизмеге салыңыз, pool = itertools.cycle(PROXIES) түзүңүз, жана ар бир сурам үчүн p = next(pool) алып, proxies={'http': p, 'https': p} өткөрүңүз. Бир дагы дарекке ашыкча күч келбеши үчүн ар бир IP боюнча акылга сыярлык тыныгуу сактаңыз.
Python скрипттеринен келген трафик өлчөнөбү?
Жок. ProxyV4 жеке IPv4 жана статикалык ISP тарифтери чексиз өткөрүү жөндөмдүүлүгү менен келет, андыктан узак иштеген скрипттер трафик лимитине такалбайт.
Булактар
Python скрипттери үчүн статикалык IP пулу
7 өлкөдө жеке IPv4 жана АКШ менен Вьетнамда статикалык ISP. Бир же бир нече IP сатып алыңыз; бир IP баасы санга жараша арзандайт.
АКШ боюнча актуалдуу бааларды көрүү