ProxyV4

Proksi za Scrapy: meta['proxy'], mpangilio wa middleware na mzunguko

· Updated:

Katika Scrapy, proksi huwekwa kwa kila ombi kupitia request.meta['proxy'] = 'http://user:pass@ip:port', na HttpProxyMiddleware iliyojengwa ndani (mpangilio 750) hubadilisha sehemu ya user:pass kuwa kichwa cha Proxy-Authorization. Ongeza downloader middleware ndogo inayofanya kazi kabla yake, katika 740, na kila ombi linalotolewa na spider yako linaweza kuchagua IP kutoka kwenye kundi lako la ProxyV4.

Scrapy · HTTP
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 Binafsi (kituo cha data)
🇺🇸 Marekani
Zinapatikana
Kuanzia
US$ 1.10 / IP / mwezi
Punguzo la kiasi
  • IP 1US$ 1.85
  • IP 3+US$ 1.70
  • IP 10+US$ 1.60
  • IP 25+US$ 1.50
  • IP 50+US$ 1.40
  • IP 100+US$ 1.30
  • IP 200+US$ 1.20
  • IP 500+US$ 1.10
Nunua Marekani
IPv4 Binafsi (kituo cha data)
🇬🇧 Uingereza
Zinapatikana
Kuanzia
US$ 1.10 / IP / mwezi
Punguzo la kiasi
  • IP 1US$ 1.85
  • IP 3+US$ 1.70
  • IP 10+US$ 1.60
  • IP 25+US$ 1.50
  • IP 50+US$ 1.40
  • IP 100+US$ 1.30
  • IP 200+US$ 1.20
  • IP 500+US$ 1.10
Nunua Uingereza

Kwa nini nambari ya middleware ni muhimu

Downloader middleware hufanya kazi kwa mpangilio unaopanda wakati wa kutoka. HttpProxyMiddleware katika 750 husoma meta['proxy'], huondoa vitambulisho kutoka kwenye URL na kuandika kichwa cha uthibitishaji. Ikiwa middleware yako itaweka proksi baadaye, kwa mfano katika 800, ile iliyojengwa ndani itakuwa tayari imefanya kazi, vitambulisho havitageuzwa kamwe, na proksi itajibu 407. Kusajili yako katika 740 huifanya iwe ya kwanza.

MpangilioThamani inayopendekezwaMatokeo
request.meta['proxy']'http://user:pass@ip:port'Hutuma ombi hilo kupitia proksi ya ProxyV4 iliyotolewa
Mpangilio wa middleware yako740Hufanya kazi kabla ya HttpProxyMiddleware (750), ili maelezo ya kuingia yaweze kusimbwa
CONCURRENT_REQUESTS_PER_IP2 hadi 4Hupunguza maombi sambamba kwa kila IP lengwa, kikomo cha kistaarabu cha jinsi kila seva inavyopokea maombi
AUTOTHROTTLE_ENABLEDTrueHuruhusu Scrapy kurefusha au kufupisha ucheleweshaji kulingana na kasi ya majibu ya tovuti lengwa

Muhtasari wa middleware ya mzunguko

  • Soma orodha ya proksi kutoka kwenye mipangilio katika from_crawler() na uiweke kwenye instance ya middleware
  • Katika process_request(), weka request.meta['proxy'] = random.choice(self.proxies) isipokuwa kama ombi tayari lina proksi
  • Wakati jibu linaporudi likiwa 429 au 503, lirudie tena kwa kutumia proksi tofauti kutoka kwenye kundi badala ya ile iliyokataliwa punde tu
  • Changanya DOWNLOAD_DELAY = 1.0 na RANDOMIZE_DOWNLOAD_DELAY = True ili nafasi kati ya maombi iweze kutofautiana badala ya kupiga kwa mpigo uleule kama metronome

Kupima ukubwa wa kundi

Crawl ya Scrapy inaweza kutuma maombi mengi kwa dakika, kwa hivyo idadi ya IP huamua jinsi kila moja inavyotumiwa kwa upole. Ukiwa na ProxyV4 hakuna oda ya chini zaidi na bei kwa kila IP hupungua kadiri kiasi kinavyoongezeka, na trafiki ya IPv4 ya faragha haipimwi, hivyo crawl kubwa inagharimu sawa na ndogo kwa kipimo data. Kila IP hutumiwa na mteja mmoja tu, kwa hivyo sifa yake inaakisi crawl yako mwenyewe na si ya mtu mwingine yeyote. Kwa ajili ya kupanga idadi ya maombi ya crawl na ustaarabu, tazama mwongozo wa web scraping.

Hatua kwa hatua

  1. 1

    Andaa URL za proksi

    Geuza mistari yako ya ProxyV4 ya ip:port:user:pass kuwa http://user:pass@ip:port ukitumia kigeuzi cha muundo wa proksi na uihifadhi kwenye mipangilio au faili.

  2. 2

    Andika ProxyPoolMiddleware

    Katika middlewares.py, tekeleza process_request(self, request, spider) ili iweke request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Isajili kabla ya ile iliyojengwa ndani

    Katika settings.py, ongeza 'myproject.middlewares.ProxyPoolMiddleware': 740 kwenye DOWNLOADER_MIDDLEWARES na uweke CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Thibitisha mzunguko

    Leta https://proxyv4.com/api/my-ip mara chache ukitumia scrapy shell au spider fupi ya majaribio na uhakikishe kuwa IP iliyoripotiwa inabadilika katika kundi lako lote.

Maswali yanayoulizwa mara kwa mara

Middleware yangu ya proksi yenye kipaumbele cha 800 inapata hitilafu za 407. Kwa nini?

Katika 800 inafanya kazi baada ya HttpProxyMiddleware (750), kwa hivyo user:pass katika URL ya proksi yako haibadilishwi kamwe kuwa kichwa cha Proxy-Authorization. Sogeza middleware yako chini ya 750, k.m. 740.

Je, ninaweza kuweka proksi kwa ajili ya ombi moja tu?

Ndiyo. Pitisha meta={'proxy': 'http://user:pass@ip:port'} wakati unapounda Request; middleware iliyojengwa ndani hushughulikia uingiaji kwa ombi hilo pekee.

Je, crawl ya mamilioni ya kurasa itafikia kikomo cha kipimo data?

Hapana kwenye proksi za ProxyV4 za IPv4 za faragha au ISP tuli; zote mbili zina kipimo data kisicho na kikomo. Kikomo halisi kinategemea kasi ambayo tovuti lengwa inakuruhusu kufanya crawl.

Vyanzo

IP tuli zisizopimwa kwa ajili ya crawl za Scrapy

IPv4 ya faragha katika nchi 7 pamoja na ISP tuli nchini Marekani na Vietnam, kuanzia IP moja hadi kundi kubwa, kukiwa na bei ya moja kwa moja kulingana na idadi.

Angalia bei za moja kwa moja za US

Related articles

Proksi kwa jukwaa
Proksi za web scraping: kundi thabiti la IP zenye data isiyo na kipimo
Proksi za web scraping za Python, Scrapy, Playwright na Selenium: kundi la anwani binafsi za IPv4 na ISP tulivu, data isiyo na kikomo, bei maalum kwa kila IP.
Usanidi wa proksi
Maombi ya Python requests kupitia proxy iliyothibitishwa, hatua kwa hatua
Tuma maombi ya Python kupitia proxy ya HTTP(S) iliyothibitishwa: tengeneza dict ya proxies, iweke kwenye Session, simba manenosiri, zungusha orodha, kagua IP.
Usanidi wa proksi
Uthibitishaji wa proxy ya Playwright, IP moja tuli kwa kila muktadha
Patia kila muktadha wa Playwright proksi ya HTTP(S) yenye idhini katika Node.js au Python, linganisha eneo la saa na lugha na IP, na uhakiki anwani ya kutoka.
Zana za bure
Badilisha orodha ya proksi iwe katika muundo unaotarajiwa na zana yako
Geuza orodha za proksi kivinjarini kati ya ip:port:user:pass, user:pass@ip:port, URL za http://, URI za SOCKS5, safu za JSON na faili za FoxyProxy kwa wingi.
Proksi kwa jukwaa
Proksi za kufuatilia nafasi za SEO: tazama ukurasa wa matokeo anaoona mtafutaji wa ndani
Proksi za kufuatilia nafasi za SEO zenye IPv4 binafsi US, UK, Vietnam, Japan na masoko mengine 4, ili nafasi na matangazo vilingane na ya wenyeji.
Proksi kwa jukwaa
Proksi za wauzaji wa Amazon zinazopa kila akaunti anwani ya kudumu
Proksi za wauzaji wa Amazon kwa Seller Central, KDP na Merch: ISP tuli ya US au IPv4 binafsi ya UK/Japan kwa akaunti, yako pekee na hubaki unapoihuisha.
IPV4 · united states
Mkusanyiko wa Proxy Binafsi za IPv4 za Marekani kwa Scraping, Ufuatiliaji wa Nafasi na Ukaguzi wa Matangazo
Nunua proxy binafsi za IPv4 za Marekani: IP tuli za datacenter, mteja mmoja kwa IP, bandwidth bila kikomo. Zinafaa kwa scraping, SERP na ukaguzi wa matangazo.
IPV4 · united kingdom
Proxy Binafsi ya IPv4 ya Uingereza kwa Masoko ya Mtandaoni, Utafutaji na Kampeni
Proksi binafsi ya IPv4 ya UK yenye IP tuli ya kituo cha data cha Uingereza kwa mteja mmoja, kwa utafiti wa eBay UK, Amazon.co.uk, google.co.uk na matangazo.