Connaissez vous un bon site pour acheter un proxy tournant ?

[yule]

Hello,

Tout est dans le titre.. Toutefois et pour comprendre ma requête, ça mérite une petite explication.

Sur mon site (un moteur de recherche), je pratique le scraping au rythme moyen de 350 sites max par jour sur une boucle de 7 jours, soit sur un peu près 2'500 sites par semaine et ainsi de suite. Tout ceci dans le but de mettre à jours les sites indexés.

Cette pratique me permet de garder à jour ma base de données et de proposer au visiteurs des résultats un peu près d'actualités . Comme ce rythme n'est vraiment pas élevé, je pensais pas que j'allais être de plus en plus confronté au blocage des sites indexés (peut-être un plugin sur WP ou autres par l'hébergeur.. enfin bref, c'est ennuyeux. mais cela a débuté en ce début d'année) Après oui, certains détestent cette pratique mais il ne faut pas mélanger, de mon côté, ce n'est pas pour puiser dans un site et utiliser leurs infos pour vendre un produit etc..,. et ça fait plus de 10ans que je le pratique, fallait bien que ça arrive même si le rythme des sites bloquants n'est pas élevé.. j'en ai un peu près 5-6 par jour. (mais j'aime bien anticiper aussi..)

J'essaye donc par le biais de Curl sur ma page php me permettant de scraper/ gratter, de cacher mon adresse IP avec un proxy. j'ai donc mis en place ceci et ma foi , c'est efficace ! Un peu plus lent mais efficace. A priori plus de blocage.

Le revers de la médaille parce qu'il y en a toujours une.. c'est le prix !

J'ai essayé la version test (1'000 tentatives) de ce site Web Scraping Proxy API et avec également un version test de celui-ci Scraper API

Je regarde les offres et là . Pour remettre les choses dans leur contexte, leurs offres varient de 20$ à plusieurs milliers de $ par mois !!! Il y en a pour tous... mais surtout pour des grosses industries qui POMPES à tout va.. Je savais pas qu'il y avait des API pour gratter Linkedin (bon c'est dès 200$ par mois !)

Ok mon site doit rester gratuit et sans pub (aucune discussion là-dessus, c'est un hobby depuis le temps..) donc financer un peu, je veux bien mais tout de même. Donc , connaissez-vous un bon site permettant ceci avec des prix attractifs .

Merci pour votre attention et suggestion
Bonne bonne
Yule

 

[Victorinox]

Adieu yule !

Je n'y connais absolument rien en la matière mais la première idée qui m'est venue c'est de chercher sur GitHub, of course. Et voici quelques résultats:
GitHub topics avec le mot-clé proxy-scraper

Build software better, together

GitHub is where people build software. More than 56 million people use GitHub to discover, fork, and contribute to over 100 million projects.

github.com

Et ce résultat provient de Google

jundymek/free-proxy

Free proxy scraper written in python. It is pypi library - free to use. - jundymek/free-proxy

github.com

Bonne chance !

 

[yule]

Mais Victorinox, Tetieu c'téquipe !

Merci, je vais zieuter du coté de GitHub, il me semble avoir vu une liste d'adresse créé par un script, mais je comprends pas trop... J'ai essayé quelques adresses du genre (mais je dois pas savoir les utiliser)

185.77.221.36:8085
85.209.149.16:8085
etc..

que j'ai utilisé pour mon curl ainsi (bout de code..)

$this->_url = curl_init($url);
curl_setopt($this->_url, CURLOPT_URL, $url);

// ici le test des proxy
$proxy =   array();
$proxy[] = "http://185.77.220.141:8085";
$proxy[] = "http://85.209.149.16:8085";

curl_setopt($this->_url, CURLOPT_PROXY, $proxy[array_rand($proxy)]);

etc...

Mais que des erreurs, enfin il passe pas le header.. même pour les sites qui bloquent pas..

Pour le second, c'est avec Python et j'ai oublié de préciser, que je souhaiterrester avec php / Curl

Mais merci, je vais continuer de regarder
See you
Yule

 

[Nicolas]

Sourceforge peut-être ?

proxy scraper php free download - SourceForge

proxy scraper php free download. Anon Proxy Server Anonymous proxy server. Supports http, https, socks. Can be used as a normal proxy or as a p2p anony

sourceforge.net

 

[yule]

Merci, je vais aussi regarder avec Sourgeforge !

Pour les listes d'IP dans l'exemple ci-dessus, en insistant un peu, j'arrive à du positif toutes les 5-6 adresses IP, c'est déjà pô mal.... A creuser

J'ai l'habitude de chercher sur le net et sur stackoverflow (la version anglophone de Cocori Web ) mais je ne pense pas , de regarder sur GitHub et sourceforge en direct ! Merci.

Bonne bonne
Yule

 

[Nicolas]

(la version anglophone de Cocori Web )

Ouais mais ils ont pas encore notre niveau........