Connaissez vous un bon site pour acheter un proxy tournant ?

yule

Membre
Hello,

Tout est dans le titre.. Toutefois et pour comprendre ma requête, ça mérite une petite explication.

Sur mon site (un moteur de recherche), je pratique le scraping au rythme moyen de 350 sites max par jour sur une boucle de 7 jours, soit sur un peu près 2'500 sites par semaine et ainsi de suite. Tout ceci dans le but de mettre à jours les sites indexés.

Cette pratique me permet de garder à jour ma base de données et de proposer au visiteurs des résultats un peu près d'actualités . Comme ce rythme n'est vraiment pas élevé, je pensais pas que j'allais être de plus en plus confronté au blocage des sites indexés (peut-être un plugin sur WP ou autres par l'hébergeur.. enfin bref, c'est ennuyeux. mais cela a débuté en ce début d'année) Après oui, certains détestent cette pratique mais il ne faut pas mélanger, de mon côté, ce n'est pas pour puiser dans un site et utiliser leurs infos pour vendre un produit etc..,. et ça fait plus de 10ans que je le pratique, fallait bien que ça arrive même si le rythme des sites bloquants n'est pas élevé.. j'en ai un peu près 5-6 par jour. (mais j'aime bien anticiper aussi..)

J'essaye donc par le biais de Curl sur ma page php me permettant de scraper/ gratter, de cacher mon adresse IP avec un proxy. j'ai donc mis en place ceci et ma foi , c'est efficace ! Un peu plus lent mais efficace. A priori plus de blocage.

Le revers de la médaille parce qu'il y en a toujours une.. c'est le prix !

J'ai essayé la version test (1'000 tentatives) de ce site Web Scraping Proxy API et avec également un version test de celui-ci Scraper API

Je regarde les offres et là :eek: . Pour remettre les choses dans leur contexte, leurs offres varient de 20$ à plusieurs milliers de $ par mois !!! Il y en a pour tous... mais surtout pour des grosses industries qui POMPES à tout va.. Je savais pas qu'il y avait des API pour gratter Linkedin (bon c'est dès 200$ par mois !)

Ok mon site doit rester gratuit et sans pub (aucune discussion là-dessus, c'est un hobby depuis le temps..) donc financer un peu, je veux bien mais tout de même. Donc , connaissez-vous un bon site permettant ceci avec des prix attractifs .

Merci pour votre attention et suggestion
Bonne bonne
Yule
 
Adieu yule !

Je n'y connais absolument rien en la matière mais la première idée qui m'est venue c'est de chercher sur GitHub, of course. Et voici quelques résultats:
GitHub topics avec le mot-clé proxy-scraper

Et ce résultat provient de Google

Bonne chance !
 

yule

Membre
Mais Victorinox, Tetieu c'téquipe !

Merci, je vais zieuter du coté de GitHub, il me semble avoir vu une liste d'adresse créé par un script, mais je comprends pas trop... J'ai essayé quelques adresses du genre (mais je dois pas savoir les utiliser)

185.77.221.36:8085
85.209.149.16:8085
etc..

que j'ai utilisé pour mon curl ainsi (bout de code..)

PHP
$this->_url = curl_init($url);
curl_setopt($this->_url, CURLOPT_URL, $url);

// ici le test des proxy
$proxy =   array();
$proxy[] = "http://185.77.220.141:8085";
$proxy[] = "http://85.209.149.16:8085";

curl_setopt($this->_url, CURLOPT_PROXY, $proxy[array_rand($proxy)]);

etc...

Mais que des erreurs, enfin il passe pas le header.. même pour les sites qui bloquent pas..

Pour le second, c'est avec Python et j'ai oublié de préciser, que je souhaiterrester avec php / Curl 😗

Mais merci, je vais continuer de regarder
See you
Yule
 
Dernière édition:

yule

Membre
Merci, je vais aussi regarder avec Sourgeforge !

Pour les listes d'IP dans l'exemple ci-dessus, en insistant un peu, j'arrive à du positif toutes les 5-6 adresses IP, c'est déjà pô mal.... A creuser

J'ai l'habitude de chercher sur le net et sur stackoverflow (la version anglophone de Cocori Web ;):giggle:) mais je ne pense pas , de regarder sur GitHub et sourceforge en direct ! Merci.

Bonne bonne
Yule
 

Ces discussions pourraient vous intéresser...

Bonjour à tous, J'essaie de déployer une application sur mon serveur live via Docker mais j'ai du faire une mauvaise configuration car l'application s'est installé en local. Il y a un fichier à configurer : docker-compose.yml notamment cette section server: image...
Bonsoir, j'ai fait une recherche sur le forum et je crois que personne n'en a encore parlé, j'ai trouvé un site pas mal lorsque j'ai installé easyPHP (qui est maintenant Webserver) : KodeShot. Cela permet de créer des captures d'écrans d'extrait de code. Vous tapez votre code, vous...
Hello, J'ai créé un formulaire avec Bootstrap mais j'ai un problème de mise en forme. Les <input> prennent chacun leur propre ligne alors que j'aimerais que certains soit côte à côte. Je ne parviens pas du tout à faire ce que je veux et je ne trouve rien dans la documentation...
Haut