python Scrapy: j'essaye mais comment....

yule

Membre
Hello,

Je souhaite essayer un script sous Python..
J'ai installé Python en local selon le très bon tuto de Jason Champagne , j'ai suivi également la Python #2 , j'ai fait mes petites phrases tout nickel mais je voyais pas ou cela allait m'amener. Du reste pour les anciens... ça me faisait penser au code "Basic" sur mon commodore 64 !!!

C64.jpg


MOn idée est toujours la même, tester un script pour comprendre comment tout cela "tourne " et comment l'utiliser

Je vais sur le site scrapy et la, voile blanc !!

Install the latest version of Scrapy
Scrapy 2.4.1
$ pip install scrapy


Je me dit zut (en vérité, j'ai dit autre chose mais bon.), comment je vais installer ça ??? J'ai trouvé également un fichiez zip mais ca m'aide pas plus..

Alors si vous avez une procédure d'installation, c'est volontiers que je prends ! Merci.

A+
Yule
 
  Solution
Je regarde dans le fichier d:\miniconda3\Scripts je vois bien un fichier activate .. mais comment l'activer ? J'ai essayer au pif.. (même en cliquant dessus)
SI tu as installé Miniconda dans D:\\miniconda3\ tu ouvres l'invite de commande et tu te positionnes dans d:\\miniconda3\scripts puis tu tapes activate puis entrée.
$ d:\\miniconda3\scripts>activate
le $ veut dire ligne de commande, on le tape pas.

Capture d’écran 2021-01-03 133829.png


Et ensuite tu devrais avoir (base) avant l'invite de commande.
Capture d’écran 2021-01-03 133852.png

yule

Membre
Salut,
Merci, j'ai installé miniconda... Cependant, tout ce qui est installation autre qu'un exe s'éxécutant, je ne connais pas.. ni le npm et autres....

  • J'ai lancé l'exe
  • J'ouvre python.exe
  • dans ma commande, il me dit "environnement pas activé"
activation.jpg


Je vais chercher dans la doc et je lis ceci dans mon anglais moyen

If you receive this warning, you need to activate your environment. To do so on Windows, run: c:\Anaconda3\Scripts\activate base in Anaconda Prompt.

Je regarde dans le fichier d:\miniconda3\Scripts je vois bien un fichier activate .. mais comment l'activer ? J'ai essayer au pif.. (même en cliquant dessus)

Je suis allé dans le dossier depuis ma commande, puis j'ai indiqué "start activate" il m'ouvre une nouvelle fenêtre d'une commande et rien..

POur plus tard....... tu lances ton $pip ca veut dire quoi ?

A+
Yule


NB: je me rappel pourquoi j'avais jamais insisté sur Python, mais je vais y arriver
NB2: pourquoi je dois installer miniconda du moment que python est installé sur mon disque D ? Si je clique sur mon python exe de ma full version, j'ai aussi une fenêtre de commande
 

Cascadeur

Membre
Je regarde dans le fichier d:\miniconda3\Scripts je vois bien un fichier activate .. mais comment l'activer ? J'ai essayer au pif.. (même en cliquant dessus)
SI tu as installé Miniconda dans D:\\miniconda3\ tu ouvres l'invite de commande et tu te positionnes dans d:\\miniconda3\scripts puis tu tapes activate puis entrée.
$ d:\\miniconda3\scripts>activate
le $ veut dire ligne de commande, on le tape pas.

Capture d’écran 2021-01-03 133829.png


Et ensuite tu devrais avoir (base) avant l'invite de commande.
Capture d’écran 2021-01-03 133852.png

pourquoi je dois installer miniconda du moment que python est installé sur mon disque D ? Si je clique sur mon python exe de ma full version, j'ai aussi une fenêtre de commande
Il n'y a que Miniconda qui puisse installer Scrapy, Python ne le fait pas il me semble.

Une fois que (base) est bien présent dans ton invite de commande tu tapes
$ pip install scrapy
 

yule

Membre
Merci pour l'explication @Cascadeur , l'activation et l'installation de scrapy ok.

Par contre, j'ai pas compris ce que je dois faire pour tester scrapy et il me l'a installer ou ?... C'est pas très intuitif tout ça.. mmh... Disons que j'aimerais scraper cette page ici : https://cocoriweb.community/threads/scrapy-jessaye-mais-comment.220/#post-1264
Le mieux je crois, c'est de continuer un peu la doc et trouver comment tester tout ceci, il doit me manquer un gros chapitre de logique et de connaissance .

Subtile @Jack (y) déjà que je suis ainsi avec ce scrapy

python.jpg
 

yule

Membre
Ah ben non, je pensais que scrapy était installé, c'est pas le cas.

Bon.... Après avoir désinstallé, réinstallé la version mini, la version full d'Anaconda sur mon disque D et C, toujours le même message d'erreur, scrapy ne s'installe pas.

J'a ouvert mon dossier jusqu'à Anaconda (D:\anaconda3>) puis j'ai mis ceci $ pip install scrapy et enter

Ca défile en blanc.. puis tout en rouge

Capture.jpg


Je vais tout enlever (anaconda, python) et je re tenterai le coup une autre fois mais la, pas trop...

Bonne bonne
 

yule

Membre
Bon ben après une ultime tentative 🕐🕑🕒🕓🕔🕕🕖🕗

j'ai réussi à installer Scrapy avec ceci conda install -c conda-forge scrapy, il s'agit apparemment d'une autre alternative d'installation. le pourquoi du comment je sais pas.. j'ai même pu tester une partie de scrapy avec cet exemple (y) mais il y a encore du job pour arriver à mes fins...

Bon cette fois je ferme et je vais faire autre chose.. Encore merci pour votre aide.

A+
 

yule

Membre
Tu utilisais quoi comme solution jusqu'à présent pour freejungle ?
J'utilise toujours ;).

Scrapy, c'est surtout voir si il y a moins de blocage qu'avec mon système

Donc au menu :
Du php maison.... Du Curl pour récupérer les entêtes et la Class SimpleHtmlDom pour la partie texte d'une page. Un bon coup de mixer et le tour est joué. Comme je scrape que la home page de 2500 sites, en finalité, ce système n'est pas trop lourd pour mes besoins.

Je me souviens que tu me demandais ce que j'utilisais comme bot. Tu as la réponse ci-dessus. j'utilise ce principe pour ajouter un site ou pour en faire l'update (au min, 1x par semaine)

Bonne bonne
Yule
 

Jack

Membre
J'ai installé Python en local selon le très bon tuto de Jason Champagne , j'ai suivi également la Python #2
Je ne sais pas si tu as vu ce pdf de référence de 300 pages sur Python, ça pourrait faire un bon e-book de chevet. Bon courage !
 

yule

Membre
Je ne sais pas si tu as vu ce pdf de référence de 300 pages sur Python
Oui j'avais vu il y a quelques jours mais je ne l'avais pas téléchargé (chose faite à l'instant). Par contre, je commence a avoir trop de devoir:unsure: . Je vais garder au chaud pour plus tard, quand je m'attaquerai sérieusement a scrapy (plein de perspective comme toujours, après faut avoir le temps..)
 

Ces discussions pourraient vous intéresser...

  • Résolue
Salut, J'ai une erreur PHP que je n'arrive pas à résoudre, voici le code simplifié <!DOCTYPE html> <html> <head> <title>Cours PHP & MySQL</title> <meta charset="utf-8"> <link rel="stylesheet" href="style.css"> </head> <body> <h1>Titre</h1>...
  • Résolue
Bonjour, Une question pour la mise à jour de Bootstrap quand une nouvelle version sort. Comment vous procédez ? J'utilise les CDN de bootstrap donc je me demandais ce que je devrais faire avant de les changer pour la nouvelle version ? Comment savoir ce qui va changer sur mon site internet ...
  • Résolue
Hello, Je voulais tester un peu node.JS et je l'ai donc installé sur mon Win 10, l'installation s'est bien passé. Par contre quand j'essaie de faire tourner un petit code simple qui permet de créer un serveur, je l'ai enregistré sous serveur.js var http = require('http')...
Haut