Trouver un poste de développeur quand on ne fait pas C#, .NET, PHP, Java/JEE mais du Python et du R peut être ardu. Les outils à disposition sont principalement des interfaces Web qui peuvent vite devenir frustrantes en fonction des fonctionnalités implémentées et de la multitude de données à parcourir.
En tant que développeur, j'aime trouver des solutions efficaces en utilisant des outils existants ou en les créant moi-même.
Ce projet allie donc l'utile à l'agréable en fournissant un spider qui va
extraire les offres d'emploi avec certains critères sur le site de Pole Emploi.
Les offres sont ensuite stockées en local dans une base SQLite (située dans
data/jobs.db).
-
Actuellement jobscraper ne fonctionne qu'avec un seul site (Pole Emploi) mais ajouter d'autres sites n'est pas difficile (cf pyjobs/crawlers)
-
Le site de Pole Emploi ne permet d'afficher que 100 resultats maximum par page.
- Extraire les données et créer/mettre à jour la base de données:
make create_db- Supprimer la base de données
make remove_db- Par défaut, le mot clé utilisé pour la recherche est
python. Celui-ci peut être modifié avec en lançant directement directement la ligne de commande avecscrapy:
scrapy crawl pole_emploi -a keyword=<mot clé>Dans un environnement virtuel:
pip install -r requirements.txt
jobscraper n'a pas la prétention d'être la solution ultime mais est avant tout un projet personnel commencé parce que
- j'étais frustré de parcourir des centaines d'offres dont la plupart ne correspondent pas à mon profil
- j'avais du temps en fin d'après-midi et scrapy m'avait l'air sympa
Ce projet s'inspire en grande partie sur pyjobs/crawlers qui est utilisé pour le site pyjobs. Je vous conseille d'aller y jeter un oeil.