本人未曾利用任何爬虫进行非法行为,因此用户对本程序的使用负责.
https://googlechromelabs.github.io/chrome-for-testing/
unzip chromedriver-mac-arm64.zip
sudo mv chromedriver-mac-arm64/chromedriver /usr/local/bin/
在业余时间逐步脱敏并开源自己以前写的部分爬虫,主要是为了同大家交流学习,增长技术.他人在下载,传播,使用等过程中产生的任何非法行为,一律与本人无关.
因为部分爬虫都是17年以前写的,现在可能需要做部分修改才可运行,交流学习主体逻辑,功能即可.
持续更新~~~
简介:自动填写某高校疫情期间强制学生填写的健康信息.
使用说明:
1.config.py中配置password_id_set=[("学号1","密码1"),("学号2","密码2")] 可以支持多人
2.运行python main.py,如需要定时运行,参考3的设置
2.配置contrab如下,每天每隔两小时自动提交
运行crontab -e
文件最后追加如内容
* */2 * * * 你的python路径 运行的文件路径 (可选 > 保存日志的路径)
实例:* */2 * * * /home/x/anaconda3/bin/python /home/x/source/python/crawer/晨午检/main.py > home/x/source/python/crawer/晨午检/log
简介: 帮同学写的自动汇总百度搜索中搜索关键词页面的电话与邮箱.
使用说明:
1.config.py中修改配置信息
2.python main_crawer.py
简介: 世界杯期间,帮同学汇总球赛赛事,为喜欢的球队加油.
使用说明:
1.python zhibo8.py
2.自动生成的保存在(日期.xlsx)位置
简介:iccv2017的文章下载,实际可以用于cvpr以及其他年份,做简单修改.
具体介绍可以参考iccv2017文章批量下载https://xixiu.github.io/2017/11/18/iccv2017/
使用说明:
运行 python iccv2017muti.py即可
单线程版本见说明
简介:zhihu话题答案批量爬取,并存储到数据库.
使用说明:
1.zhihu.py 修改第197行,填写需要爬取的话题链接
2.dbProcess.py 参考22-34插入字段,新建三张表,之后修改10-17行数据库信息.
3.运行 python zhihu.com
简介:对应上面的iccv2017muti,简单修改即可爬取ICCV2018.
详细请参考iccv2017文章批量下载
简介:抓取icourse163上特定的课程评论,做简单的自然语言处理.
使用说明:
1.将自己需要爬取的链接F12找到类似icourse163.py 43行形式的链接,填入对应的位置.
2.直接食用
简介:抓取http://www.chictopia.com高质量服装图
使用说明:
1.python chictopia.py直接运行即可,即可将对应的图片保存在Img路径下
简介:洋葱点商平台下单脚本
使用说明:
1.74行设置帐号密码
2.微信端发送消息,后台自动提交
简介:湖北移动积分兑换脚本
简介:桂林电子科技大学ip出校控制器破解,13年写的,不知道现在该校还有没有这个东西.
使用说明:
1.功能逻辑:通过win32gui暴力点击出校器,获取批量帐号
2.使用前需要安装好win32
3.准备好破解字典
4.详细参考python登陆桂林电子科技大学ip出校控制器
简介:python微信好友分析.
使用说明:
1.安装mysql,并建表
2.运行wechat_fetch.py
3.会自动进行男女\城市等分析,并吧好友头像下载到friendImage文件夹.效果
男女分布
详细信息
城市分布
简介:基于qq空间的社交网络分析
说明:
1.安装数据库
2.程序只爬取了二代好友关系,可以爬取需要的好友关系,之后用数据尽情分析吧
3.详细参考400w好友社交网络验证
3.效果图
所有二代好友关系
简介:国家资格证书查询定时任务
说明:
1.依赖项
python3 -m pip install opencv-python
2.配置姓名、身份证号
# 三个参数任意配置2个
# 姓名
export MY_NAME=""
# 身份证号
export MY_CARD_NO=""
# 证书编号
export OSTA_CERTIFICATE_NO = ""
3.配置自动查询