嘟嘟社区

[经验] 通用图片爬虫


本帖最后由 qianmianyao 于 2021-10-28 16:55 编辑

虽然可以前面发了几个爬全站的脚本,但是我觉得资源在精不在多,故而打算完成一个通用的套图爬虫,适配多个站点,可以一套一套的下载,而非爬取全站
由于每个站的规则不一样,需要我来写规则,大家可以提供站
站的要求:最好是一个单页面很多图的
目前适配的站点
https://telegra.ph/
https://girlofthehour.com/
https://everia.club/
有想要的站可以评论提交
本地网络有点问题,明天推送到github
站点可以在帖子里提交或者github的issues
python 开发,支持异步下载
github:https://github.com/qianmianyao/SimpleCrawler/issues

先MARK
快进到免费放饭环节
套图的精髓是,无水印原图,成套系列
这种站很赚钱
感谢分享。大概方法是不是检测到图片格式的链接就加入到get
其实写个平台更好,类似蓝天采集器那样
支持
支持一下
希望大佬搞个小草1024的爬虫,目前市面的都不太好用。
怎么爬目录啊