比如一个帖子是 https://hostloc.com/forum.php?mod=viewthread&tid=1077126 只要出现1077126以上的序号的帖子时自动采集,火车头那里可以设置序号递增,还可以设置递增项数,我设置一个很高的数,比如1077999,这样可以实现,但是每次都会检测这么多链接,效率很低,这种情况怎么解决啊? 我想检测到新帖子就自动采集 |
论坛发个帖子,过一会用Google就可以搜到 你想想Google是怎么采集的,你就怎么采集 |
新帖排序
复制代码 |
我不是想采集loc,只是打了个比方,对方站点不支持按发帖时间查看,我只能获取到发帖的帖子Id |
检查标题 |
对方站的sitemap |
写一个php或py插件,或者直接用py来做采集,保存本次序号, 下次采集是调用做对比就可以了 |