换了一台cpu跑分高的机器,结果感觉采集更慢了,一页20条,要跑半分钟。
还是直接下载图片到本地,没传图床,也没压缩,不然要更久。 有大佬指点一下吗,学习中 |
我也是这么干的 一次开20个网页 修改 page 后面的参数 大概20分钟可以采 3000左右 |
复制等待跳转哪个链接 ,多开窗口,修改页数.几万数据一会就好了 |
我用vps都没这个速度 几秒切换一页。你这自检一下吧 |
大佬 这个咋检查呀,我各种试 也没找到原因。机器资源占用也很低 |
跑分高不一定采集快,还有就是资源站不给力,或不要同时采集又下载图片。你可以用自己的电脑采了在上传到小鸡啊。 |
我一秒一页 |
用火车头吗,那还得自己搞规则和入库吗。还是有现成直接用的方法 |
vps上吗 这么吊,采集的哪家我也试试 |
|
就是CMS自己采啊。 |
采集后再图片本地化 |