站点图标 嘟嘟社区

[疑问] 家里宽带用树莓派做爬虫,经常掉线,大家有没有遇到过?


本帖最后由 甜菜超人 于 2021-8-8 09:30 编辑

移动家宽,lao毛子路由器拨号的,树莓派爬虫线程7000,不采集视频和图片,所以总流量不大。
现在遇到尴尬的情况是,只要爬虫开启几分钟后,路由器上就可以看到PPPOE频繁掉线+重播+掉线,,,lao毛子路由器CPU占用不到10%。
(停用爬虫十来分钟后,网络就正常稳定了,同样程序放在VPS就没有这个掉网情况,当然线程会下调一些)

莫非家宽有网络请求限制?各位有没有遇到过,如何解决的

端口数量限制
家宽有连接数限制的,就是防止你做站逼你上商宽的
连接数限制的,我过年时才发现的,同样移动,我用的是玩客云去下个电影想看,结果突然远程全断了,我一度以为是谁把我的网线搞断了,过完年回来排查了半天发现玩客云一下东西就断网,当时还不信因为年前也用过玩客云下东西但是没有任何影响,后来测试了好几遍实锤了,当时用的op后来刷了高恪,发现连接数到1000就开始断断续续的了,到1800直接断网了,只能重拨,没办法只能开双拨了,叠加端口数叠加带宽真爽
7000 太狠了
退出移动版