写作绅士,读作丧尸 X岛揭示板
顺猴者昌 逆猴者亡 首页版规 |用户系统 |移动客户端下载 | 丧尸路标 | | 常用图串及路标 | 请关注 官方公众号:【X岛揭示板】 官方微博: 【@X岛极速版】| 人,是会思考的芦苇
常用串:·豆知识·跑团板聊天室·公告汇总串·X岛路标

No.52338426 - 无标题 - 技术宅


回应模式
No.52338426
名 称
E-mail
标题
颜文字
正文
附加图片
•程序语言、压制投稿、视频制作以及各计算机领域的技术问题
•我觉得还是CSDN靠谱一点
•本版发文间隔为15秒。

收起 查看大图 向左旋转 向右旋转
无标题 无名氏 2022-09-29(四)17:40:27 ID:Ad6K2bg [举报] [订阅] [只看PO] No.52338426 [回应] 管理
肥哥们,求助求助!
小肥正在学爬虫,但是发现selenium加上代理之后跑得太慢了,请问有什么方法能够让它跑快点吗?
Tips 无名氏 2099-01-01 00:00:01 ID:Tips超级公民 [举报] No.9999999 管理
发芽的洪! ︵ᵟຶ
( `д´)ジ
无标题 无名氏 2022-09-29(四)17:43:51 ID:Ad6K2bg (PO主) [举报] No.52338482 管理
除了selenium,我也有用requests,但是加上代理也可以很快爬下来。
然后selenium不加代理也可以很快,加了代理之后平均大概要一分多钟。
关键是现在这个网站要selenium爬,而且小肥怕被封ip所以不敢不加代理。
已经被折磨一个下午了(`ヮ´ )
无标题 无名氏 2022-09-29(四)21:40:44 ID:lpepX8Q [举报] No.52343927 管理
试试这个
https://zhuanlan.zhihu.com/p/453590557
无标题 无名氏 2022-09-29(四)21:54:43 ID:H2hKO2n [举报] No.52344272 管理
直接上多线程,速度翻倍 ゚∀゚)σ
无标题 无名氏 2022-09-29(四)23:50:01 ID:Ad6K2bg (PO主) [举报] No.52347292 管理
>>No.52343927
收到!不过很奇怪的是,我不加代理的话selenium跑起来也不算很慢(至少10s以内),但是加了代理就会慢到60s以上。
所以我感觉可能除了加载之外还有别的啥问题,不过还是谢谢肥哥( ゚∀。)
无标题 无名氏 2022-09-29(四)23:52:04 ID:Ad6K2bg (PO主) [举报] No.52347331 管理
>>No.52344272
哈哈哈哈,但是selenium浏览器占内存啥的感觉比较多,不过我确实计划尝试学这个(*´∀`)
无标题 无名氏 2022-09-30(五)14:52:54 ID:z82mImw [举报] No.52358303 管理
>>No.52347331
毕竟selenium真的需要一个微型浏览器来跑
但它的好处是模拟用户最真实 不容易被反爬虫抓
无标题 无名氏 2022-09-30(五)21:55:18 ID:Ad6K2bg (PO主) [举报] No.52367951 管理
>>No.52358303
确实,哪都好,就是太重了
不过确实好用!
无标题 无名氏 2022-09-30(五)22:03:28 ID:Ad6K2bg (PO主) [举报] No.52368180 管理
最新情况就是,代理selenium在加载不同网页时速度不一样。
A网页只有几行文本,所以耗时很短,3s左右。
B网页一堆图片列表啥的,耗时就很长,60s+。
所以我猜是不是代理加载网页元素比较慢,元素很多时叠加起来就显得非常非常慢这样?
但是在取消图片加载之后,selenium加载得很快(我关掉了无头模式),但是明明看到网页都加载出来了却突然停住了(10s就加载完了,后面也不知道在加载啥),硬是等到了60s才结束。
又是浪费了一天,在想要不要换种方式代替selenium(主要是用来解决动态渲染问题)

UP主: