写作绅士,读作丧尸 X岛揭示板
顺猴者昌 逆猴者亡 首页版规 |用户系统 |移动客户端下载 | 丧尸路标 | | 常用图串及路标 | 请关注 官方公众号:【X岛揭示板】 官方微博: 【@X岛极速版】| 人,是会思考的芦苇
常用串:·豆知识·跑团板聊天室·公告汇总串·X岛路标

No.58196004 - 无标题 - 技术宅


回应模式
No.58196004
名 称
E-mail
标题
颜文字
正文
附加图片
•程序语言、压制投稿、视频制作以及各计算机领域的技术问题
•我觉得还是CSDN靠谱一点
•本版发文间隔为15秒。

无标题 无名氏 2023-06-20(二)14:34:09 ID:esZdsCA [举报] [订阅] [只看PO] No.58196004 [回应] 管理
《关于写爬虫爬取新闻网站新闻并规范化搬运至速报2的可行性研究》
Tips 无名氏 2099-01-01 00:00:01 ID:Tips超级公民 [举报] No.9999999 管理
(`ヮ´ )σ`∀´) ゚∀゚)σ
无标题 无名氏 2023-06-20(二)14:35:19 ID:esZdsCA (PO主) [举报] No.58196021 管理
感觉可能不会很难,如果只爬几个特定新闻网站的话( ゚∀。)但小肥我只会一点C++
无标题 无名氏 2023-06-26(一)19:46:30 ID:tYtytSO [举报] No.58318025 管理
( ゚∀。)可行是可行,只是需要注意这一点问题:

现在网络爬虫的脚本多是Python,肥哥要爬取内容的话可以主要看看selenium和beautiful soup这两个模块。前者用于模仿浏览器去查看网站内容,后者通过前端的html等来截取网站内容。

这个在技术上倒是可解,不过还有一个问题在于我们该如何对新闻本身的话题和新闻的内容进行过滤。
——首先,得判断主题是不是民生时事热点吧。
——然后,敏感词的过滤和图片的处理也得注意吧。
这个可比爬虫本身要复杂得多了( ゚∀。)
无标题 无名氏 2023-06-26(一)19:52:58 ID:8hxlYPV [举报] No.58318150 管理
>>No.58318025
都挺简单的, 敏感词库网上都有, 岛上的可以试出来范围, 图片下载后压缩到4m以内随串发送

就是你爬取的新闻内容是否让人感兴趣就是了

不建议用c++, 用python或者node.js搞起来比较快, post内容格式https://www.postman.com/restless-firefly-472578/workspace/nmb/request/2053050-5fd0a2a6-9c53-465b-a3ac-61c2347f9b81在发串里, 某个肥哥整理的

你的规范化指的是什么?
无标题 无名氏 2023-06-26(一)19:53:25 ID:8Uvw9SH [举报] No.58318163 管理
>>No.58318025
这个问题直接交给人脑吧,人看一遍勾选要上传的新闻,爬虫自动爬取并上传,就相当于有了一个便利的小工具,省去一些麻烦的操作,(比如某些字词自动打空格避免检测)
无标题 无名氏 2023-06-26(一)20:01:57 ID:RdUVJAs [举报] No.58318336 管理
那和rss有什么区别( ゚∀。)
无标题 无名氏 2023-06-26(一)20:50:07 ID:FTpMtcR [举报] No.58319309 管理
感觉可以实现,但是有必要吗?
无标题 无名氏 2023-06-27(二)02:36:14 ID:pIRIlaL [举报] No.58325303 管理
( ゚∀。)可能会爬到很多不感兴趣的
收起 查看大图 向左旋转 向右旋转
无标题 无名氏 2023-06-30(五)11:22:06 ID:RCqYiON [举报] No.58370332 管理
>>No.58196004
规范化可以用AI工具实现(`ヮ´ )感谢科技进步。
tips:“每日六十秒读懂世界”是不是你想要的效果
收起 查看大图 向左旋转 向右旋转
无标题 无名氏 2023-06-30(五)11:22:25 ID:RCqYiON [举报] No.58370339 管理
>>No.58196004
规范化可以用AI工具实现(`ヮ´ )感谢科技进步。
tips:“每日六十秒读懂世界”是不是你想要的效果
收起 查看大图 向左旋转 向右旋转
无标题 无名氏 2023-06-30(五)11:22:52 ID:RCqYiON [举报] No.58370349 管理
>>No.58196004
规范化可以用AI工具实现(`ヮ´ )感谢科技进步。
tips:“每日六十秒读懂世界”是不是你想要的效果

UP主: