写作绅士，读作丧尸 X岛揭示板
顺猴者昌 逆猴者亡 首页版规 |用户系统 |移动客户端下载 | 丧尸路标 | | 常用图串及路标 | 请关注 官方公众号：【X岛揭示板】 官方微博： 【@X岛极速版】| 人，是会思考的芦苇
常用串：·豆知识·跑团板聊天室·公告汇总串·X岛路标

No.53136191 - 无标题 - 技术宅

回应模式
No.53136191
名 称
E-mail
标题
颜文字
正文
附加图片
•程序语言、压制投稿、视频制作以及各计算机领域的技术问题
•我觉得还是CSDN靠谱一点
•本版发文间隔为15秒。
无标题 无名氏 2022-11-01(二)21:20:48 ID:GEMeHCZ [举报] [订阅] [只看PO] No.53136191 [回应] 管理
研究僧炼丹串

记录11月炼丹记录吧，现在算是第4天了哭
(;´Д`)

最大AUC只能达到0.661，一开始是从0.6开始的
…
Tips 无名氏 2099-01-01 00:00:01 ID:Tips超级公民 [举报] No.9999999 管理
　　_ _
　 ( ﾟ_ﾟ)
/　(⁰　　)╲/
…
无标题 无名氏 2022-11-01(二)21:24:39 ID:GEMeHCZ (PO主) [举报] No.53136285 管理
感觉是数据太脏了，在想办法清洗数据特征( ´_ゝ`)
…
无标题 无名氏 2022-11-02(三)12:06:27 ID:9Aiobpp [举报] No.53148138 管理
( ﾟ∀。)我这也是

视频生成相关的，根本不知道模型要跑多久

nvlab之流的超级实验室，出用4x8 v100集群训练的模型。我在怀疑他们根本就是来炫富的
…
无标题 无名氏 2022-11-02(三)22:20:43 ID:GEMeHCZ (PO主) [举报] No.53162264 管理
>>No.53148138
视频可太难跑了，数据集太大了 心痛肥肥
(´ﾟДﾟ`)
…
无标题 无名氏 2022-11-02(三)22:24:13 ID:GEMeHCZ (PO主) [举报] No.53162368 管理
炼丹第5天
今天把emb变长了，还加了几个特征，把短序列变成长序列，有更好的效果了，但是过拟合了，测试集表现不佳 auc＝0.68！

只要达到那个地方，0.78！(;´Д`)

我看别人论文都是acc比auc低，怎么我的是auc比acc低，我明天一定要检查行吧auc计算公式，( ・_ゝ・)
…
无标题 无名氏 2022-11-03(四)20:27:05 ID:GEMeHCZ (PO主) [举报] No.53184672 管理
怎么搞都没用(;´Д`)
直接开摆，明天再来吧

今天进度0
…
无标题 无名氏 2022-11-04(五)21:59:52 ID:GEMeHCZ (PO主) [举报] No.53212713 管理
炼丹第七天

精度(AUC) 为0.705


另外 今天发现使用BiLSTM 在替换了基础模型，发现auc高达0.9999，一眼假，想不出为什么会这样，准备明天研究一下。顺带一提，这样一眼假的0.9999居然还有人发了aci3区(数据集误差很大)。
…
无标题 无名氏 2022-11-05(六)21:09:52 ID:GEMeHCZ (PO主) [举报] No.53235546 管理
>>No.53212713
他奶奶！学术不端！！
他把真实标签也学习进去了，所以最后能达到0.99的精度！！

学术界，我！！( ;´д`)
…
无标题 无名氏 2022-11-05(六)21:11:41 ID:GEMeHCZ (PO主) [举报] No.53235585 管理
顺带一提，我把真实标签去掉后，也能达到不错的效果，最高AUC＝0.74

倒是有过拟合的趋势，也不稳定，准备继续研究(炼丹)一下。

我为什么要考学硕！！(;´Д`)
…
无标题 无名氏 2022-11-06(日)20:29:44 ID:9Aiobpp [举报] No.53260197 管理
( ﾟ∀。)如果bilstm能有不错的效果，那么这时候只要使用无敌的变形金刚+合适的初始化，就能达到你想要的性能了
…
无标题 无名氏 2022-11-06(日)21:19:06 ID:GEMeHCZ (PO主) [举报] No.53261624 管理
>>No.53260197
求大哥哥能解释一下吗，研究生刚开始根本不懂(;´Д`)

我换成Transformers更好嘛？
…
收起 查看大图 向左旋转 向右旋转
无标题 无名氏 2022-11-06(日)21:39:00 ID:GEMeHCZ (PO主) [举报] No.53262234 管理
炼丹第六天，之前能达到0.74完全是运气，
今天能够收敛了，我把batch大小从64设置成1024了，顺便改进了一下网络。

能稳定，魔改模型还有待推进！
冲啊( ;´д`)
…
无标题 无名氏 2022-11-06(日)23:54:28 ID:9Aiobpp [举报] No.53266541 管理
>>No.53261624
如果不是纯算法的工作，类似dvae这种，或者是打算发icml，nips的，一般都会用transformer来刷性能。
…
无标题 无名氏 2022-11-06(日)23:55:21 ID:uniF5aV [举报] No.53266566 管理
相比之下我会计学简直轻松愉快
…
无标题 无名氏 2022-11-06(日)23:56:18 ID:9Aiobpp [举报] No.53266606 管理
如果时间不赶还是先看论文吧，现在魔改模型，就算刷到了好结果也很难发会了
…
无标题 无名氏 2022-11-07(一)08:56:25 ID:GEMeHCZ (PO主) [举报] No.53271307 管理
>>No.53266606
谢谢肥哥的建议( ﾟ∀。)

我这个月想验证方案，如果实现不了 ，我再继续看论文找想法(・∀・)
…
无标题 无名氏 2022-11-07(一)17:31:30 ID:GEMeHCZ (PO主) [举报] No.53283340 管理
第七天。

果然事物发展是螺旋上升的，我把方案版本回退，顺便修改了一些小bug，现在已经无敌auc＝0.706，并且很稳定！

基础模型用的LSTM，去掉双向了，因为我没办法解决双向LSTM学习标签的行为。(x嵌入是onehot(目标,目标反应标签))，如果肥肥们有更好办法可以告诉我，当然看我串的肯定很少很少( ﾟ∀。)。
…
无标题 无名氏 2022-11-07(一)21:56:16 ID:GEMeHCZ (PO主) [举报] No.53290891 管理
好耶！稳定在0.720了，说明是有效果的。
肥肥们能给我锻炼中的电脑加油嘛(;´Д`)

GTX1050 你加油啊！
…
无标题 无名氏 2022-11-08(二)23:19:28 ID:GEMeHCZ (PO主) [举报] No.53319440 管理
摸了
…
无标题 无名氏 2022-11-09(三)10:53:35 ID:xpRLtzg [举报] No.53327405 管理
>>No.53283340
不懂具体任务 但是LSTM天天用
可以考虑堆个两三层试试
双向在宽度*2的情况下肯定是只好不差 但是在同样宽度的情况下不好说
可以考虑比如用LSTM整个注意力之类的魔改 在不想玩transformer的情况下

X岛 - Ver 1.0 beta by 酱酱酱
联系：help@nmbxd.com
免责声明：本站无法保证用户张贴内容的可靠性，投资有风险，健康问题请遵医嘱。

UP主：