写作绅士，读作丧尸 X岛揭示板
顺猴者昌 逆猴者亡 首页版规 |用户系统 |移动客户端下载 | 丧尸路标 | | 常用图串及路标 | 请关注 官方公众号：【X岛揭示板】 官方微博： 【@X岛极速版】| 人，是会思考的芦苇
常用串：·豆知识·跑团板聊天室·公告汇总串·X岛路标

No.54192526 - 无标题 - 技术宅

回应模式
No.54192526
名 称
E-mail
标题
颜文字
正文
附加图片
•程序语言、压制投稿、视频制作以及各计算机领域的技术问题
•我觉得还是CSDN靠谱一点
•本版发文间隔为15秒。
无标题 无名氏 2022-12-15(四)12:17:52 ID:4Mq1EDs [举报] [订阅] [只看PO] No.54192526 [回应] 管理
有肥哥擅长深度学习的吗？最近改一个模型，原始模型在固定随机种子的情况下结果是可复现的，我在网络里加了一个模块后即使固定随机种子每次跑出来结果也都不同(´ﾟДﾟ`)
检查了网络权重初始化和batch抽样是相同的，就是同一个epoch每次跑完在验证集上效果都不一样，最终在测试集上的效果也不一样，完全没有头绪(;´Д`)
有肥哥遇到过这种情况吗，很急( ´_ゝ`)
…
Tips 无名氏 2099-01-01 00:00:01 ID:Tips超级公民 [举报] No.9999999 管理
( `д´)现充，杀！杀！杀！
…
收起 查看大图 向左旋转 向右旋转
无标题 无名氏 2022-12-15(四)12:22:05 ID:4Mq1EDs (PO主) [举报] No.54192607 管理
jp
…
无标题 无名氏 2022-12-15(四)16:04:15 ID:xpRLtzg [举报] No.54196895 管理
1、随机种子都固定了吗？新增的模块有没有引用到没有固定的随机种子？
2、有没有train=False?别边训练边看效果，那肯定寄
3、是模型从初始化开始跑固定epochs然后看验证集测试集吗？不是的话前面的都白说了
…
无标题 无名氏 2022-12-15(四)16:16:08 ID:7Wlc4cC [举报] No.54197131 管理
新增的模块中可能有随机采样
…
无标题 无名氏 2022-12-15(四)19:16:20 ID:4Mq1EDs (PO主) [举报] No.54200758 管理
>>No.54196895
1.固定了，新增模块也是固定了的，至少初始化权重每次是相同的
2.没有，训练完才看的效果
3.是的，超参都没动，跑相同epoch后在训练集和验证集上效果不一样
…
无标题 无名氏 2022-12-15(四)19:17:23 ID:4Mq1EDs (PO主) [举报] No.54200778 管理
>>No.54197131
lstm+mlp能有啥随机采样啊(´ﾟДﾟ`)
…
无标题 无名氏 2022-12-15(四)19:19:42 ID:4Mq1EDs (PO主) [举报] No.54200831 管理
我现在严重怀疑是每次丢到服务器上跑都给我随机分配了不同的gpu，因为我在本地debug了几个step，model的输出都是相同的|∀ﾟ
…
无标题 无名氏 2022-12-15(四)19:20:45 ID:4Mq1EDs (PO主) [举报] No.54200852 管理
>>No.54200758
第3条写错了，是验证集和测试集( ﾟ∀。)
…
无标题 无名氏 2022-12-15(四)19:27:36 ID:xpRLtzg [举报] No.54201018 管理
>>No.54200831
这就不懂了 本肥最豪华的时候也不过独占一张T4
…
无标题 无名氏 2022-12-16(五)01:38:43 ID:iYSBHq4 [举报] No.54208021 管理
>>No.54200831
你不会debug用cpu，实际跑用cuda吧？
…
无标题 无名氏 2022-12-16(五)12:01:49 ID:4Mq1EDs (PO主) [举报] No.54212366 管理
>>No.54208021
我本地cpu和显卡都debug过了，batch输出是一样的，放到服务器就寄了，很奇怪(;´Д`)
…
无标题 无名氏 2022-12-16(五)12:21:20 ID:4Mq1EDs (PO主) [举报] No.54212730 管理
>>No.54208021
如果cpu可以，cuda不行，可能是什么原因呢肥哥
…
无标题 无名氏 2022-12-16(五)12:26:02 ID:iYSBHq4 [举报] No.54212810 管理
>>No.54212730
因为cuda用的是另一个种子( ﾟ∀。)
…
无标题 无名氏 2022-12-16(五)12:51:12 ID:4Mq1EDs (PO主) [举报] No.54213280 管理
>>No.54212810
这个阿肥我当然设了的，毕竟原模型就有，我又没动
…
无标题 无名氏 2022-12-16(五)13:33:28 ID:4Mq1EDs (PO主) [举报] No.54214113 管理
破案了，就是服务器的问题，我自己租了一个gpu，跑出来结果完全一致( ﾟ∀。)

X岛 - Ver 1.0 beta by 酱酱酱
联系：help@nmbxd.com
免责声明：本站无法保证用户张贴内容的可靠性，投资有风险，健康问题请遵医嘱。

UP主：