写作绅士，读作丧尸 X岛揭示板
顺猴者昌 逆猴者亡 首页版规 |用户系统 |移动客户端下载 | 丧尸路标 | | 常用图串及路标 | 请关注 官方公众号：【X岛揭示板】 官方微博： 【@X岛极速版】| 人，是会思考的芦苇
常用串：·豆知识·跑团板聊天室·公告汇总串·X岛路标

No.64273277 - 无标题 - 技术宅

回应模式
No.64273277
名 称
E-mail
标题
颜文字
正文
附加图片
•程序语言、压制投稿、视频制作以及各计算机领域的技术问题
•我觉得还是CSDN靠谱一点
•本版发文间隔为15秒。
无标题 无名氏 2024-11-03(日)02:40:13 ID:bk6nZwG [举报] [订阅] [只看PO] No.64273277 [回应] 管理
1B是多大内存，不是Byte
大模型的参数大小，OPT-13B的B
…
无标题 无名氏 2024-11-03(日)02:45:08 ID:w76aHUs [举报] No.64273289 管理
billion？
…
无标题 无名氏 2024-11-03(日)03:02:00 ID:oComTmr [举报] No.64273357 管理
这个取决于模型精度，比如有些用float，一个参数就4Byte，也有用半精度的两个byte表示一个浮点数，更极端的用一个Byte来表示一个参数的模型也是很常见的优化方式。
然后你自己乘一下就知道了比如 7B的FP32精度模型用于推理就需要 7*10⁹*4 也就是28GB的vram。训练则需要更多内存
…
无标题 无名氏 2024-11-03(日)18:20:35 ID:PTavUOG [举报] No.64278604 管理
>>No.64273277
billion，就是所称的多少亿参数
家用机跑小模型通过内存判断可行性，显卡性能判断性能
7B一般能用16G内存跑动，13G要用32G内存
…
无标题 无名氏 2024-11-04(一)12:19:09 ID:Gs2SdhS [举报] No.64284965 管理
是billion，指参数数量，不是空间大小。实际推理占多少显存还有很多其他因素，不能简单换算。
训练无论模型多小（0.5b) 单卡都不好搞。

X岛 - Ver 1.0 beta by 酱酱酱
联系：help@nmbxd.com
免责声明：本站无法保证用户张贴内容的可靠性，投资有风险，健康问题请遵医嘱。

UP主：