♡性♡感♡红♡名♡在♡线♡要♡饭♡
(〃∀〃) https://afdian.com/a/nmbxd

我知道凭兴趣坚持下去很难，并且物质条件和我的个人能力目前都不支持我的想法，但是我确实不是一时兴起才打算做这个的，想了挺久的。
目前电脑硬件这一块我已经在想办法了，我想的是能不能先从个人能力这块先去做一些改变，哪怕最后失败了能学到一些东西也是好的(つд⊂)

肥哥们如果有比较懂的，可以把大致需要了解的东西，掌握的技能列一下告诉我，我会尽力去了解去学，也会自己找一些参考和视频，po在这里先谢谢大家了

>>No.63360851
coze.com支持部署到discord bot等等的app端。
至于收费什么的，emm确实是个问题。应该是频率和每天的次数限制，但可以通过整好几个一模一样的bot暂时解决|∀ﾟ

>>No.63365803
谢谢建议，这几天搜索了一下相关的内容，对主要的问题和大致的解决方法有了一些了解，但我不是很确定，这个问题是否是只需要改进架构如MoE架构或transformer架构就能解决，还是必须要想出新的架构？
以及我察觉到，我对长期记忆感兴趣的初衷是想尽量避免和有设定的AI聊天时ooc的现象，我问了chatgpt4o ooc的原因和解决方法，得到的答案是，除了prompt的细化以及聊天时使用一些技巧，还可以进行分段记忆管理、进行语境模型训练、改进Transformer架构、优化模型、改进目标函数等，扩展上下文窗口大小只是方法之一，如果改进长期记忆不能显著解决ooc的问题，我就不是很有动力继续钻研下去了，但是现在我完全看不出来，改进长期记忆是否能显著改善ooc的问题？

以及能问下不推荐吴恩达课程的原因吗？机器学习那门课很多年前我跟完了，感想是讲得很细、太细了，很多一时半会儿用不到的东西，不过原理讲得很清楚，到现在我还记得传播函数是怎么一回事以及课后项目推荐系统的大致原理，是因为它太细会分散精力所以不推荐吗？看了下后面的深度学习专项训练，发现自然语言处理这块放到了最后一门课程，前面几门课程还是对机器学习课程的扩展，从coursera给的那个目录来看的话感觉讲得挺细的

>>No.63406238
>改进架构or提出新架构
这两种方法都是有可能的，但是对入门来说这些工作还是太超前了。
在成为这方面的专家之前，建议先跟着导师搞——毕竟如果能对SOTA做有效改进，也是很不错的工作了。

>能不能改善ooc
答案是能，但是这是非常困难的路线；类似lora的解决方案看起来更切实一些。
让llm智能到可以扮演好一个角色是那种非常正确，非常重要但是很遥远的目标
但如果用lora直接给它洗脑成对应的角色，那没有扮演自然就没有ooc了

>为什么不推荐吴恩达入门
一本说文解字很有价值；但一个刚开始学中文的人该看的是一些有趣的小故事，而不是说文解字

首先是效率问题。
让一个机器学习新手看这个，那可能有一半以上的时间是“知道他在算一个东西，可是不知道为什么要算这个”
然后在数年后某一天回看：“哦原来这里推的是这个，当时完全不知道，结果最后也没记住”

另一方面就是时效性问题。
且不说老框架老项目好不好复现的问题。业界的认知也是不断迭代的
新手期如果只靠旧认知入门，容易出现一些奇怪的盲区，多少有点给自己的未来埋雷的意思。

>>No.63367313
prompt engineering + rag，没必要用本地大模型，直接用在线服务，gpt之类的。在线大模型的性能和各方面素质要远强于本地量化的小模型。这样基本就没有本地硬件需求，只用给在线模型捐点使用费。

记忆问题（我理解你需要的是模型记住你想让他知道的知识而不是long context）不做pretraining只能靠rag解决，pretraining的价格不是正常人甚至正常实验室能付得起的。

finetuning性价比很低。

>>No.63542936
附议 context持久化存向量数据库做Rag,可行性相对更高

单说弄个可以聊天的有独立人格的bot的话，本地ollama跑，然后参照ollama的文档根据现有模型另外创建一个模型(或者说只是调整参数，以及增加 SYSTEM 这个可以理解成 prompt 的东西) 多少也够用的( ﾟ∀。)

然后在这基础上想要实现持久的聊天的话也好办，ollama 上下文的回复其实是每次都把所有消息记录都提交给模型然后再输出的，你如果不想关窗口就一切清空的话就自己编程维护上下文，并且把这个上下文保存到文件中就可以了。

然后我自己的实现就是自己通过ollama的api接口来提交会话内容，然后上下文自己维护就可以。我没有持久化的需求所以我没把这个上下文保存成文件，但是显然要做也很容易(｀･ω･)

具体的代码实现当然也不局限于哪种语言，总之就是需要你能够读取和编辑 json 数据，以及向 ollama 服务端发送数据 (POST 请求)，我自己是用的 cpp&lua 这一套做的，主要是方便用在我自己的qq机器人上( ﾟ∀。)

当然如果 po 想从模型训练甚至是更底层开始就自己上手的话，那上面这些就不适合 po 了，也不是我所了解的了

>>No.63550945
我自己本地的条件是6G显存的 3060 ，够运行 llama3.1 最小的那个，再大就被迫要在cpu跑了；效果的话中文还不错，也基本符合人设，只说娱乐用途还是够的。

如果只是基于现有模型搓工作流/知识库/向量检索这类不涉及模型本身的工作的话，可以试试
https://docs.dify.ai
低代码体验还是很好的