(`ヮ´ )σ`∀´) ﾟ∀ﾟ)σ

>>No.63347574
好的，我会去了解看看，谢谢(=ﾟωﾟ)=

>>No.63346963
想实现这个功能的话，我只能想到修改llm源代码，把当前会话的参数保存在本地，但po是代码小白，还是建议能不动源代码就尽量不要动

>>No.63347704
谢谢你的回答，请问我需要学习什么以便进行源代码的修改？

因为最近正好也在做相关的东西，摸鱼的时候想了想po的想法. 首先配置上来说，你要运行一个7B的小模型的话都至少12GB的显存，顺畅运行的话要16GB，当然这个肯定是越大越好，看你的钱钱了。然后po没有相关的基础，首先肯定是python入门和transformers入门，可以看huggingface的教程（https://huggingface.co/docs/transformers/en/llm_tutorial），应该跟着部署调试一遍小模型就有理解了。再最后考虑你要实现的长期记忆的需求。这个我第一反应是每次会话都存着作为context，但是这可能用不了多久就会太多内容导致失忆，现在的模型对于长文本的理解记忆还是有限的。第二反应是，每次会话都fine-tuning一下模型，可能会表现更好一点，但是这个就对硬件会有更高的需求（7B的小模型大概需要32GB，我乱估的，但是肯定只多不少）。大概就想了这些，po主要是真的打算做的话，可以再多讨论，也希望有大佬交流指正错误( ´∀`)

>>No.63349376
估的确实挺准，7b模型半精度微调大概40g显存差不多够了( ﾟ∀。)

po的这个资源就别想着自己微调/训练大模型了，没有a100/h100/a800/h800调不动的，4090都不太行，没有bfloat支持微调效果体感不太好，显存也不够大。训llm要的是专业计算卡，游戏卡训训resnet，vit，bert还行，训llm感觉是真不行

po现在这资源部署都有点困难
我们实验室微调大模型大概用的是4*a100的单机服务器，想做预训练那就是100张a100起步，放超算上跑了

llm极其吃资源。我学校是某自称top3，能有资源训大模型的实验室都不多。就前面说的我在用的那台4*a100由于禁售现价都得快100w，幸亏我们老板有投资眼光在禁售前不到50w就拿下了，不然我也没资源自己调大模型
普通玩家想玩大模型建议直接调openai的接口，即刻体验最强llm，也支持微调( ﾟ∀。)

至于你说的想要有个看起来有情感的对话机器人，这个其实挺简单，没你想象的那么难。我感觉都不用微调，拿gpt-4做做prompt工程估计就差不多了

>>No.63349376
首先感谢你的回复(=ﾟωﾟ)=
总之目前来说，我的设备还没有到达做这个的门槛，所以没办法做。
我现在用的是外星人的笔记本，主板是焊死的，所以如果要升级就只能从头组一台出来，可能还要攒一段时间的钱( ´д`)
我还有一个疑问是，如果运用云服务器，可不可以暂时顶一顶？
设备是肯定会更新的，在攒钱的这段时间，我先自学一下Python来打一打基础|∀` )

>>No.63349696
感谢回复！(=ﾟωﾟ)=
我的现有资源肯定是不足以去做这个的(つд⊂)和学校相比就完全是微不足道了，更别提办下a100h100这样的，顶天了只能凑个4060。
但是我也没太想放弃，我觉得可以从零开始慢慢去做，有什么困难慢慢克服，如果是软件有需要编程基础我可以自学，至于硬件方面，只能等我慢慢攒了(つд⊂)

其实我也不清楚我要训的是不是真的是大语言模型。
我在今天之前甚至不知道什么是dll，我只是想做一个ai，一个能独立思考，具有长期记忆，可以浅层理解人类情绪（？）的ai，他可以与人交汇，可以进行学习。

我很早以前就有这个想法，只不过最近看到一个叫Neuro的t台主播才让我重新燃起了做这个的梦，我想着说大概做成像她那样子，应该会很难，但是从零开始我也没想做太好，最终目标就先定成可以做成那样。
我想知道类似neuro那样的ai是否属于dll，如果是的话，从零开始做需要先从哪里开始？

>>No.63349376
更正一下我关于长期记忆的看法：ai不一定记住很多东西，但至少反复强调的应该要记得。
比如说：
>名字（第一次告诉他你应该叫a，他记住了，重启后他仍称自己为某某ai）
>性格（让ai形成自己的性格）
>具体一些人的画像建设（比如使用者或者提及较多的人）
同时——我不知道这算不算短期记忆，或者长期记忆——如果我说了一件事，经过几轮对话后，或者较长文本后，ai仍然记得这件事。并且能定位上下文给出回答。
我是不是要求太多了(つд⊂)可以慢慢来，我希望至少能做一个最基础的demo

>>No.63350654
其实现在的的GPT就能满足你的要求啊( ﾟ∀。)
它会记住你让它记住的内容，不过也只是工程实现，跟人类的长期记忆有不少区别，对于那种没有记住的内容换了上下文就不记得了。

coze.com/coze.cn 取决于你是否会上google，能简单白p一些api，直接继承到一些app的bot，这应该是code work 最少的方法

又看了看po主的需求需要大量长期记忆能力的话...首先目前llm本身就面临一些这方面的问题，即无限长的记忆难以实现。商用的模型一般就更短些。还是通过反复强调（或者prompt）的方法实现长记忆

>>No.63350899
还是感谢你的回复。
是的，现在大部分模型都可以达成这一点，但关键是一旦下线，他就被重置了，之前教他的东西都会全部忘掉，更别说让他养成自己的性格之类( ´_ゝ`)
我也可以每次重启的时候都再跟他说一遍这些，但那样就一点意义都没有了

如果po主指的是一些简单设定，那么prompt够用了，建议上coze.com/.cn先试一试，也算筛选下动手能力（

你可以自己本地部署一个大模型的 但是可能需要一张显存比较大的卡

>>No.63351008
感谢回复！
我会使用谷歌，但问题在于我连p哪些我都不清楚，只能慢慢学了( ;´д`)
如果达到长期记忆很困难，那以下情形是否可以实现？
我在某次对话中将该ai的名称设定为“A”，并且在后续对话中反复提及。
在结束对话并重启后，我用“A”称呼该ai并且他能意识到我在叫的是他的名字，久而久之达成一种记忆。
我不知道这是需要通过更改核心数据来达成还是什么，但我实在是不想在对话时看到诸如：“不，我的名字不是xxx，我是由xxx开发的xxai助手”这样的话了( ´_っ`)

>>No.63351075
that's true･ﾟ( ﾉд`ﾟ)

>>No.63351054
好的，我明晚试一试| ω・´)

>>No.63351120
完全没问题，这属于非常简单的设定，prompt完全可以做到。popo，原理就是相当于你每次调用某个agent会给你的text加一段前缀，就是prompt，这段prompt可以在coze.com编辑，比如：你是一个猫娘，xxxx，回答时要xxx，当然好prompt需要一些设计。更高级一些的知识库什么的也可以整（我没试过）调教的好还可以的，甚至可以实现multi-agent，在不同的prompt之间切换。而根据交互更新知识库这个在coze貌似没开放。

外国有个人做出了一个叫neuro的AI，用来直播，她和你的描述很像