回应模式 - No.64957817


No.64957817 - 技术宅


无标题无名氏No.64957817 只看PO

2025-01-10(五)12:13:40 ID:mQUqSr0 回应

问道于肥。
我想给自己搞一个写作辅助小软件,用Python。
我略微懂一点点点点代码,所以准备用现在正火的ai帮我搞。

现在的问题是,这种纯文字的数据我该用什么储存?

可能说的不太清楚。我的数据是这样:我有一个选项是“战斗”,然后这个选项下面会有数个文段,我选择随机战斗文段之后会从储存的文段之中随机选择一个显示出来。

我该使用什么存储我输入的数据?

我问ai,ai告诉我可以用sqllite,文本文档。sqllite我不懂。用文本文档会影响查找速度吗?应该只是低文本量。

无标题无名氏No.65010489

2025-01-16(四)03:12:14 ID: Gs2SdhS

感觉po应该多用用大模型,词频都是10几年前的nlp算法了。
10年前应该是word embedding。
5年前是bert。
现在应该是sentence embedding + rag 再扔给大模型。

无标题无名氏No.65010491

2025-01-16(四)03:13:34 ID: Gs2SdhS

虽然小黄文估计不能扔给外面的大模型,只能自己host,成本就变高了

无标题无名氏No.65011599

2025-01-16(四)10:25:51 ID: mQUqSr0 (PO主)

我单纯是拿词频当做筛文段的工具。筛出来的文段放到随机文段里面提供灵感。

一开始我还自己筛文段,发现一晚上才筛出来一百多段,就这样还有十几个文件夹等着,不过后来我准备直接把筛出来的文段放进去,反正看的时候随机出。遇到写的不好的就重随一下。

我准备先放20本的文段进去,然后发出去看有没有大手子帮我优化改一改。

无标题无名氏No.65011625

2025-01-16(四)10:28:33 ID: mQUqSr0 (PO主)

我有加了一个人物衣着外貌描写的功能,用来拯救我的辣鸡笔力。就是让ai跑一下这张图上的人物穿着什么我手动复制进文件夹,再有一个对应图片。我感觉这种东西完全可以交给程序去弄,但是我不会,又开始手工作业。

昨晚上两个小时只加了三十只赛马娘。我准备把热门游戏的女角色都加进去。

无标题无名氏No.65012436

2025-01-16(四)11:58:27 ID: mQUqSr0 (PO主)

Excel限制还是太大了感觉,一千多行已经让我电脑开始卡顿了。

无标题无名氏No.65012870

2025-01-16(四)12:50:23 ID: Gs2SdhS

比如说筛选文段,现在流行的方法是把句子转换成向量(浮点数组),然后用向量搜索算法找最接近的向量。相比直接字符串比较,能达到更优秀的模糊匹配效果,这个也是llm的关键步骤。
至于excel,或者csv之类的,如果你只用python操作的话应该几万几十万行都没问题,纯粹是gui程序扛不住。

无标题无名氏No.65012883

2025-01-16(四)12:52:45 ID: Gs2SdhS

如果大到内存放不下了,就需要再到sqlite了。(或者如果不想学的话,也可以手动分多个文件)

无标题无名氏No.65013419

2025-01-16(四)14:02:32 ID: mQUqSr0 (PO主)

哦哦哦那我就继续Excel了,看来是我自己电脑的缘故。

无标题无名氏No.65013453

2025-01-16(四)14:07:08 ID: mQUqSr0 (PO主)

直接把文段往进添加出现了很多没有的,新加一个功能可以删掉这个单元格。