Tips无名氏No.9999999

2099-01-01 00:00:01 ID: Tips

发芽的洪！　︵ᵟຶ
( `д´)ジ

无标题无名氏No.68414009

2026-04-02(四)11:29:47 ID: aJm3cqo (PO主)

背景提要:肥肥是某大一计科生，在上大学之前没有接触过代码。现在仅有的知识储备只有CS50,CS61B,CS61C这几门课的内容，但是感觉离实践都比较远，再加上想要自己给自己写个Agent小玩具，所以Agent开发做中学记录串，堂堂连载!(つд⊂)

无标题无名氏No.68415983

2026-04-02(四)16:41:12 ID: aJm3cqo (PO主)

肥肥的计划是写一个能够分析自己日记的心理咨询agent，两天来的进展:
两天来的进展:
1.熟悉了Langchain,LangSmith的使用
2.使用Langchain的Chroma集成写了一个存储日记的向量数据库，采用了联合存储的结构，构建了两个collection，第一个collection存储日记的原文本，第二个collection存储日记的概括、情感、模式识别等信息支持模糊检索，同时metadata中存储日期和我自己写的一些枚举表来支持过滤。两个collection共用基于原文本哈希得到的id来实现联合检索。

无标题无名氏No.68416015

2026-04-02(四)16:45:50 ID: aJm3cqo (PO主)

目前数据库能够跑通，但是测试的时候发现切分上传的文本时，模型会丢弃不少的原文本。
ver1.1:我解除了max_token的限制，但是结果没有改善，说明不是token数量导致的截断问题。
ver1.2:我调整了提示词，强调了切分的原则，问题仍然没有改善。
ver1.3:我将日记切分拆分为了两步，先概括整体结构，再依据结构切分，仍然没有改善。
ver1.4:调整了用于结构概括的模型的提示词，仍然没有改善|ー` )

目前我找到了jina ai的一篇关于长文本分块的研究，正在研读中

无标题无名氏No.68416080

2026-04-02(四)16:54:16 ID: PS9gmen

让大模型切分？不是个好主意。用规则或者启发式更可控。

无标题无名氏No.68416114

2026-04-02(四)17:04:36 ID: Mghtdjb

火山的那个知识库切片的时候也是一样的问题|∀ﾟ蹲一手

无标题无名氏No.68416208

2026-04-02(四)17:18:44 ID: KCmDwxu

现在大一都如此恐怖了吗，我大一的时候还在阿巴阿巴( ﾟ∀。)7

可以问一下po是在国内还是国外就读的吗

无标题无名氏No.68417460

2026-04-02(四)20:55:05 ID: aJm3cqo (PO主)

>>No.68416080
我查了许多LLM-based的方法，发现即使抛开生成效率不谈，许多也是在demo上表现良好，一落地都各有各的问题( ﾟ∀。)不过我一开始单纯是懒人想法想让大模型包办

无标题无名氏No.68417462

2026-04-02(四)20:55:39 ID: aJm3cqo (PO主)

>>No.68416208
在国内读的( ﾟ∀。)其实只是本质水货一个

无标题无名氏No.68417474

2026-04-02(四)20:58:15 ID: aJm3cqo (PO主)

在查解决方法的时候看到了一个和我相反的思路，小块文本向量化，大段保留，先检索小段再定位的大块(Small-to-Big Retrieval)，和我的概括大块，然后先定位大块再检索小块的路子反过来了( ﾟ∀ﾟ)mark一下，有精力的话我会尝试一下这种方法再评估一下效果