(=ﾟωﾟ)=是不是冷场了，埋一下

背景提要:肥肥是某大一计科生，在上大学之前没有接触过代码。现在仅有的知识储备只有CS50,CS61B,CS61C这几门课的内容，但是感觉离实践都比较远，再加上想要自己给自己写个Agent小玩具，所以Agent开发做中学记录串，堂堂连载!(つд⊂)

肥肥的计划是写一个能够分析自己日记的心理咨询agent，两天来的进展:
两天来的进展:
1.熟悉了Langchain,LangSmith的使用
2.使用Langchain的Chroma集成写了一个存储日记的向量数据库，采用了联合存储的结构，构建了两个collection，第一个collection存储日记的原文本，第二个collection存储日记的概括、情感、模式识别等信息支持模糊检索，同时metadata中存储日期和我自己写的一些枚举表来支持过滤。两个collection共用基于原文本哈希得到的id来实现联合检索。

目前数据库能够跑通，但是测试的时候发现切分上传的文本时，模型会丢弃不少的原文本。
ver1.1:我解除了max_token的限制，但是结果没有改善，说明不是token数量导致的截断问题。
ver1.2:我调整了提示词，强调了切分的原则，问题仍然没有改善。
ver1.3:我将日记切分拆分为了两步，先概括整体结构，再依据结构切分，仍然没有改善。
ver1.4:调整了用于结构概括的模型的提示词，仍然没有改善|ー` )

目前我找到了jina ai的一篇关于长文本分块的研究，正在研读中

让大模型切分？不是个好主意。用规则或者启发式更可控。

火山的那个知识库切片的时候也是一样的问题|∀ﾟ蹲一手

现在大一都如此恐怖了吗，我大一的时候还在阿巴阿巴( ﾟ∀。)7

可以问一下po是在国内还是国外就读的吗

>>No.68416080
我查了许多LLM-based的方法，发现即使抛开生成效率不谈，许多也是在demo上表现良好，一落地都各有各的问题( ﾟ∀。)不过我一开始单纯是懒人想法想让大模型包办

>>No.68416208
在国内读的( ﾟ∀。)其实只是本质水货一个

在查解决方法的时候看到了一个和我相反的思路，小块文本向量化，大段保留，先检索小段再定位的大块(Small-to-Big Retrieval)，和我的概括大块，然后先定位大块再检索小块的路子反过来了( ﾟ∀ﾟ)mark一下，有精力的话我会尝试一下这种方法再评估一下效果

屈服了，打算直接拿Langchain的SemanticChunker拿来用了( ﾟ∀。)不自己造轮子了。后续会试着拿Hichunk拿来对比一下，看看论文天花乱坠，实际效果如何