【[141星]Advanced Chunker:一款轻量级的Python文本分块工具,专为语义感知的文本分块和聚类而设计。亮点:1. 基于嵌入的分块相似性分析,精准识别语义关联;2. 支持最大512个token的分块合并,优化RAG系统输入;3. 提供可视化工具,直观展示语义关系和聚类效果】
'Semantic Chunker is a lightweight Python package for semantically-aware chunking and clustering of text.'
GitHub: github.com/rango-ramesh/advanced-chunker
文本处理 语义分析 Python工具 AI创造营