【[141星]AdvancedChunker:一款轻量级的Python文本分块

爱生活爱珂珂 2025-04-21 13:54:53

【[141星]Advanced Chunker:一款轻量级的Python文本分块工具,专为语义感知的文本分块和聚类而设计。亮点:1. 基于嵌入的分块相似性分析,精准识别语义关联;2. 支持最大512个token的分块合并,优化RAG系统输入;3. 提供可视化工具,直观展示语义关系和聚类效果】

'Semantic Chunker is a lightweight Python package for semantically-aware chunking and clustering of text.'

GitHub: github.com/rango-ramesh/advanced-chunker

文本处理 语义分析 Python工具 AI创造营

0 阅读:0
爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注