开发者经常需要查看技术文档,这不仅是一项既耗时又繁琐的工作。
为了解决这个痛点,一款专为程序员打造的文档爬取和处理工具:DevDocs,开源了!
它能够自动爬取、提取并组织技术文档,将以往需要花数周理解文档的时间缩短至几个小时,极大提升我们的开发效率。
GitHub:github.com/cyberagiinc/DevDocs
主要功能:
- 智能爬取功能,支持 1-5 层深度的网站结构爬取;
- 自动发现链接和子 URL,全面映射网站结构;
- 并行处理技术,实现高速文档爬取与智能缓存;
- 干净提取内容,去除冗余信息易于理解;
- 支持 MD 和 JSON 导出格式,方便 LLM 训练。
除此之外,还内置 MCP 服务器,支持集成到 Claude、Cursor、Cline 等 AI 应用,实现聊天对话查询文档。
提供 Docker 快速部署方式,简单配置下,即可使用。