大语言模型工程师的工具箱
github.com/KalyanKS-NLP/llm-engineer-toolkit
这个github仓库汇集了120多个按类别分类的大语言模型(LLM)相关库和工具,涵盖了从LLM训练、应用开发、推理、服务到数据提取、生成、代理、评估、监控、提示设计、结构化输出、安全与嵌入模型等多个方面。每个类别下都列出了多个库及其简要描述和链接,帮助开发者快速找到适合的工具。例如,LLM训练部分包括unsloth、PEFT、TRL等库,而LLM应用开发部分则推荐了LangChain、Llama Index等框架。该仓库适合从事大语言模型开发、研究和应用的工程师、数据科学家和AI研究人员,能够帮助他们快速找到并集成所需的工具,提升开发效率和模型性能。
AI创造营 AI生活指南