大模型创业跌的跟头

看了李沐大神最近分享的内容特别有感触，也来说说📍这段时间的经历； 1、团队没有搞百亿参数的模型，硬件资源成本确实很难； 2、有些项目前期和客户洽谈好几次，方案来回整了好几次，一个demo无法打动用户，最后发现这个单子没有拿到，解决方案也被偷瞄与复制！ 3、越来越多的公司进入，看似蓝海实则红海，几家的产品实现相差无几，拼的是人脉和关系 4、自己跑到市场上售卖自己产品的时候，才是最考验一个产品经理能力的时候，商务谈判，议价能力，产品营销 📍再来说技术层面： 1、企业背景不同，rag的难度一方面在于检索技术，一方面来自企业本身是否已经有体系化和规范化的知识源，检索占据了整个pipeline 60%的工作量 2、再来说模型能力评估，真的没有标准，一旦没有标准成了一个xuan学的东西，基础能力c-Eval，MMLU等仅是基础能力评测起的作用不大，主要在于对RAG的评估 3、实际落地里面，不可能指望单独一个LLM放在那儿完成任务，不论是多强的模型也不行，尊重工程、产业和商业逻辑。 4、LLM输出侧的扩展是未来啊，除了输出语言、代码、思维步骤，还需要对接各类硬件设备的接口、SDK等等，这里的稳定性和工程加工兜底一定是短期内关键中的关键。