


LLM
🚢 LLM部署(docker+vllm+embedding+rerank) 支持工具调用
该文档介绍了关于LLM模型部署的内容,包括模型选择、模型下载、模型部署方案以及模型使用和加速方法。推荐的部署方案是使用docker部署,同时提供了本地环境部署的方法。模型加速方面介绍了vllm和flash-attention两种方法。embdding模型,rerank模型
2025-03-27
8 min

LLM
🚥 如何选择大模型(榜单+指标)
在选择大模型之前,需要明确自己对语言、通识、推理、数学、代码、长文本和工具等七大能力的偏好。评测指标包括MMLU、C Eval、ARC-C、BBH、GSM8K、MBPP、Human Eval、L-Eval和T-Eval。常用榜单包括OpenCompass司南榜单、Huggingface榜单和MTEB榜单。
2025-05-16
5 min

LLMPrompt
🔖 Prompt编写
该文档是关于Prompt编写指南的,介绍了26种技巧与效果,以及进阶的CoT、类推提示法、PoT、ToT和GoT等方法,用于提升大模型的推理能力。
2024-11-23
11 min

LLMLangChainLangGraph
🥠 修改FastChat使支持工具调用(LangGraph适配FastChat)
本文介绍了如何修改FastChat以支持工具调用和LangGraph适配FastChat的问题。针对
2024-06-20
3 min


LLMRAGPrompt
🤖 AI开发基础资料和相关技术介绍
这篇文章介绍了关于AI开发的基础资料,包括开发工具LangChain和LlamaIndex,以及LangGraph框架。还讨论了LLMs微调的挑战和提示工程技术的应用。此外,还介绍了RAG(增强检索)的基本原理和优化方法,以及向量数据库和Agent的相关内容。
2025-06-11
3 min

