烟云的计算

而是它会读这个资料，提取关键信息，然后把信息整合进已有的 Wiki 里，包括：更新相关实体的页面、修正主题摘要、标注新数据和旧结论的矛盾之处。Karpathy LLM-wiki 方案的核心思想是：不要把 LLM 当搜索引擎用，让它像程序员维护代码库一样帮你持续维护一个 Markdown Wiki —— 一个结构化的、互相链接的 Markdown 文件集合。现在主流的知识库（如 ChatGPT 文件上传、NotebookLM）都是基于 RAG 技术的：上传文档，提问，AI 检索相关片段，生成回答。

这种自定义 Skills 的过程，符合 Spec Coding “先思考后行动” 的思想，即：先详细定义可以执行的需求规范（Specification），然后再推动 AI 进行开发。它的流程包含 “需求分析、技术设计、任务拆解” 的文档编写过程，最后让 AI 根据规范来完成编码。这种一步步的工作流程能保证每一步都有依据，实现从需求到代码的准确转化。只要你安装了 skill-creator skill 之后，就可以和 Claude Code 聊天让它引导你创建一个自定义的 Skill 了。

和内置 summarize 的区别：内置的 summarize 是基于 CLI 工具（summarize 命令），Summarize Pro 是一套更丰富的摘要指令模板 + 历史记录管理。统计：显示原文 vs 摘要字数对比。历史记录：show summary history 回顾之前的摘要。自定义模板：create template 创建你自己的摘要格式。成就系统：统计你处理了多少字。适合场景：经常需要消化长文章、会议记录、技术文档，且想要 不同格式输出的。

所以后来，他们把 AGENTS.md 精简到了只有 100 行，将 AGENTS.md 定义为 “导航目录” 而非 “内容本身”，它指向了一个结构清晰的 docs/ 目录，里面有各类文档，包括：架构图、设计文档、质量标准、安全规范等等。把 AI Agent 放进一个循环里，给它一个目标，让它反复执行（编码、审查、测试、修复），直到这个 “准出” 为止。于是，他们设立了一个让 AI 循环清理的流程，把清理原则告诉 AI，然后定期扫描文档和代码，发现过时的描述或不一致的地方，就会自动发起 PR 来修复。

一份文档，明确规定 AI 可以自主做哪些事，哪些事必须先问你。? 可直接执行：- 心跳检查、文件整理、日志归档、记忆维护? 需要你批准：- 发送外部邮件、执行金融操作、部署代码、删除数据核心价值： 清晰的边界让你信任 AI 自主运作，也让 AI 知道自己的「管辖范围」在哪里。每周根据 AI 的可靠性表现，可以扩展它的自主权。

HR 是一个双重属性的岗位：一边要承接大量重复性执行工作，一边还要基于数据对比、深度分析，做出贴合组织需求的人才决策。：财务系统有账务数据，但银行流水与企业账目的核对往往是财务人员手动完成。：报销系统处理报销流程，但财务人员收到一堆发票图片需要整理时，系统可能不支持批量 OCR。：企业系统存储的是内部薪酬数据，外部市场薪酬数据需要 HR 自己搜索整理。：企业系统不会监控外部公司的人员变动，这是 HR 的主动情报工作。：财务系统有成本数据，但定制化的成本分析报告需要财务人员手动制作。

【代码】openclaw.json 配置文件解析。

OpenClaw 支持通过 CLI 来索引和搜索你的 MEMORY.md 文件，让它记住重要信息。OpenClaw 有一套斜杠命令系统，在聊天里直接输入 / 开头的指令就能使用。首次使用时的配置向导。

比如想抓取 https://example.com/article 的内容，只需要访问 https://r.jina.ai/https://example.com/article 即可，它就会返回干净的 AI 友好的 Markdown 格式内容，AI 读起来很舒服。KasmVNC 就是一个通过 VNC 协议的、基于网页的远程桌面服务，装上之后，你可以通过自己电脑的浏览器远程连接到云主机的桌面，直接看到 OpenClaw 正在操作的浏览器画面。本来是为开发者工具设计的，现在成了有头浏览器自动化的标准。

这里指的是 OpenClaw 应用本身的数据安全。值得注意的是，沙箱容器是延迟启动的，例如有用户在群 @OpenClaw “帮我查一下天气”，然后 OpenClaw 会检测到是非主会话，然后查看是否有该 agent 的容器，如果没有则自动创建并启动容器。目前最新的版本已经引入了 token 身份鉴权，所以要及时进行 OpenClaw 的更新，目前社区在加紧安全防护的开发。OpenClaw 功能强大但安全形势非常严峻，一旦 OpenClaw 被入侵，它会以极高的权限和极大的主动性完全接管你的 IT 环境。

可见 Channel 是轻量化的、驱动层化的，接入一个新的消息平台，只是多一个插件。你在Slack里讨论的工作内容、在 Telegram 里安排的日程、在 WhatsApp 里的个人对话，全部混在一起，形成了对你越来越完整的理解，以后完成任务也会越来越贴心。这个自我维护机制就把记忆给分层了，原始日志是短期记忆，每天的 MEMORY.md 是中期记忆，提炼出来的个性和喜好是长期记忆。在这里，token 的用量优化成为重要的考量，采用了 Skills 的架构，动态加载和技能相关的描述和细节。

AgentTeams 让多个 Claude Code 实例在同一个窗口中一起工作，它们都有独立的上下文窗口，彼此间可以互相通信、共享同一个任务目标，互相分工协作，甚至通过 “对抗式讨论” 来验证各自的判断。所以高质量的 CLAUDE.md 文件在 AgentTeams 中至关重要，这是所有 Agents 共享的 “员工手册”，定义了共同遵守的 “宪法”，比如代码目录架构、代码规范、架构决策和测试标准等等。当某个队友完成了其他任务所依赖的任务后，这些被阻塞的任务会自动解锁，不需要人工干预。

解决问题的初心创造价值的使命持续学习的精神。

只要规则文档清晰、准确，AI 就能更稳定、更高效、更持久、更广泛地发挥。BMAD-METHOD（Breakthrough Method of Agile AI-Driven Development，敏捷 AI 驱动开发的突破性方法），是一套明确约束人和 AI 如何协作的开发方式。软件工程方法论，指用于指导、管理和执行 “软件需求、设计、开发、测试、交付、运维” 的过程的结构化方法、框架、原则和实践。并且，在 BMAD 的设计里，不要把 AI 当成 “万能助手”，而是把 AI 当成多个有分工的角色。

优先采用描述动作的动词。例如：充当、分析、分类、归类、对比、比较、创建、描述、定义、评估、提取、查找、生成、识别、列出、测量、组织、解析、选择、预测、提供、排序、推荐、返回、检索、重写、选择、显示、排序、总结、翻译、写作。这对 Agent 而言很重要，因为生成更多的 token 意味着更多的算力消耗、成本和生成时间，而且 LLM 生成有时候会特别的啰嗦，完全是无效的浪费。根据目的和作用的不同，可以将 Prompt 分为以下几种类型，LLM API 可以认识这些 Prompt 的类型，并且执行相应的操作。

Claude Code 作为一个 Agent，本身就是一个 MCP Host，所以可以安装和管理 MCP Server 和 MCP Client，最终再通过 MCP Server 和真实的 Service Provider 进行交互。默认的，当你重新进入 Claude Code 时，默认会创建一个新的会话，在新会话中你看不到之前会话的历史记录。为了更好的区分不同的会话，还可以在进入会话之后输入指令。另外，LLM 的 Context Windows 是有限的，所以当一个会话的上下文太多了，可以执行指令。

在 Agent 启动时，会将每个已安装 Skills 的 name 和 description 预先加载到其 System Prompt 中，使得 Agent&LLM 知道什么时候使用哪个 Skill，而不需要将这个 Skill 都加载到 Prompt 中，从而节省了 token。如下图所示，一个 Skills 的本质就是一个包含了 SKILL.md 文件的目录，其中包含了编写好的 Metadata、Instructions、Scripts、Resources 等内容。

OpenClaw 很酷，大家都应该用起来。对于小白用户，建议使用云主机方式进行使用，月费几十块钱即可。对于程序员、IT 工程师，建议直接在主力机器上使用，以求效率最大化，前提是我们能够完全控制它。这篇文章讲得就是如何在主力机上安全的使用 OpenClaw。

LLM 会不断根据 Pretrain 学到的基础知识和 SFT 学到的解题能力去解答练习，然后人类作为老师批改 LLM 的练习，来让 LLM 反思错误的解题方式，不断强化正确的解题方式。

为了使 LLM 能够获得泛化的指令遵循能力，需要收集大量多种类型的 “指令-响应对” 来对 LLM 进行 SFT，同时也需要相对较大的指令数据量。所以严格的讲，针对 LLM 的 Multi-task SFT 采用的是 “指令微调” 方法，数据样本是由用户手动撰写的高质量 “指令-响应对”。如果要使 LLM 支持多轮对话，就需要在 SFT 时将指令数据样本构造为多轮对话的格式，目前绝大部分 LLM 均使用了多轮对话的指令数据样本来进行 SFT。

涌现能力是目前业界和学界对 LLM 保持较高的热情和关注的核心所在，即虽然 LLM 目前的能力、所能解决的任务与人类最终所期待的通用人工智能还存在不小的差距，但在涌现能力的作用下，我们相信随着研究的不断深入、高质量数据的不断涌现和更高效的模型架构及训练框架的出现，LLM 终能具备通用人工智能所需要具备的能力，从而给人类生活带来质变。使其成为了一个更通用的模型，适用于更广泛的应用，包括但不限于文本生成、翻译、摘要、问答、编程辅助等，还增加了对于长文本的处理能力和更好的泛化能力。

例如：句子 The animal didn’t cross the street because it was tired，其中 it 和 animal 的关联必然最大，其权重也最大，it 的语音单元必然包含 animal 的信息，如此的 Decoder 就知道了代词 it 指代的是名称 animal 而不是其他词，翻译为 “动物”。由于深度神经网络中每一层的输入都是上一层的输出，因此多层传递下，对网络中较高的层，之前的所有神经层的参数变化会导致其输入的分布发生较大的改变。

值得注意的是，Sequence Model 的 “历史记忆” 和 Hopfield Network 的 “联系记忆” 有本质的区别，“联想记忆” 并不适用于处理序列数据，而 “历史记忆” 的目标是发现序列数据中的模式和依赖关系，从而进行预测、分类，甚至生成新的序列。如下图所示，RNN 和 FFN 结构的主要区别就是 RNN 引入了一个循环结构，RNN 在每个时间步（t）处理一个序列元素时，不仅会接收当前的输入，还会接收来自上一个时间步（t-1）的隐藏状态（Hidden State）。

文本摘要（Text Summarization）就是根据文本内容生成一段简洁准确的摘要，来概括原文的主要内容。抽取式摘要（Extractive Summarization）：通过直接从原文中选取关键句子或短语来组成摘要。优点是摘要中的信息完全来自原文，因此准确性较高。然而，由于仅仅是原文中句子的拼接，有时候生成的摘要可能不够流畅。生成式摘要（Abstractive Summarization）：不仅涉及选择文本片段，还需要对这些片段进行重新组织和改写，并生成新的内容。

Hugging Face（https://huggingface.co/）和魔塔社区（https://www.modelscope.cn/home）是著名的 2 个开源模型和开源数据集的网站，此外还有 OpenDataLab（https://opendatalab.com/）、智源数据平台（https://data.baai.ac.cn/dataset）等等，我们可以在这些网站上下载许多知名的开源数据集。通常的，我们需要考虑数据集采样配比的问题，将不同类型的数据（如新闻、百科、代码等）按合理比例混合。

数据预处理：Megatron-LM 提供了 preprocess_data.py 预处理脚本，将原始文本数据转换为 Megatron-LM 所需的 token 化二进制格式，支持高效加载。DeepSpeed 的核心技术是 ZeRO 技术，它可以克服数据并行和模型并行的局限性，同时实现两者的优点，它是将模型划分为状态参数、梯度、优化器状态来降低内存冗余，提升显存利用率。以 GPT 为例，模型参数包括。注意，多机训练的时候，启动容器时不能指定 --net host，会导致 NCCL 通信时报错。

所以在本文的推理实践中采用了 NVIDIA 官方发布的 NVFP4 量化模型 nvidia/Qwen3-30B-A3B-NVFP4，总参数量 30B、单次激活参数量 3B 的 MoE 模型，可以最大化发挥硬件的内存与算力优势，是 PGX 的理想应用场景。在模型开发的日程工作中离不开性能剖析的工作，尤其是 Nsight System 和 Nsight Compute 这两款 NVIDIA 性能剖析工具的使用，这些工具都被预先安装在 PGX 上了，我们可以方便的通过 GUI 桌面进行使用。

微调是指在已经训练好的大型预训练模型的基础上，进一步训练该模型以适应特定任务或特定领域的数据。尽管完全微调可以对模型的能力进行深度改造，但要带入模型全部参数进行训练，需要消耗大量的算力，且有一定的技术门槛。由于微调需要消耗大量的显存，因此参数规模超过 30B 的大模型往往无法在 32GB 消费级 GPU 上运行，但却可以轻松在拥有 128GB UMA 的 PGX 上随时进行。其中，GGUF 是大模型的存储格式，可以对模型进行高效的压缩，减少模型的大小与内存占用，从而提升模型的推理速度和效率。

例如下边示例图左边的 Self-attention 模块，通过对比分析后得出，对 Self-attention 这块做重算的收益是非常高的，因为它的计算量相对会少一点，但它的一些中间结果输出占用的显存开销非常大。其次，使用比较多的是 Zero-2 和Zero-3。为了解决内存开销大的问题，微软提出了 ZeRO，可以根据不同的程度充分将优化器状态（os）、梯度（g）和模型参数（p）切分到所有的 GPU 中，也就是不同的 DP Group 中会存储不同的优化器状态、梯度和参数切片。

在 nv-hostengine 和 GPU Driver 的追踪（Tracing）方面，以秒为单位，nv-hostengine 与 GPU Driver 接口交互用于收集 GPU 的指标，包括：SM 利用率、内存利用率、温度、功耗、时钟速度、ECC 内存错误、PCIe 吞吐量、NVLink 吞吐量等。最后，还实现了 CPU 和 GPU 两端事件的统一聚合与同步，两者通过高效的内核态 ring buffer 进行合并与关联，确保追踪过程中数据和时间戳的一致性和低延迟。具有非常低性能开销，并且是完全无侵入的。

2020年10月22日，Google团队发表An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale，提出了Vision Transformer（ViT），虽然不是第一篇将Transformer应用在视觉任务的论文，但是因为其模型“简单”且效果好，可扩展性强（scalable，模型越大效果越好），成为了transformer在CV领域应用的里程碑著作，也引爆了后续相关研究。引起了全球学术界和工业界的大语言模型热潮。

以秒为单位，nv-hostengine 与 GPU Driver 接口交互用于收集 GPU 的指标，包括：计算利用率、内存利用率、温度、功耗、时钟速度、ECC 内存错误、PCIe 吞吐量、NVLink 吞吐量等，具有非常低的开销。Nsight Compute 广泛地对 GPU 硬件性能计数器进行数据采集，ncu 使用了 CUPTI 的 Event API、Metric API 和 CUDA Profiling API 来计算 GPU 所执行的指令、内存事务、warp 占用率等事件。

但是对于比较小的模型，或者细粒度的 MoE 模型，其矩阵乘法的 Shape 本身比较小，TP 切分后对算术强度的影响比较大，会导致吞吐的明显下降，无法充分发挥 GPU 的性能，因此在细粒度 MoE 模型的专家部分比较少采用 TP 并行。每块 GPU 执行 all-reduce 操作，收集所有 GPU 中的 local-gradient 梯度结果，然后进行求和求平均（归约）后得到一次迭代计算最终的有效 global-gradient，最后再同步到所有的 GPU 上并进行 Weights 权重参数的更新。

如果说 MPI 进程是一个计算概念，那么 MPI 进程组就是一个通信概念，表示若干个能够进行跨节点间 MPI 通信的一组 MPI 进程。关卡），在并行计算中，需要在最后将所有并行计算的子结果进行汇总，而快的进程就会在 Barrier 分界线上等待慢的进程完成计算，直到所有进程都完成了计算之后在进行下一步操作，所以也称之为同步等待。：用于描述 MPI 进程之间的通信范围，也称之为通信域，同时还记录了 MPI 进程组内或组外的 MPI 进程之间的通信拓扑和通信信息。将一个进程的数据分散到多个进程中。

PerfTracker 会展示所有对任务性能有一定影响的函数的性能报告，并指示是否有性能异常。不同类型的函数会按如下分类进行展示，具体见官方文档。将汇总后的数据，分别交由不同类别 extractor 解析，计算出函数对应 bottleneck 值，将汇总后数据写入汇总后文件。传统的 LMT 性能诊断有 “在线监控” 和 “离线剖析” 这 2 种方式，但这两种方法在 LLM 场景中都不理想。100 微秒精度的 GPU、NVLink、PCIe、DRAM 等硬件的各种指标监控信息。

定义：是一个独立的、轻量的、作为 MCP Client 的服务器程序，同时也作为外部系统的前端程序，为 LLM 提供数据访问、工具执行和服务调用的能力。目前有多个开源库或网站提供了托管的 MCP 工具资源，用于增强 LLM 和 Agent 的能力，确保其生成响应的可靠性。Prompts 是 MCP Server 为 Resources、Tools 或特定使用场景所提供的提示词模板，支持参数化渲染和复用，帮助 LLM 生成特定类型的响应，例如：可以设计成多步骤的逻辑链，引导用户完成复杂的任务。

更多的，我们需要自定义大量的 Tools。LangChain 也提供了简介的 @tool 语法糖来简化开发的复杂度。下面以自定义的从 OpenWeather API 获取实时天气数据工具为例。import os"""查询即时天气函数:param local: 必要参数，字符串类型，用于表示查询天气的具体城市名称，\注意，中国的城市需要用对应城市的英文名称代替，例如如果需要查询北京市天气，则local参数需要输入'Beijing'；

本文档是对教程《工业级智能体开发实践，LangChain从零入门与智能体开发实战！RAG知识库检索、MCP智能体开发、数据分析智能体搭建全领域实战！从零学会LangChain！》的实践记录，查看原文请跳转：https://www.bilibili.com/video/BV1pYKgzAE5C?

ReAct Agent 和 Function Call Agent 的关键区别在于前者具有自主的 Observe（观察）反馈和自主优化的能力，这是循环迭代的基本要求。：工具模式主要用于 Agent 场景，扩展 LLM 的能力边界，调用外部工具 / API 扩展功能，解决自身无法直接完成的任务（如实时数据查询、代码执行），使其具备影响外部系统的能力。Workflow 和 ReAct 的区别：从逻辑的角度对比，Workflow 是企业信息化转型的提效逻辑，而 ReAct 是以目标为导向的问题解决逻辑。

过程中出现了 OpenAI API error: Error code: 429 错误，原因是 RATE_LIMIT_EXCEEDED 请求 PPIO OpenAI API Server 太快了被限速。非卡点问题，具体解决办法待定。browser_use 工具 go_to_url 打开网页，但是进入了人机测试页面，这里显然有问题。这些旅行计划的 md 文件中具有第二次补充的详细信息，包括：5 days、$1000、History 等细节。第二次请求关注具体的执行步骤，总结具有以下几类步骤和工具执行。