算法与 AI

向量/矩阵、贝叶斯、梯度——不推导，只讲 AI 里用到的直觉。

AI 代码就靠这三板斧：数组运算、表格处理、画损失曲线。

什么是过拟合、为什么要正则化——不讲推导讲直觉。

用 Minecraft 红石刻类比：输入→加法→激活→输出。

AI 不是突然冒出来的。这课用大白话串起七十年演进史，讲清 AI、机器学习、深度学习、大模型到底谁包含谁。

判别式做判断、生成式做创造；BERT 理解、GPT 生成、T5 翻译。一张表看清各种模型结构和适用场景。

模型跑分不等于好用，但跑分是门槛。困惑度、MMLU、GSM8K、Elo 排名——这些数字怎么读、哪里有坑。

写代码选谁、写文章选谁、本地跑选谁、预算有限选谁？一张对比表帮你快速做决定。

权重就是模型的全部。7B 是什么意思？safetensors 和 gguf 有什么区别？Llama 商用要注意什么？

没有 KV Cache，大模型每个字都要从头算一遍。它怎么省计算、又怎么吃显存，一文讲透。

7B 模型不量化要 14GB 显存，INT4 只要 4GB。量化怎么省、怎么损、Ollama 怎么跑，全在这课。

上下文窗口就是模型的工作记忆。Token 是什么？128K 是多少字？超窗了会怎样？

模型本身没有记忆，所谓记忆全是工程外挂。对话拼接、向量记忆、记忆摘要、外部数据库——四种方案对比。

大模型只会动嘴，Agent 让它学会动手。ReAct 模式、函数调用、Plan-and-Execute——AI 基础最后一课。

文字进模型前先被切成编号；一个中文词常占好几个 token，直接决定计费和上下文换算。

0 是死板、1 是稳健、接近 2 是发疯；一张手感调优表告诉你写代码/写作/问答各用什么。

意思相近的句子向量也近；这是 RAG 检索和语义搜索的地基。

先粗排捞 50 条，再精排挑 5 条，准召兼顾。

为什么 GGUF 适合笔记本，Q4_K_M/Q8_0 这些后缀到底什么意思。

M 系列芯片统一内存架构的红利，mlx-lm 一行命令跑起来。

DeepSeek 的秘密武器：一次前向多预测几个 token，又涨点又加速。

看图模型的视觉投影层为什么单独出一个 mmproj 文件、怎么和主权重一起加载。

一张对比表：本地玩、服务并发、英伟达顶配、跨平台，对号入座。

从下载 GGUF 到 llama-server 起服务、curl 调 API、算显存、排报错，照做就能跑。

自由文本不能当程序读；用文法硬约束，逼模型只吐合法 JSON。

为什么模型一个字一个字往外蹦：SSE 流式与首字延迟，和 TTS 怎么联动。

Q/K/V 矩阵计算、多头注意力、位置编码（正弦/RoPE/ALiBi）、FFN、残差——大模型的骨架。

从数据清洗到对齐：预训练→SFT 指令微调→RLHF/DPO→推理优化，一条流水线讲透。

从 117M 到多模态与推理模型：InstructGPT、RLHF、o1 思维链。

混合专家架构、MLA 多头潜在注意力、R1 强化学习推理模型，国产开源之光。

通义千问、智谱 GLM、Kimi、豆包、文心、混元——开源 vs 闭源对比表。

vLLM 分页注意力、连续批处理、Flash Attention、投机解码、KV 量化。

切分策略、Embedding 选择、BM25+向量混合检索、重排序、Query 改写、HyDE。

ReAct 循环、Function Calling、Planning、Memory、AutoGen/CrewAI 多智能体协作。

慢思考 vs 快思考、思维链、RL 训练推理能力，花更多 token 换更准答案。

视觉编码器、跨模态对齐，不是拼接而是原生统一架构看听说。

位置编码外推、环形注意力，整本书一次读完。

AI 写代码、改 Bug、跑测试，从 Copilot 到 Agentic Coding。

从预测下一个 token 到预测下一帧画面，让 AI 理解物理世界。

视觉-语言-动作模型，AI 长出身体，在物理世界里干活。

手机跑大模型：知识蒸馏、MoE 稀疏激活、量化部署。

怎么衡量一个模型好不好？榜单、人工评估、AI 当裁判。

大模型再玄乎，底层数据还是一坨一坨摆在内存里的。数据结构就是"数据的摆法"：同样一百个数，排成一排、连成一条线、挂成一棵树、画成一张网，查起来、改起来的速度天差

大模型不是玄学，它就是几摞矩阵在做乘法、再加一点求导。这一模块不教你重新学数学，只做一件事：把数学大厦里的概念，翻译成"它在 AI 里扮演谁"。忘了公式没关系，

数据结构是"怎么摆"，算法就是"怎么干"。这一模块过八大算法思想——不是背代码，是学套路：遇到问题先判断属于哪一类，套路直接套。

前面的算法是"人写死规则"，机器学习换了个思路：不写规则，给模型一堆题和答案，让它自己总结规律。这一节从最朴素的回归，一路爬到 Transformer 和大模型

从这里开始，模型开始"自己学特征"，不再需要人手写规则。核心就是：很多层线性变换 + 非线性激活，用反向传播调参数。

前面 11 个知识点叠在一起，再把参数堆到几千亿、数据堆到万亿 token，就成了你正在聊的 ChatGPT。这一节讲清楚它是怎么训出来的、Agent 又是什么

模块四只讲了回归、逻辑回归、决策树三个"网红入门款"。这一模块把经典 ML 的主力梯队补齐：朴素贝叶斯、kNN、SVM、集成学习、聚类、降维。它们在深度学习崛起

模块四只说了"反向传播+梯度下降"。但真实训练里，用什么损失、用哪个优化器、怎么防止过拟合、怎么初始化、怎么调学习率，每一步都是坑。这一模块把这些"炼丹手册"讲

4.9 节给了注意力公式，但没讲 Q/K/V 从哪来、为什么除以 √dk、BERT 和 GPT 到底差在哪、千亿模型怎么训。这一模块把这些"论文里的硬骨头"啃完

4.11 节说了 Agent 四件套。这一模块把 ReAct 循环、Function Calling、多 Agent 协作、RAG 检索增强、MCP 协议这些

AlphaGo 赢李世石靠的就是它。今天大模型对齐用的 RLHF，底层就是这一套。不理解 RL，就理解不了 ChatGPT 最后一步怎么"学做人"的。

训出模型只是一半。怎么打分、怎么诊断过拟合、怎么部署到生产环境，决定它是论文 PPT 还是线上产品。

正文里讲了"是什么"和"怎么用"。这里把反向传播和注意力的完整推导一步一步走完。数学不吓人，就是链式法则乘来乘去。

读到这里，你已经从数组走到了 Agent。这份附录是毕业装备包：接下来按什么顺序练、关键公式在哪查、工具链用什么。

最小二乘与梯度下降入门

Sigmoid 与分类决策边界

信息增益与 Gini 分裂

Bagging 与特征随机

从导数到学习率与收敛

最大间隔与核技巧

距离度量与投票决策

质心迭代与肘部法则

L1/L2、过拟合与 Dropout

混淆矩阵、交叉验证与 ROC/AUC

感知机、激活函数与反向传播

卷积、池化与特征提取

序列建模与梯度消失

Self-Attention 到 GPT

大O表示法与常见复杂度分析

状态定义与转移方程

Dijkstra 与 BFS

从 one-hot 到稠密向量

Few-shot / CoT / 结构化输出

切分→嵌入→检索→重排→生成全链路

规划 / 工具调用 / 记忆 / ReAct

全参微调 vs 参数高效微调 / QLoRA

KV Cache / 量化 / 投机解码

CLIP / 图文对齐 / VLM

余弦 / HNSW / Faiss / Milvus

LLM-as-Judge / MMLU / 基准测试

Schema / 参数抽取 / 错误处理

RLHF / DPO / 越狱防御

哑节点、快慢指针、判环找入口

排列组合子集、N 皇后通用模板

层序、BST、LCA、路径和

变长窗口、最小覆盖子串

前缀匹配、n&(n-1)、状态压缩