AI Academic Notes

这是一个面向长期维护的个人学术知识库，用来整理 AI / 数学 / CV / NLP 相关课程笔记。

入口

• 表示学习
• Vision Transformer
• Transformer 注意力
• 线性代数

写作原则

1. 每篇笔记只解决一个清晰主题。
2. 用文件夹表达学科边界，用 [[wiki-link]] 表达概念网络。
3. 数学推导保留关键等式，长证明拆到独立页面。
4. 代码示例保持最小可运行，不把实验日志混进概念笔记。

数学公式示例

行内公式：给定输入 $x$，线性层可以写为 $y = Wx + b$。

块公式：

\operatorname{Attention}(Q, K, V) = \operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V

代码示例

import torch

def cosine_similarity(x: torch.Tensor, y: torch.Tensor) -> torch.Tensor:
    return torch.nn.functional.cosine_similarity(x, y, dim=-1)