Skip to content

表示学习 ​

表示学习关注如何把原始对象 映射到适合下游任务的向量空间 。

核心问题 ​

  • 表示是否保留任务相关信息?
  • 表示是否抛弃噪声和无关变化?
  • 表示空间的距离是否有语义意义?

与其他主题的关系 ​

表示学习连接 注意力机制、视觉 Transformer 和 线性代数。

对比学习目标 ​

一个常见目标是让正样本更接近,负样本更远:

其中 是温度系数。

Static academic notes built with VitePress and KaTeX.