立体角计算机图形学中的光线传播建模是一个非常重要的课题，我们考虑到光线在实际物理空间上的传播是一个空间辐射的过程，因此需要定义出三维空间中的“角度”的概念，当然这里的角度不同于二维情况下的角度容易定义

Batch Normalization，批规范化Batch Normalization（简称为BN）[2]，中文翻译成批规范化，是在深度学习中普遍使用的一种技术，通常用于解决多层神经网络中间层的协方差

MoCo的基本原理，包括其历史来龙去脉在前文中[1,2,3]中已经介绍的比较充足了，本文就不再进行赘述。本文主要介绍下MoCo v3 [4]中的一些新发现。MoCo v3中并没有对模型或者MoCo机制

在笔者对于对比学习的认识中，主要有2个维度的事情需要考虑：如何选取合适的负样本如何选取合适的损失函数以下结合一些训练经验，简要笔记下。如何构造合适的负样本之前在[1]中简单介绍过一些构造负样本的方法，

再说到语义标签之前在博文[1,2]中曾经简单地介绍过语义标签（semantic label）与多模态模型之间的一些关系，为了对这个话题有着更全面的了解，请读者先移步[1,2]对语义标签进行简单了解。在

hinge loss是一种常用损失[1]，常用于度量学习和表征学习。对于一个模型，如果给定了样本x的标签y（假设标签是0/1标签，分别表示负样本和正样本），那么可以有两种选择进行模型的表征学习。第一是

之前已经对MoCo进行过比较详细的介绍了[2,3]，建议读者无相关知识储备的先提前去了解MoCo的机制与原理。总得来说，在MoCo中需要维护一个负样本队列，同时利用动量更新对key encoder进行

Augmented Language Model (ALM)，笔者将其翻译为增强型语言模型，因其不仅可处理常规的自然语言处理任务（如命名实体识别、文本分类等等），而且在一些看似不是自然语言任务的场景也

对比学习(Contrastive Learning)是最近在表征学习(Representation Learning)中非常流行的学习范式。对比学习不同于一般的分类模型，考虑对数据进行多个类别的分类，

在大尺度的对比学习训练过程中，Batch Norm层所造成的过拟合现象被众多公开论文所报道过，比如MoCo[3], SimCLR[4]和其他一些工作[5]。之前笔者在MoCo的笔记中也简单谈到过这个问