Multi-Label Learning with Label Enhancement
Zhu Yuexin
Nov 21, 2017
2017.6.26发表在Computer Vision and Pattern Recognition。
主要内容
大多数多标记算法用明确的种类处理每个标记，对于一个示例，分为相关和无关标记，这样的标记称为逻辑标记(logical label)。相反，这篇论文假设在每个多标记示例背后有一个数字标记(numerical label)向量，这种数字标记可以用来判断相应的标记是相关的或是无关的，并且可以反映出隐藏标记的重要性。这种方法将多标记学习问题转换为关于数字标记的回归问题。
探索数字标记的一个方法是通过从训练示例中挖掘隐藏标记的重要性，将标记空间扩展为欧几里得空间。
将逻辑标记转换为数字标记的过程就叫做标记增强(Label Enhancement)。
论文对多标记示例的数字标记，给出了三个假设。将回归损失和三个假设合并为一个统一的框架，提出了一个有效的多标记学习框架—MLL-LE(Multi-Label Learning with Label Enhancement)。
三个假设
- 在欧几里得空间中，数字标记应该距离原始标记足够近，但是并不期望两者完全相同
- 数字标记应该遵循平滑性假设(smoothness assumption)，也就是说彼此接近的点更像是共享一个标记。从逻辑标记空间到欧几里得空间的延伸，可以很容易的发现局部拓扑结构可以从特征空间转移到数字标记空间。因此特征空间和标记空间应该共享相似的局部拓扑结构。
- 数字标记应该足够平滑。
MLL-LE框架
基于上述三个数字标记假设建立，目标是找出一个特征空间到数字标记空间的映射。详细内容见论文第四部分Multi-Label Learning with Label Enhancement
优点
- 因为空间延伸，数字标记相比逻辑标记能带来更多描述示例的语义信息，并且训练示例的隐藏标记重要性可以从数字标记上反映出来。
- 因为拓扑结构从特征空间的转移，它有助于探索标记之间的相关性。
- 将传统逻辑标记扩展为数字标记，可以在更多的细节上描述示例，因此可能带来更好的表现。
- 在预测完成后，基于数字标记有助于做出更复杂的决定。
Note
与标记分布学习(LDL)相比，LDL要求训练集的标记分布的有效性，因此并不总是满足真实世界的应用。MLL-LE并不是先生成数字标记然后训练模型，而是两者同时进行的。