南宁网站建设多少钱,网站建设服务合同模板下载,怎么运用区块链做网站,手机app设计软件有哪些在实际应用的时候#xff0c;我们的样本不会是完全干净的#xff0c;即存在噪声样本。那使用存在噪声的样本时#xff0c;我们如何更有效的进行模型学习呢#xff1f;Label Dependent Nose样本选择#xff08;Sample Selection#xff09;第一种很直接的想法#xff0c;…在实际应用的时候我们的样本不会是完全干净的即存在噪声样本。那使用存在噪声的样本时我们如何更有效的进行模型学习呢Label Dependent Nose样本选择Sample Selection第一种很直接的想法就是我们在样本集里把那些‘噪声’找出来然后直接过滤掉。但这里面的难点在于怎么找出哪些噪声。人工经验比如大学生一般是18岁-30之间如果小于18岁比如只有15岁就大概率不是。规则比如先走一遍已存在的比较靠谱的模型将p比较低的直接过滤另一种想法就是在模型训练的时候进行样本选择。即对于每个batch只选择clean样本的loss进行模型的更新。其中比较主流的方法时co-train系列。Decoupling《Decoupling “when to update” from “how toupdate”》核心思路分别独立训练2个模型对于每个batch2个模型分别预测。对于预测结果不一致的数据才会被选择用来更新模型的参数又被称为「update by disagreement」Co-teaching《Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels》核心思路对于2个模型f和g。对于每个batch选择模型f中loss比较小的数据计算这些数据在模型g上的损失并更新模型g的参数。同时选择模型g中loss比较小的数据计算它们在f上的损失并更新模型f的参数。每个batch里选择多少个数据由R(T)来控制。Co-teachingICML2019的《How does Disagreement Help Generalization against Label Corruption?》核心思路 结合了Co-teach和decoupling的思路正则化Robust Regularization通过正则化的方法防止模型过拟合岛噪声样本上。比如Dropout、BN等方法。显式正则比如Dropout、BN、权重衰减等。这里介绍一种bilevel learningbilevel learning使用一个干净的验证集应用双层优化的方式来约束过拟合。通过调整权重最小化在验证集上的错误。在每个mini-batch上计算训练样本和验证集样本之间梯度的一致性一致性高的训练样本对应的权重增大。隐式正则在不降低模型表示能力的前提下提升了泛化性能adversarial training: 对抗训练鼓励网络正确分类原始输入和扰动的输入label smoothing标签平滑防止过度自信平滑分类边界平滑标签是原始标签和其他可能标签的加权组合mixup: 数据线性插值标签也线性插值结构设计Robust Architecture噪声自适应层noise adaptation layer专门用噪声过渡矩阵来建模噪声转换测试的去掉这一层。只针对实例无关的噪声。Loss设计Robust Loss首先我们介绍下对称损失Symmetric Loss因为Symmetric Loss是理论可证明噪声鲁棒的。我们这里考虑2分类任务。对于训练样本x标签为yy ∈ {0, 1}fθ(x)为模型输出θ为待优化的参数损失函数为l。a. 没有标签噪声的情况下待优化的目标为l[fθ(x), y] 1b. 在考虑有噪声的情况下x有概率ρ被误标为1-y那么实际上的优化目标是(1−ρ)⋅l[fθ(x), y] ρ⋅l[fθ(x), 1−y] 2。c. 对于目标函数2如果无论有无噪声该优化问题都会得到同样的解。这时候损失函数L就是噪声鲁棒的。d. 目标函数2可以转换为如下整理后的第一项是目标函数1的一个固定倍数。而第二项是当样本标签等概率取遍所有可能值时所产生的损失值。e. 如果满足如下结果时其中C是常数那么l就是Symmetric Loss即优化目标函数2和优化目标函数1是等价的。MAE考虑2分类l[fθ(x), y] l[fθ(x), 1-y] |1-fθ(x)| |0-fθ(x)| 1所以MAE是对称损失。但MAE的性能比较差跟CCEcategorical cross entropy相比训练的收敛时间更长。GCEgeneralized cross entropyCE/CCE不是对称损失。l[fθ(x), y] l[fθ(x), 1-y]C要求各个损失项非负且其和为定值那么各个损失项必然是有界的。但在当fθ(x)接近于0或者1时logfθ(x)或−log(1−fθ(x))是无界的。GCE可以兼顾MAE的鲁棒性和CE的性能。−log(fθ(x))项替换成一个指数项其中幂次q为一个超参数取值范围为(0, 1] 。当q 1时该指数项就蜕变为MAE的形式当q→0时由洛必达法则该指数项将蜕变为CE的形式。SCEsymmetric cross entropy在CCE上结合了一个noise tolerance term。Focal Loss GHM LossGHM可以认为是Focal Loss的一种优化。如下图所示梯度模长在接近0时样本量最多这部分是简单样本。随着模长增大样本量迅速下降在U字底部的部分可以认为是困难样本。在模长接近1时数量又变多这部分可以认为是极困难样本或者噪声样本。最终根据这种分布设计梯度密度来调整样本的权重。Loss AdjustmentLoss Correction和噪声自适应层类似损失校正通过给模型输出结果乘上一个估计的标签转移矩阵来修改loss不同之处在于噪声转移矩阵的学习是和模型的学习解耦的。包括backward correction、forward correction等。Loss Reweighting计算loss时给假样本更小的权重给真样本更高的权重。这类方法手动设计权重函数和超参。Label Refurbishment将网络的输出标签和噪声标签组合作为翻新后的标签a是噪声标签的置信度Meta LearningInstance Dependent Noise实际上在真实世界的数据集中存在更多的是instance-dependent (feature-dependent) label noise即特征相关的噪音标签。SEALself-evolution average labelCORESCOnfidence REgularized Sample Sieve参考Learning from Noisy Labels with Deep NeuralNetworks: A Survey
