参考
https://zhuanlan.zhihu.com/p/685921518
这部分内容是Flow Matching理论的精髓所在,它解释了如何从简单、易于构建的“点对点”路径,来定义出我们最终需要学习的、复杂的全局向量场。
看懂了这里,Flow Matching的训练方式就豁然开朗了。
问题的根源:理想与现实
在我们之前的讨论中,Flow Matching的理想是:
定义一条从简单分布 \(p₀\) 到数据分布 \(p₁\) 的“概率路径” \(p_t(x)\)。
计算出这条路径对应的“理想速度场” \(u_t(x)\)。
训练神经网络 \(v_θ\) 去模仿 \(u_t(x)\)。
但现实中的问题是:第一步就很难!
如何在 p₀(一个标准高斯分布)和 p₁(一个极其复杂、未知的、由所有猫的图片构成的分布)之间,
定义一条“简单”的路径?这在数学上非常棘手。