在线学习和在线凸优化(online learning and online convex optimization)—FTL算法5

时间:2023-03-08 16:54:38
在线学习和在线凸优化(online learning and online convex optimization)—FTL算法5

  最自然的学习规则是使用任何在过去回合中损失最小的向量。 这与Consistent算法的精神相同,它在在线凸优化中通常被称为Follow-The-Leader,最小化累积损失。

  对于任何t:

         在线学习和在线凸优化(online learning and online convex optimization)—FTL算法5  

  在线学习和在线凸优化(online learning and online convex optimization)—FTL算法5

  我们谈到了能最小化累计损失不能说明此算法在在线学习场景是有效,我们需要探究算法的 Regret bound:

  在线学习和在线凸优化(online learning and online convex optimization)—FTL算法5

  采用归纳法证明:

  在线学习和在线凸优化(online learning and online convex optimization)—FTL算法5

  例子1:Online Quadratic Optimization

  在线学习和在线凸优化(online learning and online convex optimization)—FTL算法5

  例子2:Online Linear Optimization

  在线学习和在线凸优化(online learning and online convex optimization)—FTL算法5

  未完,待续。。。。。。

  下一节将讲述FTRL算法