2010年9月1日,星期三

受约束的成本敏感:回归分析

在一个 以前的帖子 我介绍了两种版本的受约束的成本敏感型多类分类(CSMC):平均值,遗憾地\ \ left [E_ {c \ sim D_ {c | \ omega,x}} \ left [c(h(x,\ omega))-\ min_ {k \ in K} \; E_ {c \ sim D_ {c | \ omega,x}} \ left [c(k)\ right] \ right] \ right],\]和极小极大,遗憾的是\ [r_ {mm}(h)= E_ {x \ sim D_x} \ left [E _ {\ tilde c \ sim D _ {\ tilde c | x}} \ left [\ max _ {\ omega \ in \ mathcal {P}(K)} \ left \ {c( h(x,\ omega))-\ min_ {k \ in K} \; E _ {\\ t​​ilde c \ sim D _ {\\ t​​ilde c | x}} \ left [c(k(k)\ right] \ right \} \ right] \ right]。 \]现在,我要说明两个结果,这并不奇怪。
结果: 平均CSMC回归遗憾
对于所有平均受限CSMC分布$ D $,以及所有成本敏感的分类器$ h_g $都来自回归器$ g $,\ [r_ {av}(h_g)\ leq \ sqrt {2 | K | \ epsilon_ {L ^ 2}(g)},\]其中$ \ epsilon_ {L ^ 2}(g)$是基础回归问题的损失$ L ^ 2 $。

证明: 看到 平均分析 下面。
结果: Minimax 华润上华 回归遗憾
对于所有受maxmax约束的CSMC分布$ D $,以及所有成本敏感的分类器$ h_g $都来自回归变量$ g $,\ [r_ {mm}(h_g)\ leq \ sqrt {2 | K | \ epsilon_ {L ^ 2}(g)},\]其中$ \ epsilon_ {L ^ 2}(g)$是基础回归问题的损失$ L ^ 2 $。

证明: 看到 极小极大分析 下面。
这些界限应该看起来很熟悉:它们与不受约束的CSMC情况相同。这些结果加在一起表明,回归减少对约束,甚至在应用程序时被强加的约束,实际上都是无所谓的。有趣的是,不受约束的CSMC的其他减少是否对于受约束的CSMC具有不同的属性。

平均分析

在这种情况下,存在分布$ D = D_x \ times D _ {\ omega | x} \ times D_ {c | \ omega,x} $,其中$ c:K \ to \ mathbf {R} $取值扩展的实数$ \ mathbf {R} = \ mathbb {R} \ cup \ {\ infty \} $,并且在特定实例中以$ \ infty $值对$ c $的组成部分进行了揭示。通过$ \ omega \ in \ mathcal {P}(K)$中的问题实例(即$ \ omega $是$ K $的子集)。特定分类器$ h的遗憾:X \ times \ mathcal {P}(K)\ to K $由\ [r_ {av}(h)= E _ {(x,\ omega)\ sim D_x \ times给出D _ {\ omega | x}} \ left [E_ {c \ sim D_ {c | \ omega,x}} \ left [c(h(x,\ omega))-\ min_ {k \ in K} \\; E_ {c \ sim D_ {c | \ omega,x}} \ left [c(k)\ right] \ right] \ right]。 \]解决成本敏感型多类别分类器的argmax回归策略是函数$ g:X \ times \ mathcal {P}(K)\ times K \ to \ mathbf {R} $,它定义了相关的成本敏感型多分类器$ h_g:X \ times \ mathcal {P}(K)\ to K $根据\ [h_g(x,\ omega)= \ underset {k \ in K} {\ operatorname {arg \,min \;}} g(x,\ omega,k)。 \]我想将$ r_ {av}(h_g)$约束在回归问题上的$ g $的遗憾上,\ [\ epsilon_ {L}(g)= q_ {L}(g)-\ min_g \; q_ {L}(g),\]其中$ q $是回归问题的误差\ [q_ {L}(g)= E _ {(x,\ omega,c)\ sim D} \ left [\ frac {1} {| K |} \ sum_ {k \ in K} L \ bigl(g(x,\ omega,k),c(k)\ bigr)\ right],\]和$ L $是损失回归问题的函数(在扩展实数上定义)。我将集中讨论通过扩展实数定义的回归变量通过$ L ^ 2(\ infty,\ infty)= 0 $,$ L ^ 2(\ infty,\ cdot)= \ infty $造成的$ L ^ 2 $损失,和$ L ^ 2(\ cdot,\ infty)= \ infty $。

考虑单个实例$(x,\ omega)$与相关的按实例成本向量分布$ D_ {c | \ omega,x} $,并假设我们的回归变量的成本估算值与最小误差回归变量的估算值$ c ^ *(x,\ omega,k)$ by $ \ delta(x,\ omega,k)$,\ [g(x,\ omega,k)= c ^ *(x,\ omega,k)+ \ delta(x,\ omega,k)。 \]对于\ omega $中的$ k \ $,$ \ delta(x,\ omega,k)= 0 $,因为$ c ^ *(x,\ omega,k)$和我们的回归变量$ g(x,\ omega ,k)$将是$ \ infty $。关联的分类器$ h_g $为\ [h_g(x,\ omega)= \ underset {k \ in K} {\ operatorname {arg \,min \,}}} \ bigl(c ^ *(x,\ omega,k )+ \ delta(x,\ omega,k)\ bigr)。 \]想象一个对手尝试在此实例上创建一定数量的CSMC后悔,同时将此实例上的回归遗憾的数量降至最低。该对手面临以下一系列问题,这些问题由$ k ^ {**} \ in K \ setminus \ omega $索引:\ [\ begin {aligned}&\min_{\delta}\;\ sum_ {k \ in K} \ delta(x,\ omega,k)^ 2 \\ \ mathrm {s.t。} \; \ forall k \ neq k ^ {**},\;& c^* (x, \omega, k^{**}) + \delta (x, \omega, k^{**}) \leq c^* (x, \omega, k) + \delta (x, \omega, k). \end{aligned} \] This is the same as the unconstrained 华润上华 reduction to regression but with $k^{**}$ restricted to the set $K \setminus \omega$. When $|K \setminus \omega| \leq 1$, the 华润上华 regret is zero;否则,对手的策略将保持不变:干扰$ k ^ * $和$ k ^ {**} $的估算,而让其他人呆在那里。因此利用 先前的分析 产生\ [r_ {av}(h_g)\ leq \ sqrt {2 | K | \ epsilon_ {L ^ 2}(g)}。 \]还应注意,在无约束的情况下,回归遗憾最多将是回归遗憾,因为$ \ omega $中包含的附加信息使回归者可以对$ k $的某些值进行完美估计。

极小极大分析

在这种情况下,分布为$ D = D_x \ times D _ {\\ t​​ilde c | x} $,其中$ \ tilde c:K \ to \ mathbb {R} $的取值以正实数$ \ mathbb {R } $。然后,一个对手进入,并通过将某些成分设置为$ \ infty $,在扩展实数$ \ mathbf {R} $中制造成本向量$ c $;在做出决定之前,这些选择会通过$ \ omega $显示出来。在这种情况下,特定分类器的遗憾由\ [r_ {mm}(h)= E_ {x \ sim D_x} \ left [E _ {\ tilde c \ sim D _ {\ tilde c | x}} \ left给出[\ max _ {\ omega \ in \ mathcal {P}(K)} \ left \ {c(h(x,\ omega))-\ min_ {k \ in K} \; E _ {\\ t​​ilde c \ sim D _ {\\ t​​ilde c | x}} \ left [c(k(k)\ right] \ right \} \ right] \ right]。 \]考虑单个实例$ x $和相关的按实例成本向量分布$ D_ {c | x} $;此外,对手可以选择$ \ omega $来构建完整的问题实例$(x,\ omega)$。如上所述,回归器的成本估算与最小误差回归器的估算$ c ^ *(x,\ omega,k)$相差$ \ delta(x,\ omega,k)$,而当$ k \ in \ omega $估计是完美的,即$ \ delta(x,\ omega,k)= 0 $。

想象一个对手试图在这种情况下创建一定数量的CSMC后悔,同时将这种情况下的回归遗憾最小化。该对手面临着以下一系列问题,这些问题由$ \ omega $和$ k ^ {**} \ in K \ setminus \ omega $索引:\ [\ begin {aligned}&\min_{\delta}\;\ sum_ {k \ in K} \ delta(x,\ omega,k)^ 2 \\ \ mathrm {s.t。} \; \ forall k \ neq k ^ {**},\;& c^* (x, \omega, k^{**}) + \delta (x, \omega, k^{**}) \leq c^* (x, \omega, k) + \delta (x, \omega, k). \end{aligned} \] Again when $|K \setminus \omega| \leq 1$, the 华润上华 regret is zero;否则,每个$ \ omega $的对手策略都是相同的,并且利用 先前的分析 产生\ [r_ {mm}(h_g)\ leq \ sqrt {2 | K | \ epsilon_ {L ^ 2}(h_g)}。 \]

没意见:

发表评论