损失函数、代价函数、目标函数的区别
以下叙述并不严格，但比较好理解： （1）损失函数（Loss Function） 损失函数通常是定义在单一数据点、预测和标签上的函数，用于为衡量惩罚。例如： 平方损失 $l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$$l(f(x_i|\theta),y_i) = \ left (f(x_i|\theta)-y_i \right )^2$，用于线性回归 铰链损失 $l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$$l(f(x_i|\theta), y_i) = \max (0, 1-f(x_i|\theta)y_i)$，用于SVM 0/1 损失 $l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq...