损失函数、代价函数、目标函数的区别
以下叙述并不严格，但比较好理解：
（1）损失函数（Loss Function）
损失函数通常是定义在单一数据点、预测和标签上的函数，用于为衡量惩罚。例如：
平方损失 l(f(xi∣θ),yi)=(f(xi∣θ)−yi)2l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2l(f(xi∣θ),yi)=(f(xi∣θ)−yi)2l(f(x_i|\theta),y_i) = \ left (f(x_i|\theta)-y_i \right )^2，用于线性回归
铰链损失 l(f(xi∣θ),yi)=max(0,1−f(xi∣θ)yi)l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)l(f(xi∣θ),yi)=max(0,1−f(xi∣θ)yi)l(f(xi∣θ),yi)=max(0,1−f(xi∣θ)yi)l(f(x_i|\theta), y_i) = \max (0, 1-f(x_i|\theta)y_i)l(f(xi∣θ),yi)=m ...