download：慕课2022版Vue3 系统入门与项目实战网盘分享
softmax回归的相关知识
机器学习主要解决监督学习领域的两个问题，分类和回归。那么分类问题又可以分为二分类问题和多分类问题，二分类问题相对容易解决。我们只需要构造一个输出层只有一个神经元的神经网络，然后结合sigmoid函数就可以实现二分类问题。而神经网络的多分类问题相对复杂。如果要解决三分类问题，我们在构建神经网络的时候，需要构建一个输出层有三个神经元的神经网络，然后使用softmax回归来完成神经网络的多分类任务。
意味着Softmax回归
通常，机器学习实践者使用分类这个词来描述两个有细微差别的问题:
(1)我们只对样本的硬类别感兴趣，即它们属于哪个类别；
(2)我们希望得到软类别，即属于每个类别的概率。
这两者的界限往往很模糊，原因之一就是即使我们只关心硬品类，我们仍然使用软品类的模型。
那我就拿一个图像分类问题来详细解释一下。假设每个输入都是一个图像，可能是“猫”、“鸡”、“狗”中的任何一个，那么它们的标签就意味着我们一定不能使用{猫、鸡、狗}{\text{猫}、\text{鸡}、\text{狗} {猫、鸡、鸡}。所以我们用一个很久以前统计学家发明的简单方法来表示分类数据:一热编码。一个独特的热门代码是一个向量，其分量与类别一样多。相应类别的组件设置为1，所有其他组件设置为0。在我们的示例中，标签yyy将是一个三维向量，其中(1，0，0)(1，0，0)(1，0，0)对应于“猫”，(0，1，0) (0，1，0)(0，1，0)(0，1，0)(0，1，0)对应于“鸡”
最大回归是一个单层神经网络。由于每个输出o1o_1o1、o2o_2o2和o3o_3o3的计算依赖于所有输入x1x_1x1、x2x_2x2、x3x_3x3和x4x_4x4，因此softmax回归的输出层也是一个全连接层。
最大操作
然后，对于多分类问题，使用的softmax函数是网络输出层的激活函数。softmax函数可以将输出值归一化，并将所有输出值转换为概率，所有概率值之和等于1。
为了将非归一化预测转换成非负的并且总和为1，要求模型保持可导。首先，计算每个非归一化预测的功效，以确保输出不是负的。为了确保最终输出的和为1，需要将每个取幂结果除以它们的和。公式如下:
Y = softmax (o)其中y j = exp(OJ)∑kexp(ok)\ hat { \ mathbf { y } } = \ mathrm { soft max }(\ mathbf { o })\ quad \ text { where } \ quad \ hat
其中yj hat { y } _ jyj(模型的输出)可以被认为是属于类jjj的概率。那么我们可以选择输出值最大的类别argmaxjyj \ operator name * { arg max } _ j y _ jargmaxjyj作为我们的预测。例如，如果y 1 \ hat {y} _ 1y 1、y 2 \ hat {y} _ 2y 2和y 3 \ hat {y} _ 3y 3分别是0.1、0.8和0.1，那么我们预测的类别是2，在我们的例子中它代表“鸡”。
我们可以看到，对于所有的jjj，总有0≤y j≤10 \ leq \ hat { y } _ j \ leq 10≤y j≤1，所以y \ hat {\ mathbf {y}} y可以看作是一个正确的概率分布。最大值运算不会改变非归一化预测o\mathbf{o}o之间的顺序，而只会确定分配给每个类别的概率。因此，在预测过程中，仍然使用下面的公式来选择最可能的类别。