1.Function Set
2.确定损失函数 Goodness of a Function
- 训练数据
$x^1$ |
$x^2$ |
$x^3$ |
… | $x^N$ |
---|---|---|---|---|
$C_1$ |
$C_2$ |
$C_1$ |
… | $C_1$ |
$\hat{y}^1=1$ |
$\hat{y}^2=1$ |
$\hat{y}^3=0$ |
… | $\hat{y}^N=1$ |
- 假定数据是从概率分布
$f_{w,b}(x)=P_{w,b}(C_1|x)$
中产生的 - 给定一系列的
$w$
和$b$
,产生这些样本的概率为L(w,b)=f_{w,b}(x^1)f_{w,b}(x^2)\bigg(1-f_{w,b}(x^3)\bigg)...f_{w,b}(x^N)
- 最有可能的
$w^*$
和$b^*$
是使得$L$
取得最大值所对应的参数值w^*,b^*=arg\max_{w,b}L(w,b)\\ w^*,b^*=arg\min_{w,b}\big(-lnL(w,b)\big)
- 将C表示为对应的
$\hat{y}$
的值,则似然函数的负对数可以化简为
3.最佳参数求解 Find the best function
4.与线性回归的对比
- 生成式模型:首先假设类别的概率分布,再对其进行估计
- 判别式模型:不对类别的概率分布进行求解,直接对
$w$
和$b$
进行估计 - 逻辑回归无法求解边界是多个的情况
5.多类别分类
- SoftMax
- 对于一些无法直接确定边界的情况,可先对输入进行变换,分别进行逻辑回归,再输入到逻辑回归中,进行分类 即 神经网络