1.Function Set

2.确定损失函数 Goodness of a Function

• 训练数据

$x^1$	$x^2$	$x^3$	…	$x^N$
$C_1$	$C_2$	$C_1$	…	$C_1$
$\hat{y}^1=1$	$\hat{y}^2=1$	$\hat{y}^3=0$	…	$\hat{y}^N=1$

• 假定数据是从概率分布$f_{w,b}(x)=P_{w,b}(C_1|x)$中产生的
• 给定一系列的$w$和$b$，产生这些样本的概率为

  L(w,b)=f_{w,b}(x^1)f_{w,b}(x^2)\bigg(1-f_{w,b}(x^3)\bigg)...f_{w,b}(x^N)
  

• 最有可能的$w^*$和$b^*$是使得$L$取得最大值所对应的参数值

  w^*,b^*=arg\max_{w,b}L(w,b)\\
  w^*,b^*=arg\min_{w,b}\big(-lnL(w,b)\big)
  

• 将C表示为对应的$\hat{y}$的值，则似然函数的负对数可以化简为

3.最佳参数求解 Find the best function

4.与线性回归的对比

• 生成式模型：首先假设类别的概率分布，再对其进行估计
• 判别式模型：不对类别的概率分布进行求解，直接对$w$和$b$进行估计
• 逻辑回归无法求解边界是多个的情况

5.多类别分类

• SoftMax

• 对于一些无法直接确定边界的情况，可先对输入进行变换，分别进行逻辑回归，再输入到逻辑回归中，进行分类 即 神经网络