线性回归

线性回归通常是解决连续数值预测问题，利用数理统计的回归分析，来确定变量之间的相互依赖关系，线性方程通常表示如下:

$h_\theta(x)=\theta_0 +\theta_1x_1+\theta_2x_2+……+\theta_nx_n=θ^Tx$

线性回归梯度下降方程：

$\theta_j:=\theta_j-\alpha \frac{\partial J(\theta_j)}{\partial \theta_j}$

其中 $J(\theta_j)$ 为损失函数，$\alpha$为学习率。

逻辑回归

逻辑（Logistic，又称 Sigmoid）回归常用于解决二分类问题，用于估算某种事物的可能性。Sigmoid 函数公式如下：

$g(z)=\frac{1}{1+e^{-z}}$

该函数的值域为 (0, 1)，其值的意义为输入特征被分到 1 类的概率。逻辑回归的本质是在线性回归之后加了一层函数映射。将线性回归方程带入到逻辑回归方程中，得到逻辑回归表达式：

$h_\theta(x) = g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$