吴恩达预热新课！万字博客回顾机器学习算法起源( 三 ) _机器学习

文章插图

一个多世纪后，美国统计学家威尔逊（E. B. Wilson）和他的学生简-伍斯特（Jane Worcester）设计了逻辑回归算法，以计算出多少给定的危险物质会致命。
Logistic回归将logistic函数拟合到数据集上，以预测在某一事件（例如，摄入马钱子）发生特定结果（例如，过早死亡）的概率。

文章插图

1、训练时水平地调整曲线的中心位置，垂直地调整其中间位置，以使函数的输出和数据之间的误差最小。
2、将中心向右或向左调整意味着需要更多或更少的毒药来杀死普通人。陡峭的坡度意味着确定性：在中间点之前，大多数人都能活下来；超过中间点，那就说得再见了。一个平缓的斜率更宽容：低于曲线的中间点，超过一半的人可以存活；更远的地方，不到一半。
3、设置一个阈值，比如说0.5，曲线就成了一个分类器。只要把剂量输入模型，你就会知道你应该计划一个聚会还是一个葬礼。
Verhulst的工作发现了二元结果的概率，后来英国统计学家David Cox和荷兰统计学家Henri Theil在20世纪60年代末独立工作，将逻辑回归法用于有两个以上类别的情况。
Logistic函数可以描述多种多样的现象，并具有相当的准确性，因此Logistic回归在许多情况下提供了可用的基线预测。
在医学上，它可以估计死亡率和疾病的风险；在政治中，它可以预测选举的赢家和输家；在经济学中，它可以预测商业前景。
在神经网络中，有一部分神经元为Logistic回归，其中非线性函数为sigmoid 。
梯度下降

想象一下，在黄昏过后的山区徒步旅行，你会发现除了你的脚以外看不到什么。而你的手机没电了，所以你无法使用GPS应用程序来寻找回家的路。
你可能会发现梯度下降的方向是最快路径，只是要小心不要走下悬崖。
1847年，法国数学家Augustin-Louis Cauchy发明了近似恒星轨道的算法。60年后，他的同胞雅克-哈达玛德（Jacques Hadamard）独立开发了这一算法，用来描述薄而灵活的物体的变形。
不过，在机器学习中，它最常见的用途是找到学习算法损失函数的最低点。
神经网络通常是一个函数，给定一个输入，计算出一个期望的输出。
训练网络的一种方法是，通过反复计算实际输出和期望输出之间的差异，然后改变网络的参数值来缩小该差异，从而使损失最小化，或其输出中的误差最小。
梯度下降缩小了误差，使计算损失的函数最小化。
网络的参数值相当于景观上的一个位置，而损失是当前的高度。随着你的下降，你提高了网络的能力，以计算出接近所需的输出。
不过可见性是有限的，因为在监督学习下，算法完全依赖于网络的参数值和梯度，也就是当前损失函数的斜率。

文章插图

使用梯度下降，你也有可能被困在一个由多个山谷（局部最小值）、山峰（局部最大值）、马鞍（马鞍点）和高原组成的非凸形景观中。事实上，像图像识别、文本生成和语音识别这样的任务都是非凸的，而且已经出现了许多梯度下降的变体来处理这种情况。
K-means聚类

如果你在派对上与其他人站得很近，那么你们之间很可能有一些共同点。
K-means的聚类就是基于这种先验想法，将数据点分为多个group ，无论这些group是通过人类机构还是其他力量形成的，这种算法都会找到它们之间的关联。