分类 机器学习 下的文章

Perceptron(感知机)概述


简介

感知机是二分类的线性分类模型,感知机算法提出于1957年,是对生物神经细胞的简单抽象。如果你稍微了解一点神经网络的话,就会知道神经网络又称多层感知机,神经网络之所以能够发挥强大的作用就是在感知机的结构上作了调整。而支持向量机算法的基础就是感知机。因此,有必要了解基础的感知机算法思想及其原理

基本思想及原理

感知机 是线性分类器,针对的只是线性可分的数据,最常见的例子就是二维平面内的一堆数据可以通过一条直线分割开
感知机-1
显然,这种分割并不是唯一的,PLA算法就是找到其中一种可分的方案。如果推广至高维空间,就是寻找一个超平面。学习的过程就是寻找合适的损失函数,并尽可能使损失函数最小化,来找到合适的超平面。

模型描述


感知机模型数学描述

感知机logistic regression 的差别就是感知机激活函数是sign,logistic regression的激活函数是sigmoid。sign(x)将大于0的分为1,小于0的分为-1;sigmoid将大于0.5的分为1,小于0.5的分为0。

学习策略

学习过程就是通过对分错类的点进行“纠正”,来对 w 和 b 进行更新,而这里采用 随机梯度下降算法 (默认已经知道这个),这里的损失函数采用的是误分类点到超平面的总距离

其次,对于误分类点(x,y)来说,-y(w x+b)>0成立

有了总距离计算公式就可以定义损失函数

步骤