什么是“感知机”，它的缺陷为什么让“神经网络”陷入低潮

感知机

• 分类工具

• 只有两个输出

• 为线性二分类问题(定义域元素无穷多，值域只有两个值)提供了模板答案

• 一个线性函数再加一个激活函数

  

  线性函数是对标准模型的描述，激活函数是判断输入数据是否符合标准模型

感知机缺陷

• 异或运算无法实现
• 异或没办法线性可分：无法只用一条线把0和1区分开，必须要画一个圈才能将0和1区分开
• 增加感知机数量：通过中间层，合并两个相同的状态
• 核方法升维

3-“神经网络”是什么？如何直观理解它的能力极限？它是如何无限逼近真理的？

神经网络

• 多层感知机

• 输入层，隐藏层，输出层

  • 全连接网络：每个节点都和下一层节点全部相连
  • 前馈神经网络：数据的传递方向是单向向前传播

• 普遍逼近定理：只要神经网络有隐藏层，它就可以任意逼近一个连续函数

• 不像感知机那样，用两侧的数据（是否）把分界线夹逼出来

  对于多个类别，因为无法明确的定义每一个类别(猫的定义是什么？)，所以不同类别之间的界限不是黑白分明，没有明确的是非，只能说最有可能是哪一类。激活函数采用sigmoid函数，而不是感知机的0-1阶跃函数，把是非问题转化为好坏问题。

• 人和神经网络都用自己的认知(标准)去判断是非，神经网络把自己的结果与人的结果进行比对，调整自己的模型，使两个模型之间的差异(损失函数)最小