曾经也玩过一年DNN，记录一下
人工神经网络是一种受生物启发的模式识别器。基本概念来自心理学的四个关键见解：
- 哺乳动物的大脑由数十亿个看起来相似的细胞（称为神经元）组成，排列在一个密集而复杂的网络中[Ramon y Cajal]；
- 神经元通过“全或无”电化学信号的传播相互交流[Otto Loewi 1933，Cole， Hodgkin]；
- 神经元是分类器，专门用于训练[Hubel63a，](https://cs.ryerson.ca/~aharley/neural-networks/#fn:hubel63a) Hubel63b， [Hubel63c]；和
- 大脑通过调节成对的神经元之间的沟通效率来学习模式[Hebb]。
这些观察结果已被用来代表构建人工模式识别器的以下准则：
- 识别器应建立为几乎相同单元的网络；
- 单元应以二进制形式（即$ 1 $和$ 0 $）将其输出相互传递；
- 识别器的单一功能应为可训练的分类器；和
- 应该通过调整网络连接的权重来实现学习。