外文翻译 - 神经网络概述

Figure 6.1 Schematic Drawing of Biological Neurons

Some of the neural structure is defined at birth. Other parts are developed through learning, as new connections are made and others waste away. This development is most noticeable in the early stages of life. For example, it has been shown that if a young cat is denied use of one eye during a critical window of time, it will never develop normal vision in that eye.

Neural structures continue to change throughout life. These later changes tend to consist mainly of strengthening or weakening of synaptic junctions. For instance, it is believed that new memories are formed by modification of these synaptic strengths. Thus, the process of learning a new friend's face consists of altering various synapses.

Artificial neural networks do not approach the complexity of the brain. There are, however, two key similarities between biological and artificial neural networks. First, the building blocks of both networks are simple computational devices (although artificial neurons are much simpler than biological neurons) that are highly interconnected. Second, the connections between neurons determine the function of the network. The primary objective of this book will be to determine the appropriate connections to solve particular problems.

It is worth noting that even though biological neurons are very slow when

compared to electrical circuits, the brain is able to perform many tasks much faster than any conventional computer. This is in part because of the massively parallel structure of biological neural networks; all of the neurons are operating at the same time. Artificial neural networks share this parallel structure. Even though most artificial neural networks are currently implemented on conventional digital computers, their parallel structure makes them ideally suited to implementation using VLSI, optical devices and parallel processors.

In the following chapter we will introduce our basic artificial neuron and will explain how we can combine such neurons to form networks. This will provide a background for Chapter 3, where we take our first look at neural networks in action.

?

译文

神经网络概述

1．目的

当你现在看这本书的时候，就正在使用一个复杂的生物神经网络。你有一个约为1011个神经元的高度互连的集合帮助你完成阅读、呼吸、运动和思考。你的每一个生物神经元都是生物组织和化学物质的有机结合。若不考虑其速度的话，可以说每个神经元都是一个复杂的微处理器。你的某些神经结构是与生俱来的，而其他一些则是在实践中形成的。

科学家们才刚刚开始对生物神经网络工作机理有所认识。一般认为，包括记忆在内的所有生物神经功能，都存储在神经元和及其之间的连接上。学习被看作是在神经元之间建立新的连接或对已有的连接进行修改的过程。这便将引出下面一个问题：既然我们已经对生物神经网络有一个基本的认识，那么能否利用一些简单的人工“神经元”构造一个小系统，然后对其进行训练，从而使它们具有一定有用功能呢？回答是肯定的。本书正是要讨论有关人工神经网络工作机理的一些问题。

我们在这里考虑的神经元不是生物神经元。它们是对生物神经元极其简单的抽象，可以用程序或硅电路实现。虽然由这些神经元组成的网络的能力远远不及人脑的那么强大，但是可对其进行训练，以实现一些有用的功能。本书所要介绍的正是有关于这样的神经元，以及包含这些神经元的网络及其训练方法。

2．历史

在人工神经网络的发展历程中，涌现了许多在不同领域中富有创造性的传奇人物，他们艰苦奋斗几十年，提出了许多至今仍然让我们受益的概念。许多作者都记载了这一历史。一本特别有趣的书是由John Anderson和Edward Rosenfeld写的《神经计算：研究的基础》(Neurocomputing：Foudations of Research)。在该书中，他们收集并编辑了一组由43篇具有特别历史意义的论文，每一篇前面都有一段历史观点的导言。

本书各章开始包括了一些主要神经网络研究人员的历史，所以这里不必赘述。但是，还是有必要简单地回顾一下神经网络的主要发展历史。

对技术进步而言，有两点是必需的：概念与实现。首先，必须有一个思考问题的概念，一根据这些概念明确所面临的问题。这就要求概念包含一种简单的思想，或者更具特色，并且引入数学描述。为了理解这一点，让我们看看心脏的研究历史。在不同时期，心脏被看成灵魂的中心或身体的热源。１７世纪的医生们认识到心脏是一个血泵，于是科学家们开始设计实验，研究泵的行为。这些实验最终开创了循环系统理论。可以说，没有泵的概念，就不会有人们对心脏的深人认识。

概念及其相应的数学描述还不足以使新技术走向成熟，除非能通过某种方式实现这种系统。比如，虽然多年前就从数学上知道根据计算机辅助层析成像(CAT)扫描可以重构图像，但是直到有了高速计算机和有效的算法才使其走向实用，并最终实现了有用的CAT系统。

神经网络的发展史同时包含了概念创新和实现开发的进步。但是这些成果的取得并不是一帆风顺的。

神经网络领域研究的背景工作始于19世纪末和20世纪初。它源于物理学、心理学和神经生理学的跨学科研究，主要代表人物有 Herman Von Helmholts，Ernst Mach和Ivan Pavlov。这些早期研究主要还是着重于有关学习、视觉和条件反射等一般理论，并没有包含有关神经元工作的数学模型。

现代对神经网络的研究可以追溯到220世纪40年代 Warren McCulloch和Walter Pitts的工作[McPi43]。他们从原理上证明了人工神经网络可以计算任何算术和逻辑函数。通常认为他们的工作是神经网络领域研究工作的开始。

在McCulloch和Pitts之后，Donald Hebb【Hebb49】指出，经典的条件反射

现）是由单个神经元的性质引起的。他提出了生物神经元的一种学习机制。

人工神经网络第一个实际应用出现在20世纪50年代后期，Farnk Rosenblatt[Rose58]提出了感知机网络和联想学习规则。Rosenblatt和他的同事构造了一个感知机网络，并公开演示了它进行模式识别的能力。这次早期的成功引起了许多人对神经网络研究的兴趣。不幸的是，后来研究表明基本的感知机网络只能解决有限的几类问题。

同时，Bernard Widrow和Ted Hoff[WiHo60]引入了一个新的学习算法用于