神经网络作业

机器学习，是 人工智能 的一个子领域，主要关注于开发一些蠩计算机可以自动“学习”的技术。更堷体说，机器学习是一种用于创建数据順分析分析程序的方法。机器学习跟 统计学 有着重要的关系，因为这两个领域都栯研究数据分析，但是又不像统计学，栺器学习关注的是计算实现的算法复杂堦。很多推论问题属于 无程序可循难度 ，所以部分的机器学习研究是开发容栓处理的近似算法。 机器学习已经有亠十分广泛的应用例如 搜索引擎 、 诊断 、检测 信用卡欺诈 、 证券市场 分析、 DNA序列 测序、 语音识别 和 手写识别 识别、 战略游戏 和 机器人运用 。

第五讲 机器学习

机器学习就是计算机自动获取知识，它是知识工程的三个分支（使用知识、知识表示、获取知识）之一 。

5.1 研究机器学习的必要性和可行性

人工智能的概念和方法已经用于很多领域中，主要成果是专家系统、自然语言理解、计算机视觉和听觉、推理系统的研究。当前人工智能研究的主要障碍和发展方向之一就是机器学习，这包括发展机器学习的计算理论和构造学习系统。现在的人工智能系统还完全没有或仅有很有限的学习能力。人工智能系统中的知识由人工编程送入系统，知识库中错误也不能自动改正。也就是说，现有的AI系统是演绎推理而不是归纳推理，因而不能自动获取和生成知识。 人类有能力获取新知识、学习新技巧，并在实践中改进之。如果一个人反复犯同样的错误，就不能说他是有智能的。学习是智能的重要一环，人工智能的研究目标之一应该是理解学习的本质和建立学习系统。

人工智能解决的问题越来越复杂，系统中的知识越来越多，这些知识包括：领域专用的事实和规则，作为常识的启发式和约束，通用的概念和理论，把如此复杂的知识送入系统是复杂的、费时的、容易出错的和需要经验的。例如：

? ? ? ? ?

建立专家系统需要有关领域的专家和知识工程师的配合。使用机器学习技术可以简化这一过程；

计算机视觉中包含各种视觉专用变换、几何概念和对象的物理与功能描述。把所有这些知识送入系统中是很困难的，系统应该可以由示教实例自动生成知识。

自然语言理解系统中具有大量语法和语义知识，它也需要使用学习系统。自然语言是不断发展的。已有的自然语言系统也要不断修改旧概念、产生新概念。

智能教育系统必须根据学生水平选择适当难度的教学内容。这也是一种学习

未来的计算机将有自动获取知识的能力。它们通过实践自我完善，克服人的局限性，例如存储量少、效率低、注意力分散和难以传送所获取的知识。一台计算机获取的知识很容易复制给任何其它机器。

现有的程序已经可以形成新概念和发现数据中的规律，可以产生决策规则，可以提取类比，可以学习问题求解的启发式，可以产生一般的规划。但现在还不清楚用现有的硬件和编程方法可以使机器学习达到什么水平。 机器学习系统研究的难点：

学习系统的性能预测将更加困难；

? 其次获取的知识本质上还是猜想。由特定的观察和类比生成的知识不可能证明其正确

性。归纳推理不是保真的，而是保假的，演绎推理才是保真的。例如：

?

“所有的鸟都是动物”推出“麻雀是动物”，这是演绎推理，前提真结论必真（保真的）。又如“麻雀会飞”推出“所有鸟都会飞”。这是归纳推理，前提真结论不一定为真 （如鸵鸟是鸟但不会飞）。再如由“麻雀是植物”推出“所有鸟都是植物”。前提是假结论必为假，这是归纳推理的保假性。

?

上述两点说明，由机器获取知识要经过人的审查才能使用，为了便于人理解和审查这些知识，学习系统应具有解释功能。

5.2 什么是机器学习

Simon认为“学习就是系统中的变化，这种变化使系统比以前更有效地去做同样的工作”。

? Minsky认为“学习是在我们的头脑中进行有用的变化”。有的观点认为“机器学习就

是知识的获取”，但获取的知识有时不会使系统有所改善。

?

5.3 学习的一种模型

学习的过程是建立理论、形成假设和进行归纳推理。 以Simon的关于学习的定义作为出发点，建立起如下机器学习系统的基本模型：

通过对这一基本模型的讨论，总结出设计学习系统时的一些原则，

环境和知识库是以某种知识表示形式表达的信息的集合，分别代表外界信息来源和系统具有的知识。“学习环节”和“执行环节”代表两个过程。“环境”向系统的“学习环节”提供某些信息，而“学习环节”则利用这些信息对系统的“知识库”进行改进，以增进系统“执行环节”完成任务的效能。“执行环节”根据知识库中的知识来完成某种任务，同时把获得的信息反馈给“学习环节”。 5.3.1 环境

环境可以是系统的工作对象，也可以包括工作对象和外界条件。例如在医疗系统中，环境就是病人当前的症状、检验的数据和病历。在模式识别中，环境就是待识别的图形或景物。 5.3.2 学习环节

学习环节通过获得外部信息，并将这些信息与执行环节所反馈回的信息进行比较。一般情况下环境提供的信息水平与执行环节所需的信息水平之间往往有差距，经分析、综合、类比、归纳等思维过程，学习环节就要从这些差距中获取相关对象的知识，并将这些知识存入知识库中。 5.3.3 知识库

知识库用于存放由学习环节所学到的知识。

影响学习系统设计的第二个因素是知识库的形式和内容。知识库的形式就是知识表示的形式。选择知识表示方法要考虑下列准则：可表达性、推理难度、可修改性和可扩充性。 5.3.4 执行环节

执行环节是整个机器学习系统的核心。执行环节用于处理系统面临的现实问题，即应用知识库中所学到的知识求解问题，如智能控制、自然语言理解和定理证明等，并对执行的效果进行评价，将评价的结果反馈回学习环节，以便系统进一步的学习。执行环节的问题复杂性、反馈信息和执行过程的透明度都对学习环节有影响。

若执行环节有较好的透明度，学习环节就容易追踪执行环节的行为。例如在学习下棋时，如果执行环节把考虑过的所有走法都提供给学习环节，不是仅仅提供实际采用的走法，系统就较容易分析合理的走法。

5.4 机器学习的分类

5.4.1 机械学习（Rote Learning）

又称为记忆学习或死记硬背式的学习。这种学习方法直接记忆或存储环境提供的新知识，并在以后通过对知识库的检索来直接使用这些知识，而不再需要进行任何的计算和推导。 机械学习是一种基本的学习过程，虽然它没有足够的能力独立完成智能学习，但存储对于任何智能型的程序来说，都是必要的和基本的。记忆学习是任何学习系统的一部分，任何学习系统都要将它所获取的知识存储在知识库中，以便使用这些知识。 机械学习的过程：

执行机构每解决一个问题，系统就记住这个问题和它的解。简单的机械学习模型：

例如考虑要设计一个汽车修理成本估算系统。该系统的输入信息是有关待修理汽车的描述，包括制造厂家、出厂日期、车型、汽车损坏的部位以及它的损坏程度；输出则是该汽车的修理成本。为了进行估算，系统必须在其知识库中查找同一厂家，同一出厂日期、同一车型、同样损坏情况的汽车，然后把知识库中对应的数据作为修理成本的估算数据输出给用户。如

果在系统的知识库中没有找到这样的汽车，则系统将请求用户给出大致的费用并进行确认，系统则会将该车的描述和经过确认的估算费用存储到知识库中，以便将来查找使用。 机械学习系统设计要考虑的三个问题是：存储结构、环境的稳定性和存储信息的适应性。 5.4.2 归纳学习

归纳学习是应用归纳推理进行学习的一类学习方法，按其有无教师指导可分为实例学习和观察与发现学习两种学习。 1.实例学习

实例学习又称为示例学习或通过事例学习。它是通过从环境中取得若干与某概念有关的例子，经归纳得出一般性概念的一种方法。在这种学习方法中，外部环境提供给系统一些特殊的实例，这些实例事先又被施教者划分为正例和反例。实例学习系统由此进行归纳推理，得到一般的规则或一般性的知识，这些一般性知识应能解释所有给定的正例，并排除所有给定的反例。

例如：教给一个程序“狗”的概念，提供给程序各种动物和各种其它物体，说明每个物体的特点，并说明它们是不是狗。这些是狗的正例和反例。程序由此推出根据物体特征识别狗的规则。

又如教给一个程序下棋的方法，可以提供给程序一些具体棋局及相应的正确走法和错误走法。程序总结这些具体走法，发现一般的下棋策略。

实例学习是机器学习领域中研究最充分、成果最丰富的一个分支。探矿专家系统prospector系统就具有实例学习的功能。 2. 实例学习的两个空间模型

实例学习中有两个重要的概念：例子空间和规则空间。

例子空间就是向系统提供的训练例子集合，如教系统识别狗时提供的狗、其它动物和物品。

? 规则空间是事物所具有的某种规律，例如“狗有四条腿”、“狗有两只眼睛”、“狗

有一条尾巴”等

?

学习系统应能从大量的训练实例中自行总结出这些规律。

实例学习的两个空间模型如下图所示，它反映了例子空间和规则空间之间的关系