第1章 绪论

人工智能的基本概念

智能：知识与智力的总和。知识是一切智能行为的基础；智力是获取知识并应用知识求解问题的能力。

智能的特征：

• 感知能力：信息的输入
• 记忆与思维能力（逻辑思维、形象思维、顿悟思维）
• 学习能力
• 行为能力（表达能力）：信息的输出

人工智能：用人工的方法在机器（计算机）上实现的智能；或者说是人们使机器具有类似于人的智能。

人工智能研究的基本内容

知识表示

定义：将人类知识形式化或者模型化

知识表示方法：

• 符号表示法：用各种包含具体含义的符号，以各种不同的方式和顺序组合起来表示知识的一类方法。例如，一阶谓词逻辑、产生式等。
• 连接机制表示法：把各种物理对象以不同的方式及顺序连接起来，并在其间互相传递及加工各种包含具体意义的信息，以此来表示相关的概念及知识。例如，神经网络等。

知识表示旨在将人类知识转化为机器方便理解的形式。

智能

对照人类身上的智能特征，赋予机器相同（类似）的特征：

• 机器感知：对应于人类的感知能力，以机器视觉与机器听觉为主。
• 机器思维：对通过感知得来的外部信息及机器内部的各种工作信息进行有目的的处理。
• 机器学习（machine learning）：研究如何使计算机具有类似于人的学习能力，使它能通过学习自动地获取知识。
• 机器行为：计算机的表达能力，即“说”、“写”、“画”等能力。

人工智能的发展阶段与特点

符号主义阶段：这是人工智能领域的早期阶段，大约在20世纪50年代到70年代初期。该阶段的主要特点是基于符号逻辑的推理和问题求解方法。代表性的技术包括专家系统，这些系统基于专家的知识库进行推理和决策，例如DENDRAL系统用于分析化学物质结构。

连接主义阶段：随着神经网络和并行分布式处理技术的发展，人工智能进入了连接主义阶段，大约在20世纪80年代末到90年代。这一阶段的特点是模仿人脑神经元之间的连接和学习机制，强调从数据中学习模式和特征。其中著名的例子是反向传播算法用于训练神经网络，以及基于统计学习的方法，如支持向量机（SVM）。

统计学习阶段：在21世纪初，随着大数据和计算能力的提升，统计学习成为人工智能领域的主流。这一阶段的特点是利用统计模型来从大规模数据中学习，并利用这些模型进行预测和决策。典型的例子包括深度学习技术，如卷积神经网络（CNN）和循环神经网络（RNN），它们在图像识别、语音识别和自然语言处理等领域取得了巨大成功。

深度学习与强化学习阶段：近年来，深度学习和强化学习成为人工智能领域的热点。深度学习通过构建深层神经网络来提取数据的高层次特征，从而实现更加复杂的学习和推理任务。强化学习则关注智能体如何在与环境交互的过程中通过试错来学习最优策略。例如，AlphaGo通过深度学习和强化学习技术战胜了世界围棋冠军，展示了人工智能在复杂决策和游戏领域的能力。

• 1956年之前孕育阶段，尤其是世界上第一台电子计算机的发明，为人工智能的发展奠定了基础。
• 1956-1969年形成阶段，在1956年正式提出人工智能这一术语，之后形成了多个人工智能研究组织，在机器学习、定理证明、模式识别、问题求解、专家系统及人工智能语言等方面都取得了许多引人瞩目的成就 。
• 1970-至今发展阶段，20世纪60年代末人工智能研究遇到机器翻译困难，但之后的专家系统和计算智能获得了巨大的成就。2011至今，转变为大数据驱动发展期，出现了许多专用人工智能和通用人工智能。

第2章 知识表示与知识图谱

知识与知识表示的概念

知识：在长期的生活及社会实践中、在科学研究及实验中积累起来的对客观世界的认识与经验。把有关信息关联在一起所形成的信息结构。

知识的特性：

• 相对正确性
• 不确定性
• 可表示性与可利用性

知识表示（knowledge representation）：将人类知识形式化或者模型化。

一阶谓词逻辑表示法

逻辑分为：

• 经典逻辑（二值逻辑）：经典命题逻辑和一阶谓词逻辑
• 非经典逻辑：三值逻辑、多值逻辑和模糊逻辑

命题（proposition）：一个非真即假的陈述句。一个命题可在一种条件下为真，在另一种条件下为假。

命题逻辑：研究命题及命题之间关系的符号逻辑系统。

命题逻辑表示法：无法把它所描述的事物的结构及逻辑特征反映出来，也不能把不同事物间的共同特征表述出来。

谓词名 P：刻画个体的性质、状态或个体间的关系。
谓词公式：

• negation
• disjunction
• conjunction
• implication
• equivalence or bicondition
  量词（quantifier）：
• 全称量词（universal quantifier）
• 存在量词（existential quantifier）

谓词公式的永真性和可满足性

如果谓词公式P，对个体域D上的任何一个解释都能取得真值T，则称P在D上是永真的。如果P在每个非空个体域上均永真，则称P永真。
如果谓词公式P，对个体域D上的任何一个解释都能取得假值F，则称P在D上是永假的。如果P在每个非空个体域上均永假，则称P永假。
谓词公式的永假性又称为不可满足性或不相容性。

对于谓词公式P，如果至少存在一个解释，使得公式P在此解释下的真值为T，则称公式P是可满足的。
如果不存在任何解释，使得P的解释为T，则称公式为不可满足的。

等价性与永真蕴含

对于谓词公式P与Q，如果P→Q永真，则称公式P永真蕴含Q，且称Q为P的逻辑结论，称P为Q的前提，记为P=>Q。

• P规则：在推理的任何步骤上都可引入前提。
• T规则：在推理过程中，如果前面步骤中有一个或多个公式永真蕴含公式S，则可把S引入推理过程中。
• CP规则：如果能从任意引入的命题R和前提集合中推出S来，则可从前提集合推出R → S来。

置换与合一

量词的辖域
约束变元与自由变元

知识图谱

知识图谱（Knowledge Graph/Vault），又称科学知识图谱，用各种不同的图形等可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。

产生式表示法

产生式通常用于表示事实、规则以及它们的不确定性度量，适合于表示事实性知识和规则性知识。

• 规则库: 用于描述相应领域内知识的产生式集合。
• 综合数据库(事实库、上下文、黑板等)：一个用于存放问题求解过程中各种当前信息的数据结构。
• 控制系统（推理机构）：由一组程序组成，负责整个产生式系统的运行，实现对问题的求解。

框架表示法

第3章 确定性推理方法

推理分类

演绎推理、归纳推理、默认推理

• 演绎推理 (deductive reasoning) ：一般到个别，利用三段论式（三段论法）足球运动员的身体都是强壮的；高波是一名足球运动员；所以，高波的身体是强壮的。
• 归纳推理 (inductive reasoning)：个别到一般，
  • 完全归纳推理（必然性推理）
  • 不完全归纳推理（非必然性推理）
• 默认推理（default reasoning，缺省推理）：知识不完全的情况下假设某些条件已经具备所进行的推理。

确定性推理和不确定性推理

• 确定性推理：推理时所用的知识与证据都是确定的，推出的结论也是确定的，其真值或者为真或者为假。
• 不确定性推理：推理时所用的知识与证据不都是确定的，推出的结论也是不确定的。

单调推理和非单调推理

• 单调推理：随着推理向前推进及新知识的加入，推出的结论越来越接近最终目标。
• 非单调推理：由于新知识的加入，不仅没有加强已推出的结论，反而要否定它，使推理退回到前面的某一步，重新开始。

启发式推理和非启发式推理

启发性知识：与问题有关且能加快推理过程、提高搜索效率的知识。

自然演绎推理

定义：从一组已知为真的事实出发，直接运用经典逻辑中的推理规则推出结论的过程称为自然演绎推理。
推理规则：P规则、T规则、假言推理、拒取式推理

假言推理：
$$P,P\to Q⟹Q$$
拒取式推理：
$$\neg Q,P\to Q⟹\neg P$$
$$P\to Q,Q\to B⟹P\to B$$

反证法

• 原子（atom）谓词公式： 一个不能再分解的命题。
• 文字（literal）：原子谓词公式及其否定。包括正文字、负文字。
• 子句（clause）：任何文字的析取式。任何文字本身也都是子句。
• 空子句（NIL）：不包含任何文字的子句。不能被任何解释所满足，所以空子句是永假的，不可满足的。
• 子句集：由子句或者空子句构成的集合。

我们想要证明P=>Q，但很难证明，比如P代表这个人是张三，而Q代表这个人是好人，P=>Q就是指如果这个人是张三，那么这个人是好人，即证明：张三是好人。
此时不妨使用反证法证明，张三是坏人是不可能的，即证明：$P\wedge \neg Q\iff F$，也就是证明$P\wedge \neg Q$是不可满足的，从而证明$P⟹Q$

推广之后：如果Q为P1、P2……Pn的逻辑结论，当且仅当$(P_1\wedge P_2\wedge ...\wedge P_n)\wedge \neg Q$是不可满足的

定理：谓词公式不可满足的充要条件是其子句集不可满足。
因此，我们可以通过证明其子句集的不可满足性，从而得出原本谓词公式的不可满足性，从而证明最初的结论。
但如果原谓词公式不是永假的，那么它与标准子句集并不等价。但当原谓词公式为永假时，其标准子句集一定是永假的，即Skolem化并不影响原谓词公式的永假性。

谓词公式转化为子句集

• 消去蕴含符号，只用看下图的等价公式以及手写部分，举例好像做错了，第一个公式漏了一个非。该部分主要注意量词的作用域，量词后有括号其作用域是整个括号里的，如果括号里有蕴含符号，里面的取非不会放在量词前，否则只作用于其后的谓词，如果取非的话，会放在量词前。
  

• 否定移到紧靠谓词
  使用双重否定去除否定、摩根定律以及量词转化律进行化简

• 变量标准化
  

• 消去全称量词内的存在量词，存在量词在全称量词内的全部都用函数替代；存在量词在全称量词之前，用特例将在前面的存在量词替代消除

• 化为前束形=前缀（全称量词串）+母式（不含量词的谓词公式），将全称量词内的全称量词提前，相对顺序不要变

• Skolem标准形，将母式全都化成合取式。

• 略去全称量词

• 消去合取词

• 子句变量标准化

鲁滨逊归结原理（消解原理）

上述转化过程将原谓词公式转化为子句集中的一个个的子句，而子句集中子句之间是合取关系，只要有一个子句不可满足，则子句集就不可满足。

基本思想

检查子句集 S 中是否包含空子句，若包含，则 S 不可满足。
若不包含，在 S 中选择合适的子句进行归结，一旦归结出空子句，就说明 S 是不可满足的。
如果没有归结出空子句，则既不能说 S 不可满足，也不能说 S 是可满足的。

命题逻辑中的归结原理（基子句的归结）

归结：设C1与C2是子句集中的任意两个子句，如果C1中的文字L1与C2中的文字L2互补，那么从C1和C2中分别消去L1和L2，并将二个子句中余下的部分析取，构成一个新子句C12 。

定理：归结式C12是其亲本子句C1与C2的逻辑结论。即如果C1与C2为真，则C12为真。
推论1：设C1与C2是子句集S中的两个子句，C12是它们的归结式，若用C12代替C1与C2后得到新子句集S1，则由S1不可满足性可推出原子句集S的不可满足性，即：S1的不可满足性=>S的不可满足性
推论2：设C1与C2是子句集S中的两个子句，C12是它们的归结式，若C12加入原子句集S，得到新子句集S1，则S与S1在不可满足的意义上是等价的，即：S1的不可满足性<=>S的不可满足性

谓词逻辑中的归结原理（含有变量的子句的归结）

子句集中的谓词一般都含有变元，因此不能像命题逻辑那样直接想去互补文字。而需要先用一个最一般合一对变元进行代换，然后才能进行归结。
设C1和C2是两个没有相同变元的子句，L1和L2分别是C1和C2中的文字，若sigma是L1和$\neg L_2$的最一般合一，则称 C 12 = ( C 1 σ − { L 1 σ } ) ∨ ( C 2 σ − { L 2 σ } ) ) C_{12}=(C_1\sigma-\{L_1\sigma\}) \lor (C_2 \sigma - \{L_2 \sigma\})) C12​=(C1​σ−{L1​σ})∨(C2​σ−{L2​σ}))

下面例题如果C2里的Ry变成Rx最终也要替换成Ry，因为C1中有x了，必须将两个x进行区分。

例题
{ } \{\} {} 括号里的代表置换，用前边的置换后面的。（注意⚠️：图中写反了）

注意下题中的第一次替换，Px和Qx中的x要同时替换，不要漏了Qx中的x。

归结反演

应用归结原理证明定理的过程称为归结反演。该过程和之前的自然演绎推理的区别，自然演绎推理的题目会给出一个什么是什么的条件，而归结反演全是合取或者析取式，或者一个蕴含式子，没有一个具体的什么是什么的条件，这样就可以区分两类题目之间的区别。

用归结反演证明的步骤是：

• 将已知前提表示为谓词公式F。
• 将待证明的结论表示为谓词公式Q，并否定得到$\neg Q$ 。
• 把谓词公式集 { F , ¬ Q } \{F, \lnot Q\} {F,¬Q} 化为子句集S。
• 应用归结原理对子句集S中的子句进行归结，并把每次归结得到的归结式都并入到S中。如此反复进行，若出现了空子句，则停止归结，此时就证明了Q为真。

例题：
某公司招聘工作人员，A，B ，C 三人应试，经面试后公司表示如下想法：

1. 三人中至少录取一人。
2. 如果录取 A 而不录取 B ，则一定录取 C。
3. 如果录取 B ，则一定录取 C 。
   求证：公司一定录取 C。
   图中对于子句集的转换，如果转换过程中有$\wedge$，则需要进一步划分，将一个子句切换成两个。但图中的转换都是$\vee$，所以都是一个子句。

已知：

1. 规则1：任何人的兄弟不是女性；
2. 规则2：任何人的姐妹必是女性。
3. 事实：Mary 是 Bill 的姐妹。
   求证： Mary 不是 Tom 的兄弟。

应用归结反演求解问题

之前都是求解一个证明问题，而现在我们要求问题的解。相对于之前的问题都是证明谁（不）是谁，而现在直接求是谁。

步骤：

1. 已知前提 F 用谓词公式表示，并化为子句集 S ；
2. 把待求解的问题 Q 用谓词公式表示，并否定 Q，再与 ANSWER 构成析取式$（\neg Q\vee ANSWER）$
3. 把$（\neg Q\vee ANSWER）$化为子句集，并入到子句集 S 中，得到子句集 S’；
4. 对S’应用归结原理进行归结;
5. 若得到归结式ANSWER，则答案就在ANSWER中。

已知：

1. 王（Wang）先生是小李（Li）的老师。
2. 小李与小张（Zhang）是同班同学。
3. 如果x与y是同班同学，则x的老师也是y的老师。
   求：小张的老师是谁？

第4章 不确定性推理方法

该章一共三个题型，分别是每一个2级标题的最后一个三级子标题

• 可信度一个 CF
• 证据理论一个 似然函数
• 模糊推理一个

基本问题

• 推理：从已知事实（证据）出发，通过运用相关知识逐步推出结论或者证明某个假设成立或不成立的思维过程。
• 不确定性推理：从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的思维过程。

不确定性的表示与度量

• 知识不确定性的表示：在专家系统中知识的不确定性一般是由领域专家给出的，通常是一个数值——知识的静态强度
  包括：随机性和模糊性
  
• 证据不确定的表示：证据的动态强度
  • 用户在求解问题时提供的初始证据。
  • 在推理中用前面推出的结论作为当前推理的证据。
• 不确定性的度量
  • 能充分表达相应知识及证据不确定性的程度。
  • 度量范围的指定便于领域专家及用户对不确定性的估计。
  • 便于对不确定性的传递进行计算，而且对结论算出的不确定性量度不能超出度量规定的范围。
  • 度量的确定应当是直观的，同时应有相应的理论依据。

不确定性匹配算法及阈值的选择

不确定性匹配算法：用来计算匹配双方相似程度的算法。
阈值：用来指出相似的“限度”。

组合证据不确定性的算法

最大最小方法、Hamacher方法、概率方法、有界方法、Einstein方法等。
[[#组合证据不确定性的算法（具体）]]

不确定性的传递算法

1. 在每一步推理中，如何把证据及知识的不确定性传递给结论。
2. 在多步推理中，如何把初始证据的不确定性传递给最终结论。

结论不确定性的合成

[[#结论不确定性的合成算法]]

可信度方法

可信度：根据经验对一个事物或现象为真的相信程度。可信度带有较大的主观性和经验性，其准确性难以把握。
C－F模型：基于可信度表示的不确定性推理的基本方法。

知识不确定性的表示

产生式规则表示:
IF E THEN H (CF(H,E))
CF(H,E): 可信度因子（certainty factor），反映前提条件与结论的联系强度 。
IF 头痛 AND 流涕 THEN 感冒（0.7）

CF(H,E)的取值范围: [-1, 1]。

• 若由于相应证据的出现增加结论 H 为真的可信度，则 CF(H,E)>0，证据的出现越是支持 H 为真，就使CF(H,E)的值越大。
• 反之，CF(H,E)<0，证据的出现越是支持 H 为假，CF(H,E)的值就越小。
• 若证据的出现与否与 H 无关，则 CF(H,E)= 0。

证据不确定性的表示

CF(E)＝0.6：E的可信度为0.6

• 证据E的可信度取值范围：[-1, 1] 。
• 对于初始证据，若所有观察S能肯定它为真，则CF(E)= 1。
• 若肯定它为假，则 CF(E) = –1。
• 若以某种程度为真，则 0 < CF(E) < 1。
• 若以某种程度为假，则 －1 < CF(E) < 0 。
• 若未获得任何相关的观察，则 CF(E) = 0。

静态强度CF（H，E）：知识的强度，即当 E 所对应的证据为真时对 H 的影响程度。
动态强度 CF（E）：证据 E 当前的不确定性程度

组合证据不确定性的算法（具体）

证据有多个如何计算不确定性，后面还有一个如果有多个式子推出同一个结论如何进行合并。
记忆方法：庭审时，如果想用多个证据，那么就要取所有证据的最小的可信度；如果只取一个，那么举证人肯定取最大的一个来作证。

• 最大最小法
  
• 概率方法
  
• 有界方法
  

不确定性的传递算法

一定是证据和0比大小，而不是知识的CF。

结论不确定性的合成算法

不同的知识推出同一个结论H，且其不确定性程度不相同，就要按照下面的方法进行处理。
（2）公式的第一行缺少的符号为减号；最后一行分母缺少的也是减号。

例题：

证据理论

概率分配函数

如果A由多个元素组成时，也表示精确信任度，但不知道这部分信任度该分给A中的哪些元素。
如果A=D（A就是样本空间），M(A)是对D的各个子集进行信任分配后剩下的部分，它表示不知道该如何对它进行分配。

信任函数

似然函数

概率分配函数的正交和

有两个概率分配函数m1和m2，可能来自于两个专家，现在我们要将两个函数进行合并。

如果K不等于0，则正交和M也是一个概率分配函数；
如果K=0，则不存在正交和M，即没有可能存在概率函数，称m1与m2矛盾。

基于证据理论的不确定性推理

基于证据理论的不确定性推理的步骤：

1. 建立问题的样本空间D。
2. 由经验给出，或者由随机性规则和事实的信度度量求得基本概率分配函数。
3. 计算所关心的子集的信任函数值、似然函数值。
4. 由信任函数值、似然函数值得出结论。

下图写错了，最后一个M应为M{h1,h2,h3}

Pl({h1})表示对于h1非假的信任程度，这个数很大，因此我们相信h1非假，即h1是真的。

模糊推理

1965年由扎德提出，其发表了一篇论文叫模糊集合，开创了模糊理论。

模糊逻辑所处理的事务自身是模糊的，

模糊集合的定义

表示方法：

下面隶属度中提到了表示方法，但以更下面的表示方法为准。

其他表示方法：

两个逻辑集合相等

这里的集合的并和交，与上面的组合证据不确定性的算法最大和最小的使用相反。所以，我在上面使用了记忆方法，下面的直接用相反的方式进行求解即可。

隶属函数

因为年老在年龄小于等于50岁时，其隶属度为0，所以在下面进行了省略并没有书写。

逻辑运算

里面的并运算与交运算的逻辑符号在=前后是相反的，太抽象了！可以看后面的u的运算。

上面一题我们为何知道B省略了一个0/x4，是因为论域就是四个。

逻辑运算的形象化解释：

代数运算

括号+取小；括号*取大；而且第二个比最大值，是A+B-1和0进行比，不就相当于A+B和1进行比较吗？最后还要都进行-1操作

模糊关系

直接取最小值就行。

模糊关系的合成

模糊知识的表示

模糊推理

模糊决策

1. 最大隶属度法：找其中隶属度最大的项，如果有多个取平均值。
2. 加权平均法：除不尽可进行四舍五入
   
3. 中位数法
   
   

R=AB的形式，可以知A求B

第5章 搜索求解策略

状态空间搜索

• 状态空间法：利用状态变量和操作符号，表示系统或问题的有关知识的符号体系，状态空间是一个四元组：
  

盲目搜索

盲目搜索：在不具有对特定问题的任何有关信息的条件下，按固定的步骤（依次或随机调用操作算子）进行的搜索。

带回溯策略的搜索

从初始状态出发，不停地、试探性地寻找路径，直到它到达目的或“不可解结点”，即“死胡同”为止。若它遇到不可解结点就回溯到路径中最近的父结点上，查看该结点是否还有其他的子结点未被扩展。若有，则沿这些子结点继续搜索；如果找到目标，就成功退出搜索，返回解题路径。

宽度优先搜索

深度优先搜索

启发式搜素

• 启发信息：用来简化搜索过程有关具体问题领域的特性的信息
• 启发式搜索：考虑特定问题领域可应用的知识，动态地确定调用操作算子的步骤，优先选择较适合的操作算子，尽量减少不必要的搜索，以求尽快地到达结束状态。

A搜索

A*

第6章 智能计算及其应用

智能计算（Intelligent Computing）是一种综合运用人工智能、机器学习、数据分析、优化算法等技术，通过模拟和借鉴人类智能的行为和思维模式来解决复杂问题的计算方法。它不仅依赖于传统的计算理论，还包括感知、学习、推理、规划、决策等智能活动，目标是提高系统的自主性和适应性。

6.1 进化算法的产生与发展

进化算法(evolutionary algorithms，EA)是基于自然选择和自然遗传等生物进化机制的一种搜索算法。

• 生物进化是通过繁殖、变异、竞争和选择实现的；而进化算法则主要通过选择、重组和变异这三种操作实现优化问题的求解。
• 进化算法是一个“算法簇”，包括遗传算法(GA)、遗传规划、进化策略和进化规划等。
• 进化算法的基本框架是遗传算法所描述的框架。
• 进化算法可广泛应用于组合优化、机器学习、自适应控制、规划设计和人工生命等领域。

6.2 基本遗传算法

遗传算法（genetic algorithms，GA）：一类借鉴生物界自然选择和自然遗传机制的随机搜索算法,非常适用于处理传统搜索方法难以解决的复杂和非线性优化问题。

遗传算法的基本思想：在求解问题时从多个解开始，然后通过一定的法则进行逐步迭代以产生新的解。

6.3 遗传算法的改进算法

双倍体遗传算法

基本思想：双倍体遗传算法采用显性和隐性两个染色体同时进行进化，（相对于单倍体遗传算法来说）提供了一种记忆以前有用的基因块的功能。
双倍体遗传算法采用显性遗传。
双倍体遗传延长了有用基因块的寿命，提高了算法的收敛能力，在变异概率低的情况下能保持一定水平的多样性。

[[双倍体遗传算法]]

双种群遗传算法

基本思想：在遗传算法中使用多种群同时进化，并交换种群之间优秀个体所携带的遗传信息，以打破种群内的平衡态达到更高的平衡态，有利于算法跳出局部最优。

[[双种群遗传算法]]

多种群遗传算法：建立两个遗传算法群体，分别独立地运行复制、交叉、变异操作，同时当每一代运行结束以后，选择两个种群中的随机个体及最优个体分别交换

自适应遗传算法

[[自适应遗传算法]]

• 如果个体适应度较低（趋于一致或者趋于局部最优），增加变异概率，以促进多样性。
• 如果个体适应度较高（分散），降低变异概率，以保护优良解。

6.4 遗传算法的应用

6.5 群智能算法产生的背景

群智能算法（swarm algorithms，SI）：受动物群体智能启发的算法。
群体智能：由简单个体组成的群落与环境以及个体之间的互动行为。
群智能算法包括：粒子群优化算法、蚁群算法、蜂群算法、……

6.6 粒子群优化算法及其应用

粒子群优化算法是一种模拟自然界中群体行为的全局优化算法，由 Kennedy 和 Eberhart 于 1995 年提出。PSO 受鸟群觅食和鱼群游动等群体智能行为的启发，通过粒子间的协同合作和信息共享，在多维搜索空间中寻找问题的最优解。

每个粒子代表问题的一个潜在解，粒子通过速度和位置的更新迭代搜索最优解。PSO 具有简单、易实现、参数少的特点，广泛应用于函数优化、神经网络训练、路径规划等领域。

讲解视频：
https://www.bilibili.com/video/BV1uY41187rK/?spm_id_from=333.337.search-card.all.click&vd_source=519c4464a364b8611b8a226be3cda0f6

6.7 蚁群算法及其应用

动态演示讲解，十分形象：https://www.bilibili.com/video/BV1rd4y1U7Nx

视频中软件的下载地址：

1. Install Love2D: https://love2d.org/
2. Download the .love file: https://github.com/piXelicidio/locas-ants/releases/latest
3. 讲义地址（已下载到当前文件夹，但图片显示有问题）：https://note.youdao.com/s/Mn5kaUHq
   [[蚁群算法]]

第7章 专家系统与机器学习

专家系统

定义：“专家系统是一种智能的计算机程序，它运用知识和推理来解决只有专家才能解决的复杂问题。” 一类包含知识和推理的智能计算机程序 。

机器学习

机器学习（Machine learning）使计算机能模拟人的学习行为，自动地通过学习来获取知识和技能，不断改善性能，实现自我完善。

学习结构：

学习分类

• 按学习方法分类（温斯顿，1977 ）机械式学习、指导式学习、示例学习、类比学习、解释学习等。
• 按学习能力分类：监督学习（有教师学习）
  
  强化学习（再励学习或增强学习）
  非监督学习（无教师学习）

机械式学习

机械式学习（rote learning）又称记忆学习，或死记式学习：通过直接记忆或者存储外部环境所提供的信息达到学习的目的，并在以后通过对知识库的检索得到相应的知识直接用来求解问题。 （简称死记硬背）
机械式学习实质是用存储空间来换取处理时间。

典型例子：1959年，塞缪尔(Ａ.Ｌ.Samuel)的跳棋程序CHECKERS

指导式学习

指导式学习（learning by being told）又称嘱咐式学习或教授式学习：由外部环境向系统提供一般性的指示或建议，系统把它们具体地转化为细节知识并送入知识库中。在学习过程中要反复对形成的知识进行评价，使其不断完善。（和老师上课一样，老师让你去学某个知识，你自己去找相关的书籍深度学习，然后做题验证自己学的对不对，有没有掌握）
指导式学习的学习过程：征询指导者的指示或建议、把征询意见转换为可执行的内部形式、加入知识库、评价。

示例学习

示例学习（learning from examples，实例学习或从例子中学习） ：通过从环境中取得若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。（具体->抽象）

示例学习中，外部环境（教师）提供一组例子（正例和反例），然后从这些特殊知识中归纳出适用于更大范围的一般性知识，它将覆盖所有的正例并排除所有反例。

知识发现与数据挖掘

• 知识发现的全称是从数据库中发现知识（KDD，Knowledge Discovery）。
• 数据挖掘（DM，Data Mining）是从数据库中挖掘知识。
• 知识发现和数据挖掘的目的：从数据集中抽取和精化一般规律或模式。
• 知识发现的一般过程
  • 数据准备
  • 数据挖掘
  • 结果的解释评估

第8章 人工神经网络及其应用

人工神经网络是对人脑或生物神经网络若干基本特性的抽象和模拟。

人工神经网络(artificial neural networks, ANN): 模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。

8.1 神经元与神经网络

神经网络的结构：

• 前馈型
• 反馈型

神经网络的工作方式：

• 同步（并行）方式：任一时刻神经网络中所有神经元同时调整状态。
• 异步（串行）方式：任一时刻只有一个神经元调整状态，而其它神经元的状态保持不变。

神经网络的学习：

• Hebb学习规则：当某一突触两端的神经元同时处于兴奋状态，那么该连接的权值应该增强。

8.2 BP神经网络及其学习算法

BP神经网络（反向传播神经网络）
特点：

• BP网络：多层前向网络（输入层、隐层、输出层）。
• 连接权值：通过Delta学习算法进行修正。
• 神经元传输函数：S形函数。
• 学习算法：正向传播、反向传播。
• 层与层的连接是单向的，信息的传播是双向的。

8.3 BP神经网络在模式识别中的应用

8.4 Hopfield神经网络及其改进

Hopfield神经网络改进为随机神经网络。

8.5 Hopfield神经网络的应用

8.6 卷积神经网络与深度学习

1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptive field)的概念。视觉皮层的神经元就是局部接受信息的，只受某些特定区域刺激的响应，而不是对全局图像进行感知。

1984年日本学者Fukushima基于感受野概念提出神经认知机(neocognitron)。

CNN可看作是神经认知机的推广形式。

具体知识可见：[[2024-11-26-人工智能-卷积神经网络手写识别学习]]

卷积层是用来进行特征提取的。
对不同位置的特征进行聚合统计,称为池化 (pooling)。卷积神经网络在池化层丢失大量的信息，从而降低了空间分辨率，导致了对于输入微小的变化，其输出几乎是不变的。

8.6.1 胶囊网络

针对卷积神经网络训练数据需求大、环境适应能力弱、可解释性差、数据分享难等不足，2017年10月，Geoffrey E. Hinton教授等在 “神经信息处理系统大会上发表论文，提出了新型神经网络结构——胶囊网络（Capsule Networks）。
胶囊是一个包含多个神经元的载体，每个神经元表示了图像中出现的特定实体的各种属性。
胶囊不是传统神经网络中的一个神经元，而是一组神经元。
胶囊网络的核心思想：胶囊里封装的检测特征的相关信息是以向量的形式存在的，胶囊的输入是一个向量，是用一组神经元来表示多个特征。

8.6.2 深度学习与机器学习

• 机器学习（Machine Learning，ML）
  机器学习是人工智能的一个子领域，指通过数据和经验自动改进算法的性能。机器学习模型通过输入的数据来进行训练，学习数据中的模式或规律，并做出预测或决策。机器学习包括很多不同的算法和方法，如线性回归、支持向量机（SVM）、决策树、k-近邻（KNN）等。
• 深度学习（Deep Learning，DL）
  深度学习是机器学习的一个子领域，基于人工神经网络特别是深层神经网络（Deep Neural Networks，DNN）。深度学习的核心思想是通过多个隐藏层（深层结构）自动学习数据中的高级特征，能够处理非常复杂的数据模式。深度学习特别适用于图像、语音和自然语言处理等任务。

8.7 生成对抗网络（GAN）及其应用

深度学习的模型可大致分为判别式模型和生成式模型，目前深度学习取得的成果主要集中在判别式模型。生成式模型是一个极具挑战的机器学习问题：首先，对真实世界进行建模需要大量先验知识，建模的好坏直接影响生成式模型的性能；其次，真实世界的数据往往非常复杂，拟合模型所需计算量往往非常庞大，甚至难以承受。Goodfellow等于2014年提出一种新型生成式模型——生成对抗网络（GAN, generative adversarial network） ，使用对抗训练机制对两个神经网络进行训练

GAN的两个相互交替的训练阶段：

• 固定生成网络，训练判别网络
• 固定判别网络，训练生成网络
  两个网络相互对抗的过程，就是各自网络参数不断调整的过程，即学习过程。
  GAN极大地提高图像生成质量，进一步推动了计算机视觉领域的发展。

GAN在训练中容易出现一些问题，训练过程具有强烈的不稳定性，实验结果随机，具体表现：

• 训练过程难以收敛，经常出现震荡；
• 训练收敛，但是出现模式崩溃(model collapse)。
• 训练收敛，但是GAN还会生成一些没有意义或者现实中不可能出现的图片。