机器学习算法入门笔记
Machine Learning2020年初机器学习的一些入门的算法知识
前言
2020年初,我有幸加入了杜教授的图像与算法实验室,开始学习一些机器学习和图像识别的知识。最近学完了机器学习的入门算法知识,就在这里写写笔记吧。
最后更新于: 2020-03-05
最近人工智能挺火的,特别是基于深度学习的图像识别领域,现在的成功率已经远远高于人类的水平了。不过要学习深度学习,肯定是要先学习先修课程机器学习,还有一些基本的数理知识,比如高数,线代,概率论,数分等等。
机器学习简介
在不直接针对问题进行编程的情况下,赋予计算机学习能力的一个研究领域 --Arthur Samuel,1959
计算机算法的研究,并通过经验自动进行改善 --Tom M.Mitchell,1996
学术性来说,就是:对于某类任务T和性能度量P,如果一个计算机程序在T上以P衡量的性能随经验E而自我完善,那么我们称这个计算机程序在从经验E学习
通俗一点,就是:机器通过统计学算法,对大量的历史数据进行学习从而生成经验模型,利用经验模型指导业务。
21世纪三巨头:Yoshua Bengio,Yann LeCun,Geoffrey Hinton
有监督学习算法
KNN - 最近邻接
KNN: K-Nearest Neighbour K个最近邻接点
伪代码
循环:
计算已知类别数据集中的点与 当前点 之间的距离
按照距离递增次序排序
if 样本点遍历完成:
跳出循环
返回前 K 个样本点
统计 K 个样本点中出现频率最高的类别标签
ID3 - 决策树
ID3: Iterative Dichotomiser 3 迭代树三代
信息熵
由香农提出的,信息论里的概念,描述混乱程度的度量,取值范围0~1,值越大越混乱
信息熵计算公式,$p_i$为情况$i$的概率:
$$ H(U)=E[-log_2 p_i]=-\sum_{i=1}^{n}p_{i}log_2 p_i $$
信息增益和特征选择
伪代码
循环:
选取当前最佳特征
按照取值产生分支
if 满足分支终止条件:
if 无待处理分支:
跳出循环
生成结果并处理
无监督学习算法
K-Means - 聚类平均
伪代码
选择K个点作为初始类簇中心
循环:
将每个样本点指派到最近的类簇中心,形成K个类簇
重新计算每个类簇的中心
if 类簇不发生变化 or 达到最大迭代次数:
跳出循环
分类完成
Apriori - 先验关联
最小支持度和置信度
伪代码
确定最小支持度,最小置信度
确定1-频繁项集
确定2-频繁项集
确定3-频繁项集
确定关联规则