目录
一、监督学习(Supervised learning)
2.1分类(classification)
2.2回归(regression)
泛化能力 Generalization Ability
欠拟合
过拟合
不收敛
2.3 K近邻算法
k近邻分类
k近邻回归
KNN变种
二、无监督学习(Unsupervised learning)
2.1 聚类(clustering)
簇(或类)cluster
聚类和分类的区别
监督学习：分类、回归
无监督学习：聚类、降维
半监督学习：两者结合
自监督学习：无监督的一个分支
强化学习：基于环境反馈
一、监督学习(Supervised learning)
有明确的输入/输出对，输入为特征，输出为标签；
训练样本带有信息标记，利用已有的训练样本信息学习数据的规律预测未知的新样本标签。
常见场景：垃圾邮件处理、人脸识别、温度测量等分类和回归问题；
常见算法：逻辑回归(Logistic Regression)和神经网络、支持向量机、决策树。
2.1分类(classification)
分类是识别出一组数据的所属类别，目标是预测类别标签(Class Label),分类问题可分为二分类和多分类，在两个类别之间进行区分的情况为二分类，在两个以上的类别之间进行区分的情况为多分类。
2.2回归(regression)
回归的目标是预测一组连续值，编程术语叫作浮点数，数学术语叫作实数。
区分分类和回归有一个简单的方法，就是输出是否具有某种连续性，具有连续性则为回归问题，不存在连续性则为分类问题。
分类与回归的区别是输出空间的度量不同：
监督学习的目标是构建一个泛化精度尽可能高的模型。
泛化能力 Generalization Ability
指一个机器学习算法对于没有见过的样本的识别能力，也可以形象地称为举一反三的能力，或者称为学以致用的能力。根据测试数据预测的结果对比测试数据的标签，能够检测出此模型的泛化能力。
欠拟合
过拟合
不收敛
不收敛一般出现在一些基于梯度下降算法的模型中，收敛是指这个算法有能力找到局部的或者全局的最小值(比如找到使得预测的标签和真实的标签最相近的值，也就是两者距离的最小值)，从而得到一个问题的最优解。
2.3 K近邻算法
思路：在特征空间中，如果一个样本附近的K个最近(即特征空间中最邻近)样本的大多属于某一个类别，则该样本也属于这个类别。
k近邻分类
KNN算法选择的邻居都是已经正确分类的对象。
k近邻回归
通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的值。
用KNN算法在连续区间内对数值进行预测，这就是KNN回归。使用sklearn.neighbors.KNeighborsRegressor类。
KNN变种
二、无监督学习(Unsupervised learning)
在无监督学习中，数据只有输入特征，没有输出标签，学习模型是为了推断出数据的一些内在结构。
常见算法：关联规则(Apriori算法)、聚类(K-menas算法)、降维(PCA算法)
训练样本的标记信息是未知的，目的是为了揭露样本的内在属性、结构和信息，为进一步的数据挖掘提供基础。
2.1 聚类(clustering)
按照某一个特定的标准(比如距离)，把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不同簇内的数据对象差异性也尽可能大。
簇(或类)cluster
子集合，最大化簇内的相似性，最小化簇与簇之间的相似性。
聚类可以作为一个单独过程，用于寻找数据内在分布结构，也可以作为其他学习任务前驱过程。
聚类相似度度量标准：几何距离
降维(dimensionality reduction)
异常检测(outlier detection)
推荐系统(recommendation system)
聚类和分类的区别
聚类是无监督学习任务，不知道真实的样本标记，只把相似度高的样本聚合在一起；分类是监督学习任务，利用已知的样本标记训练学习器预测未知样本的类别。
