机器学习之KNN算法
简单的机器学习算法K-近邻算法,即KNN算法。
最近加入了一个机器学习小组,目标是每周学习并输出一篇机器学习的文章,第一周的算法是KNN算法。
KNN算法属于监督学习,必须有结果集进行训练。
一、KNN介绍
kNN(k-NearestNeighbor),也就是k最近邻算法,K最近邻,就是k个最近的邻居的意思。也就是在数据集中,认为每个样本可以用离他最距离近的k个邻居来代表。假设我们要判断x点是什么颜色的,找到与其距离最近的5个点,有4个是红色的,有1个是绿色的。因此我们认为x是属于红色的集合。
定义如下:
在一个给定的类别已知的训练样本集中,已知样本集中每一个数据与所属分类的对应关系(标签)。在输入不含有标签的新样本后,将新的数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本最相似的k个数据(最近邻)的分类标签。通过多数表决等方式进行预测。即选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
K近邻法不具有显式的学习过程,而是利用训练数据集对特征向量空间进行划分,并作为其分类的“模型”。
二、优缺点
优点:
- KNN算法是机器学习的敲门砖,算法思想简单朴素,容易理解,适合入门。
- 很好用,理论成熟,简单粗暴,既可以用来做分类(天然支持多分类),也可以用来做回归。
- 与朴素贝叶斯之类的算法相比,由于其对数据没有假设,因此准确度高,对异常点不敏感。
缺点:
- 不知道
三、算法流程
通过理解算法思想,可以将其简化为“找邻居+投票”。K近邻法使用的模型,实际上是特征空间的划分。模型由三个基本要素决定:
- 距离度量
- k值
- 分类决策规则
其中两个实例点之间的距离反映了相似程度。一般来说使用欧氏距离来计算。
梳理kNN算法流程如下:
- 计算测试对象到训练集中每个对象的距离
- 按照距离的远近排序
- 选取与当前测试对象最近的k的训练对象,作为该测试对象的邻居
- 统计这k个邻居的类别频次
- k个邻居里频次最高的类别,即为测试对象的类别
四、算法实现
案例:使用KNN算法对病人的肿瘤进行分类,训练集如下:
1 | # 导入需要的数据模块 |
横轴是肿块大小,纵轴是发现时间。每个病人的肿块大小和发病时间构成了二维平面特征中的一个点。对于每个点,我们通过label明确是恶性肿瘤(绿色)、良性肿瘤(黄色)。
接下来使用KNN计算肿瘤患者的数据(样本点)x:[8.90933607318, 3.365731514],是良性肿瘤还是恶性肿瘤。
1、求距离
1 | x=np.array([8.90933607318,3.365731514]) |
1 | # 结果为: |
2、对距离进行排序
1 | # 对数组距离进行排序 |
3、选择K值
1 | # 选择K值,找出最近的6个点(top 6),并记录他们的标签值(y) |
4、投票决策并输出结果
1 | # 大数规则进行决策,谁多谁胜 |
5、完整KNN代码及调用
1 | ## 完整KNN代码 |
1 | %run kNN.py |
6、sklearn使用
1 | # sklearn中调用knn算法 |
7、sklearn相关参数
KNN参数:
1 | n_neighbors: int, 可选参数(默认为 5)。用于kneighbors查询的默认邻居的数量 |
对于KNeighborsClassifier的方法:
方法名 | 含义 |
---|---|
fit(X, y) | 使用X作为训练数据,y作为目标值(类似于标签)来拟合模型。 |
get_params([deep]) | 获取估值器的参数。 |
neighbors([X, n_neighbors, return_distance]) | 查找一个或几个点的K个邻居。 |
kneighbors_graph([X, n_neighbors, mode]) | 计算在X数组中每个点的k邻居的(权重)图。 |
predict(X) | 给提供的数据预测对应的标签。 |
predict_proba(X) | 返回测试数据X的概率估值。 |
score(X, y[, sample_weight]) | 返回给定测试数据和标签的平均准确值。 |
set_params(**params) | 设置估值器的参数。 |
五、拓展
KNN 不仅可以做分类,还可以做回归。首先讲下什么是回归。在数据分析实战案例中,如
果想要对未知电影进行类型划分,这是一个分类问题。首先看一下要分类的未知电影,离
它最近的 K 部电影大多数属于哪个分类,这部电影就属于哪个分类。
如果是一部新电影,已知它是爱情片,想要知道它的打斗次数、接吻次数可能是多少,这
就是一个回归问题。
那么 KNN 如何做回归呢?
对于一个新点,我们需要找出这个点的 K 个最近邻居,然后将这些邻居的属性的平均值赋
给该点,就可以得到该点的属性。当然不同邻居的影响力权重可以设置成不同的。举个例
子,比如一部电影 A,已知它是动作片,当 K=3 时,最近的 3 部电影是《战狼》,《红
海行动》和《碟中谍 6》,那么它的打斗次数和接吻次数的预估值分别为
(100+95+105)/3=100 次、(5+3+31)/3=13 次。
同样 KNN 也可以用于推荐算法,虽然现在很多推荐系统的算法会使用 TD-IDF、协同过
滤、Apriori 算法,不过针对数据量不大的情况下,采用 KNN 作为推荐算法也是可行的。
六、应用
待完成:
入门:KNN算法来做最普通的水仙花分类
算法进阶:KNN算法做手写数字识别https://blog.csdn.net/UFv59to8/article/details/80241272?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
最后
附上Jupyter Notebook文件: