前言
这是机器学习算法实现系列的教程，我们来探讨一些经典的机器学习算法并来写一下代码
KNN近邻算法
KNN近邻算法是一种简单并被广泛应用的一种机器学习算法，其思路也是比较简单明了。正所谓“物以类聚，人以群分”，对于一个新的数据来说，我们只需要观察它的周围“邻居”的种类，就可以推断出这个新的数据的种类。
而周围邻居数就是我们的超参数，如果我们取周围5个邻居，即k=5的，同时统计出周围5个邻居的标签，假设是：
1
2
|
[0, 0, 0, 1, 0]
{0: "草莓", 1: "杨桃"}
|
那么，我们就有很大概率认为当前预测的数据是”草莓“而不是”杨桃“。
距离计算
我们只说了邻居，可是还没有说是怎么计算得到的邻居，怎样的两个点才能算得上是邻居呢？这就得引入我们的距离计算公式，一般的，我们有曼哈顿距离和欧式距离两种，我们来使用欧式距离作为计算距离的方式。
KNN代码实现
这里使用的是类似于sklearn的api，主要包含fit和predict两种方式
有意思的是，KNN算法不进行参数的存储，在fit函数中，他只是简单的接收了数据集，而未进行任何参数的保存
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
|
"""KNN算法
KNN算法主要的参数就是计算距离和n的选择
这是模仿的sklearn的
"""
import numpy as np
from collections import Counter
def L2(x1, x2):
return np.sqrt(np.sum((x1-x2) ** 2))
class KNN:
def __init__(self, k= 3):
# 近邻数
self.k = k
def fit(self, X, y):
# 获取数据
self.X = X
self.y = y
def predict(self, X):
"""预测函数
给一个从未出现的点x，需要预测出这个点的类别
"""
y_pred = [self._predict(x) for x in X]
return np.array(y_pred)
def _predict(self, x):
# 计算这个点和训练数据中所有数据的距离
distances = [L2(x, x_train) for x_train in self.X]
# 从这个点里面获取其距离最近的k个邻居
k_idx = np.argsort(distances)[: self.k]
# 得到这k个邻居的label
k_neighbor_labels = [self.y[i] for i in k_idx]
# 在这k个邻居的label中找到出现最多的那个label
most_common = Counter(k_neighbor_labels).most_common(1)
return most_common[0][0]
if __name__ == "__main__":
from sklearn import datasets
from sklearn.model_selection import train_test_split
# 计算精度
def accuracy(y_true, y_pred):
accuracy = np.sum(y_true == y_pred) / len(y_true)
return accuracy
# 导入鸢尾花数据集
iris = datasets.load_iris()
X, y = iris.data, iris.target
# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size= 0.2, random_state= 42
)
# 开始进行预测
knn = KNN(k= 2)
knn.fit(X_train, y_train)
# 预测测试数据
predict = knn.predict(X_test)
# 计算精度
print(accuracy(y_test, predict))
|