-
【课程学习】《统计学习方法》之k近邻法
相似度查询有两种方法： 1. 范围查询，给定阈值。 2. k近邻查询，给定查询点和k。 k近邻法是一种基本分类与回归的方法。其基本思想是：一个样本的k个最相近的样本大多属于某一个类，则该样本也属于这个类。因此，k近邻算法不具有显式的学习过程。k值的选择、距离度量和分类决策规则是k近邻方法的三个基本要素。 k近邻算法 k近邻算法流程 输入：训练数据集$T={(x_1,y_1),(x_2,y_2),…,(x_N,y_N)}$，其中，$x \in X \subseteq R^n$为实…
-
【课程学习】《统计学习方法》之感知机
感知机（perceptron）是一种二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，通常取$+1$和$-1$两值。感知机学习目的是求出将训练数据进行线性划分的分离超平面。 感知机模型 超平面 对于超平面，我们常用以下的方程来表示： $$\omega\cdot x+b=0$$ 其中，$\omega$是超平面的法向量，这决定超平面的方向，$b$是超平面的截距，决定超平面到原点的距离。 一般来说，超平面维度都大于3。百度百科上解释超平面是$n$维空间到$n-…