-
【实验分析】Evaluation Matrics
因为最近实验歇一阵，所以有时间给我停一下去看一下论文和代码。评估指标的话之前刚来的时候也看过一些，但是那时候也就是看看，也没有写代码，也没有用起来，所以其实后来就忘了，用的时候也就是在用师姐的代码，理解也不够，有时候指标结果不好也说不清为什么。所以现在趁着有机会看一下这些指标。 这里参照了Zhang的论文A review on multi-label learning algorithms和Yang的论文Relevant Emotion Ranking from Text Constr…
-
【基础方法】聚类方法（K-means、FCM）
以前通常做的都是分类的问题，虽然说聚类也可以用于分类，但是这方面涉及的比较少，只大概了解了相关的概念。这次简单地介绍学习建模时候看到的三种聚类方法：K-means算法和FCM算法。 K-means聚类方法 K-means聚类方法通过均值进行聚类，每个原始的元素经过聚类后都属于并且只属于某一个类。这是一种严格划分的方法，也可称为硬划分(HCM)。 对于给定的含有$n$个元素的数据集$X$，$x_k$是其中第$k$个元素，$1\leqslant k\leqslant n$。将该数据集聚类…
-
【课程学习】Machine Learning 第三周
Week 3 PROGRAMMING Logistic Regression Visualizing the data 这一段可以自己写，但是在pdf中也有直接的代码可以添加在plotdata.m中： % Find Indices of Positive and Negative Examples pos = find(y==1); neg = find(y == 0); % Plot Examples plot(X(pos, 1), X(pos, 2), 'k+'…
-
【实验分析】考虑平局的投票分类器
在基础分类器中，除了最近邻的方法外，投票也是常用的一种方法。投票的原理是：每一个部分拥有一票或多票，根据一定的规则投给某一个类别，获得最多票数的类别是最终得到的类别。 基础算法 很多matlab的实现投票分类器的代码如下： a=1:c; % c是类别数 for i=1:num h(i,:)=hist(index(i,:),a); % index是一个矩阵,每一个位置都有一个数字，在0到c之间 end [~,ind]=max(h,[],2); 我一开始也是使用这种方法…
-
【课程学习】《统计学习方法》之k近邻法
相似度查询有两种方法： 1. 范围查询，给定阈值。 2. k近邻查询，给定查询点和k。 k近邻法是一种基本分类与回归的方法。其基本思想是：一个样本的k个最相近的样本大多属于某一个类，则该样本也属于这个类。因此，k近邻算法不具有显式的学习过程。k值的选择、距离度量和分类决策规则是k近邻方法的三个基本要素。 k近邻算法 k近邻算法流程 输入：训练数据集$T={(x_1,y_1),(x_2,y_2),…,(x_N,y_N)}$，其中，$x \in X \subseteq R^n$为实…
-
【课程学习】Machine Learning 第一周和第二周
一直有想看Andrew Ng的机器学习课程，但是拖了很久都没有看完。之前也写过一些相关的博客，但是在博客搬家的时候没有保存下来。 第一周和第二周的内容比较少，作业也是在一起布置的。 WEEK 1 Introduction What is machine learning? 1. 机器学习的定义：为了完成某个目标T，从经验E中学习，同时具有一定的判断标准P。 Supervised Learning 1. 监督学习：部分样本已有正确的结果。 2. 分类： 回归…
-
【课程学习】《统计学习方法》之感知机
感知机（perceptron）是一种二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，通常取$+1$和$-1$两值。感知机学习目的是求出将训练数据进行线性划分的分离超平面。 感知机模型 超平面 对于超平面，我们常用以下的方程来表示： $$\omega\cdot x+b=0$$ 其中，$\omega$是超平面的法向量，这决定超平面的方向，$b$是超平面的截距，决定超平面到原点的距离。 一般来说，超平面维度都大于3。百度百科上解释超平面是$n$维空间到$n-…
-
【基础方法】Gradient Descent（梯度下降）
这段时间不是很忙，也看到Andrew Ng在Coursera上的machine learning开课了，就顺带着看看。第一周和第二周讲的都是比较简单的问题，主要就是介绍了Cost Function以及最小化的几个方法。我这里要说的就是其中的一种：Gradient desxcent（梯度下降）。 梯度下降这个概念对很多人来说都不是很熟悉了，我之前看过关于HOG(方向梯度直方图)的一篇论文，再看梯度下降就有种熟悉感。 梯度下降的思想 在介绍梯度下降之前我们先引入一个Cost functio…
-
【基础方法】Harr 小波变换
我在网上了解小波变换的时候，发现它是常用于信号处理的一种方法，但是在论文里也常看到小波变换用于图像处理。小波函数在一定的时间间隔内波形幅度的平均值为0。现在有很多小波函数，Haar小波变换函数是其中最基础的一种，是最简单的正交归一化小波 Harr 简介 我们先看一下Harr相关的函数图形： 由上图可以以得知Harr小波函数是一个支撑域(函数$\psi(t)$不为0的区间)在$[0,1]$内的单个矩形波，公式如下： $$\psi(t)=\begin{equation} \left \{…
-
【基础方法】主成分分析（Principal Component Analysis）
我们在做图像处理的时候，为了避免提取的特征维数太高使得计算速度变慢，可以用下面几种方法降低特征的维数： * 在一开始的时候对图片预处理，降低图片本身的维数。 * 在特征提取的过程中对特征进行处理，降低特征的的维数。（比如对LBP特征进行直方图统计，就有均衡模式的LBP这个方法来降低特征的维数） * 采用一些降维德方法。（比如我们要介绍的PCA） 数学理论 PCA降维的思想方法是找到一个投影矩阵，这个矩阵对应了一个维数更低的空间，样本经过和这个投影矩阵运算，可以变成维数更小的…