-
【基础方法】聚类方法（K-means、FCM）
以前通常做的都是分类的问题，虽然说聚类也可以用于分类，但是这方面涉及的比较少，只大概了解了相关的概念。这次简单地介绍学习建模时候看到的三种聚类方法：K-means算法和FCM算法。 K-means聚类方法 K-means聚类方法通过均值进行聚类，每个原始的元素经过聚类后都属于并且只属于某一个类。这是一种严格划分的方法，也可称为硬划分(HCM)。 对于给定的含有$n$个元素的数据集$X$，$x_k$是其中第$k$个元素，$1\leqslant k\leqslant n$。将该数据集聚类…
-
【语言特性】matlab图形界面GUIDE编程
创建图形界面 在命令行直接输入guide创建一个空白的GUIDE程序。 界面设计 坐标轴控件 1. 设置初始不可见 将visible设置为off(框内不打勾)。 按钮控件 1. 设置初始不可点击 将enable设置为false。 下拉框控件 1. 添加下拉选择 在string中添加，回车分隔。 代码 点击按钮，浏览文件，选择图像并显示 [filename,filepath]=uigetfile('*.png…
-
【课程学习】Machine Learning 第三周
Week 3 PROGRAMMING Logistic Regression Visualizing the data 这一段可以自己写，但是在pdf中也有直接的代码可以添加在plotdata.m中： % Find Indices of Positive and Negative Examples pos = find(y==1); neg = find(y == 0); % Plot Examples plot(X(pos, 1), X(pos, 2), 'k+'…
-
【实验分析】考虑平局的投票分类器
在基础分类器中，除了最近邻的方法外，投票也是常用的一种方法。投票的原理是：每一个部分拥有一票或多票，根据一定的规则投给某一个类别，获得最多票数的类别是最终得到的类别。 基础算法 很多matlab的实现投票分类器的代码如下： a=1:c; % c是类别数 for i=1:num h(i,:)=hist(index(i,:),a); % index是一个矩阵,每一个位置都有一个数字，在0到c之间 end [~,ind]=max(h,[],2); 我一开始也是使用这种方法…
-
【课程学习】Machine Learning 第一周和第二周
一直有想看Andrew Ng的机器学习课程，但是拖了很久都没有看完。之前也写过一些相关的博客，但是在博客搬家的时候没有保存下来。 第一周和第二周的内容比较少，作业也是在一起布置的。 WEEK 1 Introduction What is machine learning? 1. 机器学习的定义：为了完成某个目标T，从经验E中学习，同时具有一定的判断标准P。 Supervised Learning 1. 监督学习：部分样本已有正确的结果。 2. 分类： 回归…
-
【基础方法】Gradient Descent（梯度下降）
这段时间不是很忙，也看到Andrew Ng在Coursera上的machine learning开课了，就顺带着看看。第一周和第二周讲的都是比较简单的问题，主要就是介绍了Cost Function以及最小化的几个方法。我这里要说的就是其中的一种：Gradient desxcent（梯度下降）。 梯度下降这个概念对很多人来说都不是很熟悉了，我之前看过关于HOG(方向梯度直方图)的一篇论文，再看梯度下降就有种熟悉感。 梯度下降的思想 在介绍梯度下降之前我们先引入一个Cost functio…
-
【基础方法】Harr 小波变换
我在网上了解小波变换的时候，发现它是常用于信号处理的一种方法，但是在论文里也常看到小波变换用于图像处理。小波函数在一定的时间间隔内波形幅度的平均值为0。现在有很多小波函数，Haar小波变换函数是其中最基础的一种，是最简单的正交归一化小波 Harr 简介 我们先看一下Harr相关的函数图形： 由上图可以以得知Harr小波函数是一个支撑域(函数$\psi(t)$不为0的区间)在$[0,1]$内的单个矩形波，公式如下： $$\psi(t)=\begin{equation} \left \{…
-
【基础方法】主成分分析（Principal Component Analysis）
我们在做图像处理的时候，为了避免提取的特征维数太高使得计算速度变慢，可以用下面几种方法降低特征的维数： * 在一开始的时候对图片预处理，降低图片本身的维数。 * 在特征提取的过程中对特征进行处理，降低特征的的维数。（比如对LBP特征进行直方图统计，就有均衡模式的LBP这个方法来降低特征的维数） * 采用一些降维德方法。（比如我们要介绍的PCA） 数学理论 PCA降维的思想方法是找到一个投影矩阵，这个矩阵对应了一个维数更低的空间，样本经过和这个投影矩阵运算，可以变成维数更小的…
-
【课程学习】逆矩阵
逆矩阵也是我们在进行矩阵运算时很常用到的一个概念。 相关概念 * 奇异矩阵：该$n$阶方阵对应的行列式为0. * 非奇异矩阵：该$n$阶方阵对应的行列式不为0. * 伴随矩阵：将原矩阵中的所有元素换成该元素对应的代数余子式，并转置得到的矩阵，记为$A^* $。 注意，伴随矩阵有一条重要的性质：$AA^* =A^* A=|A|E$，由此可以推出：$A\frac{A^*}{|A|}=E$ 通过这个方法，我们可以用Matlab求得一个矩阵的伴随矩阵。 >> A=…
-
【课程学习】行列式
讲真我也只是记得这个概念了，计算方法什么的都不太记得了，真是对不起我线性代数的老师。大概也是因为现在都是用的矩阵的运算，行列式接触的比较少吧。不过原来学习过的基础还在，复习起来还是很快的。 行列式的概念 二阶行列式 行列式是一种基本的数学工具，行列式理论是由求解n元线性方程组的实际需要建立、发展起来的。 行列式是有一个数值的，最简单的是二阶行列式，二阶行列式计算有一个很简单的公式： $$ \left|\begin{array}{cccc} a_{11} & a…