【pdf版本】
语音播报>肠道微生物菌1 问题
之前我们考虑的训练数据中样例的个数m都远远⼤于其特征个数n，这样不管是进⾏回归、聚类等都没有太⼤的问题。然⽽当训练样例个数m太⼩，甚⾄m<<n的时候，使⽤梯度下降法进⾏回归时，如果初值不同，得到的参数结果会有很⼤偏差（因为⽅程数⼩于参数个数）。另外，如果使⽤多元⾼斯分布(Multivariate Gaussian distribution)对数据进⾏拟合时，也会有问题。让我们来演算⼀下，看看会有什么问题： 多元⾼斯分布的参数估计公式如下：
分别是求mean和协⽅差的公式，表⽰样例，共有m个，每个样例n个特征，因此是n维向量，是n*n协⽅差矩阵。
当m<<n时，我们会发现是奇异阵（），也就是说不存在，没办法拟合出多元⾼斯分布了，确切的说是我们估计不出来。
如果我们仍然想⽤多元⾼斯分布来估计样本，那怎么办呢？
2 限制协⽅差矩阵
当没有⾜够的数据去估计时，那么只能对模型参数进⾏⼀定假设，之前我们想估计出完全的（矩阵中的全部元素），现在我们假设就是对⾓阵（各特征间相互独⽴），那么我们只需要计算每个特征的⽅差即可，最后的只有对⾓线上的元素不为0 回想我们之前讨论过的⼆维多元⾼斯分布的⼏何特性，在平⾯上的投影是个椭圆，中⼼点由决定，椭圆的形状由决定。如果变成对⾓阵，就意味着椭圆的两个轴都和坐标轴平⾏了。
如果我们想对进⼀步限制的话，可以假设对⾓线上的元素都是等值的。
其中
也就是上⼀步对⾓线上元素的均值，反映到⼆维⾼斯分布图上就是椭圆变成圆。
当我们要估计出完整的时，我们需要m>=n+1才能保证在最⼤似然估计下得出的是⾮奇异的。然⽽在上⾯的任何⼀种假设限定条件下，只要m>=2都可以估计出限定的。
这样做的缺点也是显然易见的，我们认为特征间独⽴，这个假设太强。接下来，我们给出⼀种称为因⼦分析的⽅法，使⽤更多的参数来分析特征间的关系，并且不需要计算⼀个完整的。
3 边缘和条件⾼斯分布
在讨论因⼦分析之前，先看看多元⾼斯分布中，条件和边缘⾼斯分布的求法。这个在后⾯因⼦分析的EM推导中有⽤。
假设x是有两个随机向量组成（可以看作是将之前的分成了两部分）
其中，，那么。假设x服从多元⾼斯分布，其中
其中，，那么，，由于协⽅差矩阵是对称阵，因此。
整体看来和联合分布符合多元⾼斯分布。
那么只知道联合分布的情况下，如何求得的边缘分布呢？从上⾯的和可以看出，
,，下⾯我们验证第⼆个结果
由此可见，多元⾼斯分布的边缘分布仍然是多元⾼斯分布。也就是说。
上⾯Cov(x)⾥⾯有趣的是，这个与之前计算协⽅差的效果不同。之前的协⽅差矩阵都是针对⼀个随机变量（多维向量）来说的，⽽评价的是两个随机向量之间的关系。⽐如={⾝⾼，体重}，={性别，收⼊}， 那么求的是⾝⾼与⾝⾼，⾝⾼与体重，体重与体重的协⽅差。⽽求的是⾝⾼与性别，⾝⾼与收⼊，体重与性别，体重与收⼊的协⽅差，看起来与之前的⼤不⼀样，⽐较诡异的求法。
亿目上⾯求的是边缘分布，让我们考虑⼀下条件分布的问题，也就是的问题。根据多元⾼斯分布的定义，。
且
这是我们接下来计算时需要的公式，这两个公式直接给出，没有推导过程。如果想了解具体的推导过程，可以参见Chuong B. Do写的《Gaussian processes》。单增李斯特菌
4 因⼦分析例⼦
下⾯通过⼀个简单例⼦，来引出因⼦分析背后的思想。
因⼦分析的实质是认为m个n维特征的训练样例的产⽣过程如下：
1、⾸先在⼀个k维的空间中按照多元⾼斯分布⽣成m个（k维向量），即
2、然后存在⼀个变换矩阵，将映射到n维空间中，即
因为的均值是0，映射后仍然是0。
3、然后将加上⼀个均值（n维），即
对应的意义是将变换后的（n维向量）移动到样本的中⼼点。
4、由于真实样例与上述模型⽣成的有误差，因此我们继续加上误差（n维向量），
⽽且符合多元⾼斯分布，即
5、最后的结果认为是真实的训练样例的⽣成公式
让我们使⽤⼀种直观⽅法来解释上述过程：
假设我们有m=5个2维的样本点（两个特征），如下：
那么按照因⼦分析的理解，样本点的⽣成过程如下：
1、我们⾸先认为在1维空间（这⾥k=1），存在着按正态分布⽣成的m个点，如下
均值为0，⽅差为1。
2、然后使⽤某个将⼀维的z映射到2维，图形表⽰如下：
3、之后加上，即将所有点的横坐标移动，纵坐标移动，将直线移到⼀个位置，使得直线过点，原始左边轴的原点现在为（红⾊点）。
然⽽，样本点不可能这么规则，在模型上会有⼀定偏差，因此我们需要将上步⽣成的点做⼀些扰动（误差），扰动。
4、加⼊扰动后，我们得到⿊⾊样本如下：
5、其中由于z和的均值都为0，因此也是原始样本点（⿊⾊点）的均值。
康普顿效应由以上的直观分析，我们知道了因⼦分析其实就是认为⾼维样本点实际上是由低维样本点经过⾼斯分布、线性变换、误差扰动⽣成的，因此⾼维数据可以使⽤低维来表⽰。
5 因⼦分析模型
上⾯的过程是从隐含随机变量z经过变换和误差扰动来得到观测到的样本点。其中z被称为因⼦，是低维的。
我们将式⼦再列⼀遍如下：
其中误差和z是独⽴的。
下⾯使⽤的因⼦分析表⽰⽅法是矩阵表⽰法，在参考资料中给出了⼀些其他的表⽰⽅法，如果不明⽩矩阵表⽰法，可以参考其他资料。
矩阵表⽰法认为z和x联合符合多元⾼斯分布，如下
求之前需要求E[x]
我们已知E[z]=0，因此
下⼀步是计算，
其中
接着求
这个过程中利⽤了z和独⽴假设（）。并将看作已知变量。
接着求
然后得出联合分布的最终形式
从上式中可以看出x的边缘分布
那么对样本进⾏最⼤似然估计
然后对各个参数求偏导数不就得到各个参数的值了么？
可惜我们得不到closed-form。想想也是，如果能得到，还⼲嘛将z和x放在⼀起求联合分布呢。根据之前对参数估计的理解，在有隐含变量z时，我们可以考虑使⽤EM来进⾏估计。
6 因⼦分析的EM估计
我们先来明确⼀下各个参数，z是隐含变量，是待估参数。
回想EM两个步骤：
循环重复直到收敛 {
（E步）对于每⼀个i，计算
（M步）计算
我们套⽤⼀下：
（E步）：
根据第3节的条件分布讨论，
因此陈铁新
那么根据多元⾼斯分布公式，得到
（M步）：
直接写要最⼤化的⽬标是
其中待估参数是
下⾯我们重点求的估计公式
⾸先将上式简化为：
这⾥表⽰服从分布。然后去掉与不相关的项（后两项），得
去掉不相关的前两项后，对进⾏导，
第⼀步到第⼆步利⽤了tr a = a（a是实数时）和tr AB = tr BA。最后⼀步利⽤了
tr就是求⼀个矩阵对⾓线上元素和。
最后让其值为0，并且化简得
然后得到
到这⾥我们发现，这个公式有点眼熟，与之前回归中的最⼩⼆乘法矩阵形式类似
这⾥解释⼀下两者的相似性，我们这⾥的x是z的线性函数（包含了⼀定的噪声）。在E步得到z的估计后，我们寻的实际上是x和z的线性关系。⽽最⼩⼆乘法也是去特征和结果直接的线性关系。
到这还没完，我们需要求得括号⾥⾯的值
根据我们之前对z|x的定义，我们知道
第⼀步根据z的条件分布得到，第⼆步根据得到
将上⾯的结果代⼊（7）中得到
⾄此，我们得到了，注意⼀点是E[z]和的不同，后者需要求z的协⽅差。
其他参数的迭代公式如下：
均值在迭代过程中值不变。
然后将上的对⾓线上元素抽取出来放到对应的中，就得到了。
7 总结
根据上⾯的EM的过程，要对样本X进⾏因⼦分析，只需知道要分解的因⼦数（z的维度）即可。通过EM，我们能够得到转换矩阵和误差协⽅差。
因⼦分析实际上是降维，在得到各个参数后，可以求得z。但是z的各个参数含义需要⾃⼰去琢磨。
下⾯从⼀个ppt中摘抄⼏段话来进⼀步解释因⼦分析。
因⼦分析(factor analysis)是⼀种数据简化的技术。它通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并⽤少数⼏个假想变量来表⽰其基本的数据结构。这⼏个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，⽽假想变量是不可观测的潜在变量，称为因⼦。
例如，在企业形象或品牌形象的研究中，消费者可以通过⼀个有24个指标构成的评价体系，评价百货商场的24个⽅⾯的优劣。
但消费者主要关⼼的是三个⽅⾯，即商店的环境、商店的服务和商品的价格。因⼦分析⽅法可以通过24个变量，出反映商店环境、商店服务⽔平和商品价格的三个潜在的因⼦，对商店进⾏综合评价。⽽这三个公共因⼦可以表⽰为：
这⾥的就是样例x的第i个分量，就是的第i个分量，就是的第i⾏第j列元素，是z的第i个分量，是。
称是不可观测的潜在因⼦。24个变量共享这三个因⼦，但是每个变量⼜有⾃⼰的个性，不被包含的部分，称为特殊因⼦。
注：
因⼦分析与回归分析不同，因⼦分析中的因⼦是⼀个⽐较抽象的概念，⽽回归因⼦有⾮常明确的实际意义；
主成分分析分析与因⼦分析也有不同，主成分分析仅仅是变量变换，⽽因⼦分析需要构造因⼦模型。
主成分分析：原始变量的线性组合表⽰新的综合变量，即主成分；
因⼦分析：潜在的假想变量和随机影响变量的线性组合表⽰原始变量。
PPT地址
其他值得参考的⽂献
An Introduction to Probabilistic Graphical Models by Jordan Chapter 14
