关于reduced rank regression的一些看法 - 真理想

时间:2024-03-17 14:30:14

关于reduced rank regression的一些看法

    reduced rank regression 是一种多元回归方法,对于单元回归的情形,它实际上等价于一般线性回归方法,即最小二乘方法(如果训练数据的秩不满,则可等价于求伪逆的线性回归方法)。

    reduced rank regression 对于真实应用数据的效果似乎要比人造数据好,而且它打破了最小二乘式的机械的线性关系,给出了更符合真实情况的(通过多个反响值的线性组合与训练值的线性组合的相关系数考虑了多个反响值之间的关系以及多个反响值与训练值之间的关系)的复杂线性关系求法。人造数据往往无法给出合适的多响应值之间的关系,因此在构造人造数据做reduced rank regression时需要注意这一点,但这又不易办到。故可以结合真实的多元回归事件来构造数据,如最简单的学生的学习时间、游戏时间、睡眠时间与学生的考试分数、身体状况、情感水平的关系。

   由于是降秩的且通过它的解的形式可以得知,该方法对于满秩的训练数据会有好的效果,但对于低秩的训练数据可能效果不佳(用训练数据的伪逆代替训练数据的逆似乎也不奏效)。

   而且在训练数据满秩的情况下还要要求训练样本个数要大于训练样本维数,这样才能得到好的训练效果,否则在解的过程中会存在不能很好求逆的情况(即inv(X*X‘),X是列向量为样本的训练数据矩阵)。幸运的是,这些要求在实际应用中往往可以得到满足!