现在我们考虑把Fisher判别式推广到$K > 2$个类别的情况，并假设输入空间的维数$D$大于类别的数量$K$。下面，我们引入$D' > 1$个线性“特征”$y_k = w_k^Tx k=1,...,D'$。这些特征值可以很方便的组合成向量$y$的形式。同样的，权向量$\{w_k\}$可以看成矩阵$W$的列，即

$$y = W^Tx \tag{4.39}$$

再次提醒，我们没有把任何偏置参数包含在$y$的定义中。把类内部协方差矩阵（4.28）推广到$K$个分类的情形，得到

$$S_W = \sum\limits_{k=1}^KS_k \tag{4.40}$$

其中

$$\begin{eqnarray} S_k &=& \sum\limits_{n \in C_k}(x_n - m_k)(x_n - m_k)^T \tag{4.41} \\ m_k &=& \frac{1}{N_k}\sum\limits_{n \in C_k}x_n \tag{4.42} \end{eqnarray}$$

$N_k$是类$C_k$的模式数量。为了找到类间协方差矩阵的推广，我是使用Duda and Hart (1973)方法，首先考虑整体协方差矩阵：

$$S_T = \sum\limits_{n=1}^N(x_n - m)(x_n - m)^T \tag{4.43}$$

其中$m$是整个数据集的均值

$$m=\frac{1}{N}\sum\limits_{n=1}^Nx_n = \frac{1}{N}\sum\limits_{k=1}^KN_km_k \tag{4.44}$$

$N = \sum_kN_k$是数据的总数。整体协方差矩阵可以分解成式（4.40）（4.41）给出的类间协方差矩阵加上一个类间协方差矩阵$S_B$

$$S_T = S_W + S_B \tag{4.45}$$

其中

$$S_B = \sum\limits_{k=1}^KN_k(m_k - m)(m_k - m)^T \tag{4.46}$$

这些协方差矩阵是定义在原来的$x$空间中的。现在可以定义投影的$D'$维$y$矩阵中的类似矩阵

$$s_W = \sum\limits_{k=1}^K\sum\limits_{n \in C_k}(y_n - \mu_k)(y_n - \mu_k)^T \tag{4.47}$$

和

$$s_B = \sum\limits_{k=1}^KN_k(\mu_k - \mu)(\mu_k - \mu)^T \tag{4.48}$$

其中

$$\mu_k = \frac{1}{N_k}\sum\limits_{n \in C_k}y_n , \mu = \frac{1}{N}\sum\limits_{k=1}^KN_k\mu_k \tag{4.49}$$

同样的，我们想构造一个当类间协方差较大，且类内协方差较小时，值比较大的标量。这样的判别准则有很多选择（Fukunaga, 1990）。其中一个例子是

$$J(W) = Tr\left\{s_W^{-1}s_B\right\} \tag{4.50}$$

这个判别准则可以写成投影矩阵$W$的显式函数

$$J(w) = Tr\left\{(WS_WW^T)^{-1}(WS_WW^T)\right\} \tag{4.51}$$

最大化这个判别准则虽然有点繁琐，但还是很直接的，详细的推导可以参考Fukunaga (1990)。权值由$S_W^{−1}S_B$的对应$D′$个最大的特征值的特征向量确定。

所有的这些判别准则都有一个很重要的结果。首先，我们注意式（4.46）中$S_B$是由$K$个两个向量的外积得到的秩为1的矩阵的和组成，

此外，由于式（4.44）给出的限制条件，这些矩阵中只有$(K − 1)$个是相互独立的，所以$S_B$的秩最大等于$(K − 1)$，因此最多有$(K − 1)$个非零特征值。这表明，向由$S_B$的特征值所生成的$(K − 1)$维子空间上的投影不改变$J(W)$的值，这意味这我们不可能找到多于$(K − 1)$个线性“特征”(Fukunaga, 1990)。