支持向量机被用于一系列的分类和回归的应用中。尽管这样，支持向量机还是有许多局限性，某些局限性已经在本章中讨论过了。特别地，SVM的输出是一个决策结果而不是后验概率。并且，SVM最开始用于处理二分类问题，因此推广到类有很多问题。有一个复杂度参数或（以及回归问题中的参数）必须使用诸如交叉验证的方法确定。最后，预测是用核函数的线性组合表示的，核函数以训练数据点为中心，并且必须是正定的。
相关向量机（relevance vector machine）或RVM（Tipping, 2001）是一个用于回归问题和分类问题的贝叶斯稀疏核方法，它具有许多SVM的特征，同时避免了SVM的主要的局限性。此外，它通常会产生更加稀疏的模型，从而使得在测试集上的速度更快，同时保留了可比的泛化误差。
与SVM不同，我们会发现比较方便的做法是首先介绍RVM的回归形式，然后将其扩展到分类任务中。