|
讲义主要包括每堂课的摘要。
课程概览
本讲介绍且将课程的主题设定为从样本数据中学习，例如稀疏数据的多元函数逼近等问题。给出该课程理论部分的综述，且提前提及课程之外的正则化理论与统计学习理论这两个基础理论之间的关系。我们也会简述算法的生物学含义以及从计算机视觉到计算机图形学和证券市场等从本课程框架延伸出的不同层面的应用。
透视学习问题
给出本课程需要用到的大部分概念(例如目标空间、损失函数、经验风险、期望风险和假设空间)并且解释本课程的理论部分的结构。将从样本数据中学习的问题看作选择的稀疏数据多元函数逼近问题，然后根据概率测度，考虑随机获取数据而非选定数据的情况。课程中将广泛地应用统计学习理论的观点来分析事例。正则化理论作为研究传统的病态问题的自然架构，允许存在无穷多解的情况。
正则化的解
首先非正式地简要回顾一下正则化理论。通过将可行解空间适当控制到足够光滑的函数类，在回归情况下学习问题具有唯一解。我们也将介绍一个非常重要的概念－函数的光滑性。在尽可能少提及泛函微分的情况下，我们会得到正则化解的一般形式，正则化的解实际上是以数据点为中心的核函数的加权和。
再生核 Hilbert 空间
我们将详细讨论一类十分重要的核函数的性质，它引出了再生核 Hilbert 空间(RKHS)这一非常关键的概念。RKHS是在正则化理论和统计学习理论之间建立联系的基本工具。我们首先给出希伯特空间的基本观念等背景知识，接着阐明在RKHS中解的先验知识和光滑性之间的关系。并简单推导出正则化解的一般形式。
传统的逼近方法
我们将介绍许多传统的逼近方法，包括目前常被使用的样条函数和径向基函数(RBFs)。最后讨论一下正则化参数与解之间的相关性。
非参数化技术和正则化理论
介绍回归估计中的几种非参数技术的理论性质，包括：最近邻技术、局部模型和核回归等。然后通过密度估计的 Parzen 窗方法，来说明非参数法与正则化理论之间的关系。
介绍包含单层和多层感知器及投影寻踪回归技术在内的岭逼近技术。讨论这些技术的理论性质、与实现相关的问题和优缺点，深入探讨它们与正则化理论之间的关系。
本讲要探讨到目前为止所介绍的逼近方法与有关学习网络之间的关系。讨论径向基函数（RBFs）的优缺点以及 RBFs 的扩展，这些扩展取决于解的先验知识，例如超基函数。揭示网络结构与所提出的正则化方法之间的关系。
我们到目前为止所讨论的学习技术或者插值技术有许多实际应用。本讲我们将利用非参数技术来估计诸如股市中的期权等衍生有价证券的价格。期权价格与相关变量之间的关系通过历史数据学习得到。计算机仿真实验表明：我们先前描述的学习技术(超基函数，多层感知器网络，投影寻踪回归) 能够从人造数据（利用 Black-Scholes 假设生成的）中通过学习得到 Black-Scholes 方程。这些技术应用于 SP500 期货的购买期权实际数据也取得了较好效果。
统计学习理论导论
本讲我们开始讲解 VC 理论。在严谨的概率论框架下讨论从样本数据中学习的问题。许多重要的概念，例如期望风险和经验风险、目标空间与假设空间以及 Bayes 最优解等将被介绍，或以统计学习理论的观点再次回顾。
经验风险最小化原则的一致性
本讲介绍 VC 理论中分析估计误差所需的基本概念，展示经验风险最小化一致性和一致收敛之间的联系，给出经验风险最小化原则一致性的充分必要条件，即经验风险最小值收敛于期望风险最小值。
首先讨论 VC 熵, 退火 VC 熵和模式识别的增长函数等基本概念，然后介绍 VC 维的基本思想，最后提出并讨论所谓的 VC 界。
回归和结构风险最小化的 VC 理论
我们首先会针对 VC 理论中的回归估计，介绍 VC 维的扩展：V-gamma维。然后在 VC 理论和RKHS 框架下我们会解释如何运用有限样本来设计分类和回归方法，这些方法包括支持向量机和正则化网络。
用于分类的支持向量机
本讲我们将详细介绍支持向量机。它是最近由 V. Vapnik 以及他在贝尔实验室(AT&T Bell Labs)的研究小组所提出来的一种模式分类／回归算法。支持向量机可以视为训练多项式、神经网络或径向基函数分类器的一种新方式。从实现的观点来看，训练支持向量机等价于求解一个具有线性约束的二次规划问题，其中变量数等于数据点的个数。
项目讨论: 本次课用来讨论课程项目。
用于回归的支持向量机
本讲将叙述用于回归估计的支持向量机，阐明支持向量机和基寻踪去噪之间的关系。最后，我们将讨论正则化网络和支持向量机的 Bayesian 解释。
当前研究热点 I: 核方法
本讲我们将讨论有关支持向量机和正则化网络的构建与如何选择适当的核函数的一些结果和有待解决的问题。
应用于计算机视觉和计算机图形学
本讲将介绍麻省理工学院 CBCL 实验室开展研究的一些应用问题，特别是与计算机视觉和计算机图形学相关的应用:
- 从人脸图像中辨别性别
- 图像分析与合成
- 目标检测的学习
第一个主题是关于如何使用简单的超基函数网络进行人脸图像的识别并做性别分类。经过训练之后，网络的中心往往会出现与男女脸部特征相似的肖像漫画。
第二个主题将叙述如何经由表情或视角等用户定义的控制参数来训练网络进而分析或生成相同或类似的新人脸图像。技术关键在于图像表示以使其确保输入和输出之间具有足够的光滑度。
最后一个主题是关于基于支持向量机分类器的可训练的目标检测系统。
神经科学 I
我们在前几讲所看到与计算机视觉问题相关的一个主要科学问题涉及到在人类感知过程中视觉学习及目标识别的机制与策略。我们将通过先前描述的计算方法，讨论正在进行中的研究工作－许多视觉任务可以通过一系列联想来学习。特别是由图像感知外形可以通过自上而下的方式由经验决定。
神经科学 II
我们将详细叙述目标识别的精神物理学和生理学。在从样本数据中学习的框架下，颞下细胞调整视觉从而识别特定目标也许可以解释基于视觉的模型的基本模式。
当前研究热点 II: 误差逼近和逼近论
本讲将由客座教师讲解误差逼近理论及相关性质，将提出“维数灾难”问题。当输入数据的维数过高时，除非我们限制待估计的函数类型，否则保证取得满意结果的样本点数目将非常巨大。
当前研究热点 III: 支持向量机的理论与实现
本讲将由客座教师讲解与支持向量机实现有关的优化问题。推导出原问题和对偶问题，并深入讨论在相应的二次规划求解时遇到的一些问题。
当前研究热点 IV: 基于支持向量机的特征选择及生物信息学应用
本讲将由客座教师讲解统计学习技术在生物信息学中的应用。特别是基于支持向量机的特征选择和置信估计方法。
当前研究热点 V: Bagging 和 Boosting
本讲我们讨论 bagging 和 boosting 技术以及这两种技术是如何被成功应用的。我们也将介绍与 bagging 技术类似的关于 SVMs 组合的最新进展。
选讲: 小波和框架
本讲我们简要介绍近十年来逐渐被关注的一种逼近技术─小波分析。我们将给出小波分析的基本概念与思想，并给出实例。然后我们将介绍框架理论的基础，框架直观上可以解释为过完备的非正交基函数的集合。
项目陈述: 最后一堂课将用来做课程项目报告。
|