2019年9月6日

先进计算机系统研究中心在机器学习理论方面取得进展

近日,先进中心的论文《McDiarmid-Type Inequalities for Graph-Dependent Variables and Stability Bounds》被NeurIPS 2019录用,将在大会上做spotlight报告。这项工作由本中心刘兴武副研究员以及前瞻实验室硕士生张睿、X-Order Lab王彧弋博士、北京大学王立威教授合作完成。

 

这篇论文基于算法稳定性研究了非独立样本上机器学习的泛化误差界。泛化误差是衡量机器学习系统“举一反三”能力的关键指标。为了通过算法稳定性得到较好的泛化误差界,需要一个强大的数学工具—概率集中不等式。具体地说是其中的McDiarmid不等式,它刻画了独立随机变量的任意函数偏离其期望的概率,是概率论和机器学习理论中基础性的工具。但现有版本的前提条件是数据点之间的独立性,然而无论在理论上还是应用中,非独立数据才是更为普遍的情况。因此,我们首先把McDiarmid不等式推广到了非独立的随机变量上,得到了一个有趣的概率不等式;利用这个新的不等式,我们再把基于算法稳定性的泛化误差分析方法从独立样本推广到了一般的非独立样本学习上。

 

NeurIPS是机器学习和计算神经科学的顶级会议之一,至今已举办三十多届,在很多相关领域享有盛誉。本年度的NeurIPS将于12月中旬在加拿大温哥华举办,会议共收到6743篇投稿,录用1400篇,其中oral和spotlight共200篇,仅占全部投稿的3%。

https://nips.cc/