电子所陈渤团队两篇论文被机器学习顶级会议NeurIPS2020录用
第34届神经信息处理系统大会(Neural Information Processing Systems, NeurIPS，https://neurips.cc/)将于2020年12月06日—12月12日，通过线上举行。该会议是跨学科的，主要包括人工智能和自然神经信息处理，代表着热门科研领域的最前沿，具有广泛而深远的国际影响力。NeurIPS会议每年举办一次，是国际公认的机器学习和人工智能研究领域顶尖会议，也是中国计算机学会(CCF) A类top会议，代表着当今机器学习人工智能领域的最高水平，受到来自学术界和工业界的共同关注。本届neurIPS录用率仅为20.09%，因此在该会议发表相关工作表示了机器学习领域对作者工作的高度肯定。
今年，我校雷达信号处理国家级重点实验室陈渤教授课题组的两篇文章被NeurIPS2020录用。 一篇为博士生陈文超，王超杰以及本科生刘毅成的工作《Bidirectional Convolutional Poisson Gamma Dynamical System》，另一篇为博士生王超杰，王东升的工作《Deep Relational Topic Modeling via Graph Poisson Gamma Belief Network》。
陈文超与王超杰发表的研究，基于团队在深度概率统计模型方面的系列工作，提出了一种新的层次化动态概率统计模型Bidirectional Convolutional Poisson Gamma Dynamical Systems(bi-CPGDS)，针对one-hot编码的文本数据，不仅能够充分利用one-hot序列数据的稀疏性，并且将文本数据的word-sentence-document的层次化结构融入到模型中。使得模型不仅可以从文本中挖掘单词之间的时序性组成短语层次的结构化神经元，并且可以捕捉到这种结构化神经元在不同句子之间的转移关系。该模型结构相似于现有的卷积-动态层次化神经网络，包括了卷积层、概率池化层和循环网络层，但在解码部分，利用全概率生成模型对数据建模，从而赋予隐变量概率解释以及缓解网络对数据量的依赖性。模型的整体结构如下图所示。
(a) bi-CPGDS模型的整体结构；(b) bi-CPGDS的生成模型（左）与推理模型（右）的具体结构。
值得注意的是此工作是本科生参与合作完成的，来自电院16级的刘毅成同学于2019年因为对相关方向的浓厚兴趣加入陈渤教授团队从事概率统计模型科研实习，本篇论文也是他继今年人工智能顶级会议IJCAI2020之后参与的又一篇成果。这也体现了电子工程学院对本科生全面素质教育的重视，反映了雷达信号处理国家级重点实验室对本科生科研的支持与帮助。对电院所有在读和即将步入学院的本科生是一种鼓励，希望有兴趣的同学可以在学有余力的情况下在本科阶段接触科研，培养对科研的兴趣。
另一个工作则由王超杰和王东升合作完成，在图网络研究日趋火热的背景下，针对非欧式空间下的图网络数据提出了一种新型的深度概率图网络模型Graph Poisson Gamma Belief Network，能够将非欧式空间下样本间的逻辑关系融入到样本的隐层表示中，从而得到表征能力更丰富的样本隐层表示。相比传统图模型只考虑单一层次的逻辑关系，该模型能够发掘样本之间位于不同语义层次下的逻辑关系，即对观测到的样本间的逻辑关系按照语义层次进行分解，并将层次化的逻辑关系融入到相应语义层次下的样本表示中。同时为了使模型更加实用做到实时预测，作者们引入了两种不同形式的图神经网络逼近样本隐层表示的后验分布，与上述深度概率图模型结合，进而提出了两种不同形式的深度概率图自编模型，并在图网络分析一系列任务中取得了不错的性能。模型的整体结构如下图所示。
(a)深度概率图网络模型; (b)深度概率图自编码模型。
继本次NeurIPS2020发表针对时序数据的Convolutional Poisson Gamma Dynamical Systems和针对图网络数据的Graph Poisson Gamma Belief Network后，陈渤教授团队的深度概率统计框架在实际应用方向上再次取得了重要成果。概率统计深度网络框架旨在将概率统计模型与传统深度网络相结合，进而将概率模型的可解释性融入到深度网络中，并提高深度模型在实际应用上的性能。在2015年至今的五年时间里，陈渤教授团队已构建了一套完整的概率统计深度模型族，其中包括概率深度全连接生成模型（NIPS2015、ICML2017、JMLR2016）、概率深度全连接自编码模型（ICLR2018、TPAMI2020）、概率深度卷积网络（ICML2019）、概率深度多模态模型（ICLR2020）、概率深度动态网络（NIPS2018、ICML2020，NIPS2020）和图概率深度网络（NIP2020），为概率模型与传统深度网络的结合提供了关键技术支撑。
此次两篇论文的录用，意味着国际学术界对学校研究成果的认可。通过这两篇文章，一方面，我们可以向国际同行展示西安电子科技大学雷达信号处理国家级重点实验室师生在机器学习人工智能领域的研究能力和成果，扩大学校的学术影响力，另一方面还能促进实验室与该领域顶尖学者的交流以及对该领域最新研究进展的了解。
论文工作详情请参考陈渤教http://web.xidian.edu.cn/bchen/。
