#开源论文#

PaperWeekly　1531天前　

【更高效的半监督文本分类模型】Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining #论文解读# #开源论文# 本文来自香侬科技。半监督学习是综合利用标注数据与未标注数据的学习方法。近日，香侬科技研究了如何更有效地结合半监督自训练和预训练，即如何在大规模 ...全文

PaperWeekly　1608天前　

【无监督对话状态推理】Dialogue State Induction Using Neural Latent Variable Models #开源论文# #IJCAI 2020# 本文是西湖大学联合哈尔滨工业大学SCIR实验室和北京理工大学发表于IJCAI 2020的工作。论文提出了一个新的任务：对话状态推理，目标是从大量无标注的客服对话记录中自动挖掘对话状态，并 ...全文

PaperWeekly　1616天前　

【修改Transformer结构，设计一个更快更好的MLM模型】Fast and Accurate Deep Bidirectional Language Representations for Unsupervised Learning #开源论文# #ACL 2020# MLM (Masked Language Model) 是 BERT、RoBERTa 的预训练方式。然而，仔细读过 BERT 的论文或者亲自尝试过的读者应该都知道，原 ...全文

PaperWeekly　1616天前　

【预训练生成模型】Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space #开源论文# 本文来自微软，文章提出了一个大规模预训练隐变量生成模型OPTIMUS，它结合了VAE和预训练的典型生成式模型BERT/GPT-2，以VAE的方式在额外的数据上预训练之后，能够兼具VAE和BERT/GPT-2的优点， ...全文

PaperWeekly　1683天前　

【网络剪枝】Once-for-All: Train One Network and Specialize it for Efficient Deployment #开源论文# #ICLR 2020# 本文是MIT发表在 ICLR 2020 上的工作，其核心是希望能够从一个全能网络中选择子网络，来部署到不同算力场景下的设备上。具体地，可以将这个任务看做是一个多粒度的网络剪枝，而每个粒 ...全文

PaperWeekly　1683天前　

【加速BERT推理速度】DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference #开源论文# #ACL 2020# 本文是发表在ACL 2020上关于加速BERT推理速度的文章。其核心是认为对于一些任务而言，BERT 中部分层的输出以及足以做出准确的预测，因此可以提前退出从而实现加速。做法就是在 transformer ...全文

PaperWeekly　1703天前　

【行为识别】Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition #开源论文# #CVPR 2020# 本文是西安交大和MSRA发表于CVPR 2020的工作。行为识别是计算机视觉里的一个经典问题，随着GNN的再度兴起，基于骨架的行为识别问题有了新的解法。本文作者将关节的信息分 ...全文

PaperWeekly　1704天前　

【图像转换】Transforming and Projecting Images into Class-conditional Generative Networks #开源论文# 这篇论文由MIT和Adobe联合提出，文章提出了一种将输入图像投影到类条件生成神经网络空间中的方法来提升图像转换优化性，以抵消生成神经网络中的模型偏差。文章的一个特色是设计了无梯度优化器- ...全文

PaperWeekly　1705天前　

【自然语言推理】RCE-HIL: Recognizing Cross-media Entailment with Heterogeneous Interactive Learning #开源论文# #ACM TOMM 2020# 本文作者在自然语言推理任务中进一步考虑图像信息辅助自然语言的理解，并且提出了一种异质的交互学习方法，首先通过图像-文本注意力以及文本-文本注意力实现多模态 ...全文

PaperWeekly　1808天前　

【图卷积网络】Geom-GCN: Geometric Graph Convolutional Networks #ICLR 2020# #开源论文# 图卷积网络已经成功被应用到图表示学习的很多应用当中。但是目前的图卷积网络中仍有两个缺陷限制了他们的表达学习能力，一是在节点信息汇聚的过程中，以往的 mean，max pooling 操作会丢失掉了节点的结构信息 ...全文

PaperWeekly　1815天前　

【知识库完善】End-to-end Structure-Aware Convolutional Networks for Knowledge Base Completion #开源论文# #论文解读# 由于传统模型主要存在以下问题：只对关系型三元组进行建模，而忽略了节点的属性；没有将结点的结构化信息纳入考虑范围。而随着图神经网络的提出与发展，使得GCN成为了获取图结 ...全文