什么是hypernetworks? hypernetworks简单介绍

《hypernetworks》作者是David HaAndrew DaiQuoc V. Le,此为2017年的ICLR论文

简介:

这项工作探索了超网络:一种使用一个网络(也称为超网络)为另一个网络生成权重的方法

超网络提供了一种与自然界相似的抽象:基因型(超网络)与表型(主网络)之间的关系。 这项工作的重点是使超网络对深度卷积网络和长循环网络有效。在这些网络中,超网络可以看作是跨层共享权的轻松形式。 主要结果是超网络可以为LSTM生成非共享的权重,并在各种序列建模任务(包括字符级语言建模,手写体生成和神经机器翻译)上获得近乎SOTA的结果。

应用于卷积网络的超网络仍然可以在图像识别任务上获得可观的结果,同时所需的可学习参数更少。

具体如下图所示:

 

 

github代码地址https://github.com/g1910/HyperNetworks    

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 博客之星2020 设计师:CY__0809 返回首页