基于牛顿求根法,新算法实现并行训练和评估RNN,带来超10倍增速( 三 )


基于牛顿求根法,新算法实现并行训练和评估RNN,带来超10倍增速

文章插图
图 4 (a, b). 给出了使用 DEER 方法和 RK45 方法时训练期间的损失变化情况 。从图中可以看到,相比于使用普通的 ODE 求解器,当使用新提出的 DEER 方法时,训练速度可以提升 11 倍,并且这两种方法的验证损失差别不大 。
图 4 (c, d) 比较了使用 DEER 方法和常用的序列方法时 , GRU 网络训练期间的验证准确度 。从图中可以看到 , 使用 DEER 方法时的验证准确度图表与使用序列方法时的很相近 。




推荐阅读