德塔赛

给神经网络做减法


Listen Later

在过去的几年中,深度神经网络给很多机器学习任务带来了很大的突破。从图像识别到机器翻译,在深度学习的帮助下,很多任务已经实现了超过人类平均水平的精度。然而精度的提升背后的代价是数以百万计的参数,和长达几天甚至几周的显卡上的运算需求。大量的功耗和庞大的模型,限制了深度学习模型在手表手机等小型电子设备上的应用。那么我们该如何在不损失太多精度的同时,给深度网络做减法,让深度学习可以更好的应用在嵌入式系统中呢?本期节目我们从硬件的角度讨论深度学习的优化。

提到的一些内容
  • 林政豪个人主页
  • 我们提到的第一种减少参数的方法,对weights做剪枝: Learning both Weights and Connections for Efficient Neural Networks
  • 节目中多次提到的通过改变连接方式减少参数,增加深度的残差网络ResNet: Deep Residual Learning for Image Recognition
  • 林正豪介绍的二元化神经网络BNN的主要内容是基于: Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1
  • 可以类比二元网络的信息损失较少的一个例子: Paul Brady的一张由黑白两色组成,但看起来是灰阶的青蛙图
  • 普遍应用于各种神经网络,尤其是对二元化神经网络有决定性作用的batch normalization算法: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
  • 二元化神经网络BNN在FPGA上的实现: Accelerating Binarized Convolutional Neural Networks with Software-Programmable FPGAs
  • ...more
    View all episodesView all episodes
    Download on the App Store

    德塔赛By 德塔赛

    • 5
    • 5
    • 5
    • 5
    • 5

    5

    6 ratings