如何估算神经网络参数占用多少内存或显存容量

时间:2024-01-27 19:23:25

问题引出

假设输入是高和宽均为 1,000 像素的彩色照片(含3个通道)。即使全连接层输出个数仍是256,该层权重参数的形状也是 3,000,000×256 :它占用了大约3 GB的内存或显存。这会带来过于复杂的模型和过高的存储开销。————《动手学深度学习》第5章第5节

有人在讨论区提出3 GB是如何计算得来的?我自己计算过后,在讨论区回复了,在这里Mark和分享下。要回答这个问题,我们要分析如下几个子问题:

  • 全连接输入个数
  • 全连接参数个数
  • 神经网络参数数值类型
  • 1GB等于多少字节

全连接输入个数

  • 使用全连接网络,每个通道的每个像素被当做一个输入。
  • 因此,1张高和宽均为1000像素(含3个通道)的照片,共有1000*1000*3个输入;

全连接参数个数

  • 对于全连接网络层,每个输入连接到所有神经元单元,或者说每个神经网络单元连接所有输入,每个连接就是一个参数,所以全连接网络参数个数等于输入个数*神经元单元数。
  • 全连接层使用256个输出单元,那么总的连接数(即参数个数)为1000*1000*3*256个

神经网络参数数值类型

  • 网络参数为浮点小数,通常用float单精度表示,单精度float占32位/4个字节
  • 那么总的字节数为3*1000*1000*256*4

1GB等于多少字节

  • 1GB=1024M=1024*1024K=1024*1024*1024字节

问题求解

  • 因此,参数占用内存或显存容量 \(=\frac{参数个数*4}{1024^3}=\frac{3*1000*1000*256*4}{1024*1024*1024}={2.86GB}\approx 3GB\)