Visualization - Saliency, Grad-CAM

Visualizing Structure

각 layer의 parameter의 크기를 구해서 전체 parameter의 개수를 구한다.
module.named_parameters를 이용해서 param인자에 있는 정보를 이용해서 구한다.

def get_module_params_num(module):

  param_num = 0

  for _, param in module.named_parameters():

    size = 1
    for i in range(len(param.shape)):
       size = size * param.shape[i]
    param_size = size 
    param_num += param_size

  return param_num

def get_model_params_num(model):
  module_num = 0
  for name, module in model._modules.items():
    module_num += get_module_params_num(module)
  return module_num

num_params = get_model_params_num(model)
print(f"Number of parameters in customed-VGG11: {num_params}")

Visualizing conv1 filters

VGG의 첫번째 convolution layer는 해당 filter의 채널 수가 RGB 채널 수(3)와 같기 때문에 filter를 visualizing 하기 쉽다.

conv1_filters_data = model.backbone.conv1.weight.data

plot_filters(conv1_filters_data, title="Filters in conv1 layer")

Visualizing