可视化GPT2模型却无法看到隐藏层如何解决?

时间:2022-11-24 11:57:50


场景:


对transformer的GPT2模型进行重写并对数据进行训练,以及添加线性层作为下游模型。训练过程已经对参数和优化器进行优化,即进行了微调。

问题:


下游业务功能正常,模型参数也已经发生了改变。但是在可视化网络结构的时候,官方的h5模型文件可视化出来是有隐藏层的,但是我可视化我的本地模型的时候是没有隐藏层的,只有一个GPT2Model。如何才能让我的本地模型可视化看到隐藏层呢?我用的是将模型存为h5文件,然后用netron进行可视化。

我尝试过SummaryWriter存为event文件然后tensorboard可视化,但是该报错如下:

猜想:


会不会是我重写了transformer的GPT2之后,返回的对象直接作为一个块了?

解决方式:


用软件可视化