场景:
对transformer的GPT2模型进行重写并对数据进行训练,以及添加线性层作为下游模型。训练过程已经对参数和优化器进行优化,即进行了微调。
问题:
下游业务功能正常,模型参数也已经发生了改变。但是在可视化网络结构的时候,官方的h5模型文件可视化出来是有隐藏层的,但是我可视化我的本地模型的时候是没有隐藏层的,只有一个GPT2Model。如何才能让我的本地模型可视化看到隐藏层呢?我用的是将模型存为h5文件,然后用netron进行可视化。
我尝试过SummaryWriter存为event文件然后tensorboard可视化,但是该报错如下:
猜想:
会不会是我重写了transformer的GPT2之后,返回的对象直接作为一个块了?
解决方式:
用软件可视化