241023下午Strength 11X10的Sample
/root/video4design/logs/eval/runs/2024-10-23_11-04-08/gifs
Predicting DataLoader 0: 100%|████████████████████████████████████████████████████████████████████████████████████████████████| 19/19 [1:38:03<00:00, 0.00it/s]
结果统计
采样时需要用的min_max吗?
video4design的前处理是否有问题？ -----采样的标签缩进问题
241023_0954video4design前后处理
- lag_frame_ranges : 每一个样本的min_disp_x,max_disp_x,min_disp_y,max_disp_y,min_s_22,max_s_22
- min_max_values : 所有样本的min_disp_x,max_disp_x,min_disp_y,max_disp_y,min_s_22,max_s_22
- stress_strain_data : 51列的应力应变数据
- Target : 11列的ss_采样数据
5-8的模式videometamaterials：
5-8的videometamaterials
目前video4design没有这层规律，左边是video4design的，右边是videometamaterials
ROG前处理+tj后处理241022-1X4结果
2-0样本说明videometamaterisl前处理的训练模型没问题、video4design后处理没问题
如下是在rog的前处理+tj的后处理左边修改了min_max，右边用的第一版的min_max
241023min_max_path与bscc上统一之后的后处理
0-1用的bscc上min-max正确的，0-0的min_max中用的老版本
241022Experiments
复现ICASSP好的两个结果
/root/miniconda3/envs/video311/lib/python3.11/site-packages/lightning/pytorch/loops/prediction_loop.py:255: predict returned None if it was on purpose, ignore this warning...████████████████████████████████████████████| 256/256 [05:10<00:00, 1.21s/it]
sampling loop time step: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 256/256 [05:09<00:00, 1.21s/it]sampling loop time step: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 256/256 [05:09<00:00, 1.21s/it]sampling loop time step: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 256/256 [05:09<00:00, 1.21s/it]sampling loop time step: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 256/256 [05:09<00:00, 1.21s/it]sampling loop time step: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 256/256 [05:08<00:00, 1.21s/it]sampling loop time step: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 256/256 [03:25<00:00, 1.25it/s]Predicting DataLoader 0: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [34:21<00:00, 0.00it/s]generated samples saved to /root/video4design/logs/eval/runs/2024-10-22_17-18-31
为啥结果这么差？？
5-8的预测为啥区间整体在1-8？
问题排除
- 采样的标签需要归一化吗？—>需要
- 可视化的脚本？
- 训练的模型？
- 前处理有问题 : 模型？代码？
- 后处理有问题 : 修改min_max、采样的label归一化缩进；
241022videometamaterials 的前处理GIFs移到video4design后处理，报错如下
Processing rows: 75%|████████████████████████████████████▊ | 3/4 [00:14<00:04, 4.88s/itTraceback (most recent call last):█████████████▌ | 1/2 [00:04<00:04, 4.48s/it]
File "/root/video4design/post/01-ghd-pred-channel-to-contour.py", line 563, in <module>
create_visualization(args.path, d, args.row, args.col, ref_frame=args.ref_frame, atol=0.02)
File "/root/video4design/post/01-ghd-pred-channel-to-contour.py", line 407, in create_visualization
data_pred_bin_euler = update_pixel_positions(data_pred_u_1, data_pred_u_2, data_pred_bin, data_pred_bin)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/root/video4design/post/01-ghd-pred-channel-to-contour.py", line 125, in update_pixel_positions
x_euler = x_lagr + shift_x[f, y_lagr, x_lagr]
~~~~~~~^^^^^^^^^^^^^^^^^^^
IndexError: index 0 is out of bounds for axis 2 with size 0
Processing rows: 100%|█████████████████████████████████████████████████| 4/4 [00:19<00:00, 4.95s/it]
原因：这是因为前处理是1X4, 你后处理采样的是1-1，1-2，不保数组越界才怪！！！！
241023_0832video4design前处理的GIFs移到videometamaterials 的后处理，报错如下
2410221520 采样精度会受sample_batch_size参数的影响吗？ 以RTX-4090为例
E1
E2
E3
Fwd 与 Target 误差 不受sample_batch_size没有影响
2410221455 验证 采样时间会受sample_batch_size参数的影响吗？ 以4090为例
E1
/root/miniconda3/envs/video311/lib/python3.11/site-packages/lightning/pytorch/loops/prediction_loop.py:255: predict returned None if it was on purpose, ignore this warning...
sampling loop time step: 100%|█████████████████████████████████████████| 256/256 [00:56<00:00, 4.52it/s]
sampling loop time step: 100%|█████████████████████████████████████████| 256/256 [00:56<00:00, 4.53it/s]
sampling loop time step: 100%|█████████████████████████████████████████| 256/256 [00:56<00:00, 4.53it/s]
sampling loop time step: 100%|█████████████████████████████████████████| 256/256 [00:56<00:00, 4.55it/s]
sampling loop time step: 100%|█████████████████████████████████████████| 256/256 [00:56<00:00, 4.55it/s]
Predicting DataLoader 0: 100%|█████████████████████████████████████████████| 6/6 [05:39<00:00, 0.02it/s]
generated samples saved to /root/video4design/logs/eval/runs/2024-10-22_14-45-39
[2024-10-22 14:51:41,442][src.utils.utils][INFO] - [rank: 0] Output dir: /root/video4design/logs/eval/runs/2024-10-22_14-45-39
E2
sample_batch_size=1, 3*2个样本共计需要（5分39秒）， 每个样本1min（0.56）。
sampling loop time step: 100%|███████████████████████████████████████████████████████████████████████████████████████████| 256/256 [03:27<00:00, 1.23it/s]
/root/miniconda3/envs/video311/lib/python3.11/site-packages/lightning/pytorch/loops/prediction_loop.py:255: predict returned None if it was on purpose, ignore this warning...
sampling loop time step: 100%|███████████████████████████████████████████████████████████████████████████████████████████| 256/256 [01:47<00:00, 2.39it/s]
Predicting DataLoader 0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [05:14<00:00, 0.01it/s]
generated samples saved to /root/video4design/logs/eval/runs/2024-10-22_15-03-08
[2024-10-22 15:08:27,039][src.utils.utils][INFO] - [rank: 0] Output dir: /root/video4design/logs/eval/runs/2024-10-22_15-03-08
sample_batch_size=4, 3*2个样本共计需要（5分14秒）， 每个样本1min（0.56） 3:27(*4) + 1：47(*2)。
E3
LOCAL_RANK: 0 - CUDA_VISIBLE_DEVICES: [0]
Predicting DataLoader 0: 0%| | 0/1 [00:00<?, ?it/s]
sampling loop time step: 32%|█████████████████████████████▊
sampling loop time step: 100%|███████████████████████████████████████████████████████████████████████████████████████████| 256/256 [05:11<00:00, 1.22s/it]
/root/miniconda3/envs/video311/lib/python3.11/site-packages/lightning/pytorch/loops/prediction_loop.py:255: predict returned None if it was on purpose, ignore this warning...
Predicting DataLoader 0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [05:11<00:00, 0.00it/s]
generated samples saved to /root/video4design/logs/eval/runs/2024-10-22_15-11-02
[2024-10-22 15:16:16,098][src.utils.utils][INFO] - [rank: 0] Output dir: /root/video4design/logs/eval/runs/2024-10-22_15-11-02
sample_batch_size=6, 3*2个样本共计需要（5分11秒）， 每个样本1min（0.52）。
结论： 一定范围内sample_batch_size越多越好