musetalk 启动后 oom

[licon]

webrtcapi 页面正常，start 后有数字人画面，发送文本后卡住，服务端报错如下：
RuntimeError: CUDA out of memory. Tried to allocate 256.00 MiB (GPU 0; 23.65 GiB total capacity; 17.77 GiB already allocated; 45.19 MiB free; 18.47 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

环境信息：
机器系统 ubuntu22，
显卡：4090
cuda驱动： Driver Version: 535.183.01 CUDA Version: 12.2

请问程序需要怎么设置？

[Ivyforever01]

4090运行不了的，得V100

[leos-code]

@licon

1. 在 musereal.py 的 inference方法上添加 @torch.no_grad() 注解
2. 启动app.py时，设置batch_size为8或更小，我设置8可以正常运行

[licon]

@licon

1. 在 musereal.py 的 inference方法上添加 @torch.no_grad() 注解
2. 启动app.py时，设置batch_size为8或更小，我设置8可以正常运行

你的方法可以解决问题，非常感谢