Alternating the GPUs each layer is on didn’t fix it, but it did produce an interesting result! It took longer to OOM. The memory started increasing on gpu 0, then 1, then 2, …, until eventually it came back around and OOM. This means memory is accumulating as the forward pass goes on. With each layer more memory is allocated and not freed. This could happen if we’re saving activations or gradients. Let’s try wrapping with torch.no_grad and make required_grad=False even for the LoRA.
Ершова также отметила, что в США таблички с правилами стоят буквально на каждом шагу. «Иногда возникает ощущение, что человек живет внутри огромной инструкции по эксплуатации», — поиронизировала она.
，详情可参考safew
用十年时间，这家中国社交巨头似乎终于找到了属于自己的路径——从焦虑地观望，到从容地布局，腾讯在自己的主场上，为AI找到了落点。
It's not my responsibility to fix this (and I can't)
В США назвали оружие для удара по кораблям Китая20:38