[Feature]: 当前版本对GPU的支持情况如何？

[gystar]

Feature Request Type

Others

Have you searched existing issues?

Yes

Is your feature request related to a problem?

No

Describe features you want to add to SPU

。

Describe features you want to add to SPU

我注意到该framework最近添加了一些GPU加速方面的支持，请问现在是否支持使用GPU跑完对Llama的inference？

[anakinxc]

目前只是尝试性的用 GPU 加速 ABY3 的矩阵乘法

至于能不能跑 llama inference，这个完全取决于 GPU 的显存够不够

基于目前 MPC 协议的现实情况，GPU 加速能带来的提升非常有限，甚至会变得更慢

[gystar]

好的，感谢回答哈，我将持续关注对GPU加速的支持。