Tarjeta grafica para IA Selfhosted

[iruindegi]

buenas,

Tengo varios servidores por casa y quiero poner un LLM en una de ellas. Busco un grafica BBB para IA, lo ideal es que me ayude con los LLM y que consuma poco.

Habia pensado en un Tesla p4...

¿Como lo veis?

[Omar_AntroS]

Es una GPU del 2016, muy viejita para ML.

[SanamArcar]

Si es verdad que con cuda hay mas facilidades en ppio lo mas relevante es la RAM, una 3060 12GB seria lo suyo, luego ya la 4060ti de 16GB o la nueva 5060ti de 16GB. Luego saltaria a AMD y sus 24GB de VRAM y soporte ROCm y luego ya a la perra gorda de la 5090.

[telekito]

Que LLM piensas usar? o es solo para trastear con los modelos pequeños?

La gente pincha 2 o 3 3090 para trastear con modelos LLM medianos de 70B en local. La 3090 es muy usada porque necesitas una gráfica con mucha VRAM y de segunda mano las puedes conseguir baratas, las bajas de vueltas para que consuman poco y las unes con el VLINK y va perfecto y con 2 gráficas ya puedes trastear bastante.

Tesla P4 a ver es barata, pero es muy antigua y creo que solo 8GB de VRAM, te tendrías que comprar 4 o más para medianamente usarla con modelos medianos-pequeños y pinchar 2 gráficas se hace en cualquier placa aunque no sea de gama servidor, pero 8 ya es más complicado. La solución más barata para comenzar quizás sea con NVidia Tesla P40, tienen 16GB y te puedes montar 2 en cualquier placa (pero claro depende también a que precio se encuentren, ahora hay un boom del LLM y creo que han subido en el mercado de segunda mano, hace 1 año yo creo que por 150Euros las encontrabas)


Como puedes ver opciones hay muchas y también dependen del modelo LLM que tengas en mente usar, si se pretende sustituir a opciones online comerciales como digo los modelos de 70B son cada vez mejores, pero necesitas 2 gráficas de 24GB para que vayan mínimamente decentes. Claro hay modelos pequeños de menos de 10B que puedes correr en gráficas con 12GB de VRAM por ejemplo, pero la diferencia entre usar uno de 10B o de 70B es como el día y la noche, el de 10B te va a dar la impresión de estar hablando con el tipo más tonto del pueblo o a un programador con alguna tara mental... y los buenos de 70B ya hoy día están al nivel de lo que era ChapGPT 4 y siguen en progresión.

[chipster]

Pregunto desde el desconocimiento, ¿es viable cargar un modelo de esos de 70B apoyándose en RAM?
Por ejemplo montar 128GB de RAM y que la GPU acceda a ella, o penaliza demasiado la velocidad del PCIE.
Saludos.

[telekito]

Pregunto desde el desconocimiento, ¿es viable cargar un modelo de esos de 70B apoyándose en RAM?
Por ejemplo montar 128GB de RAM y que la GPU acceda a ella, o penaliza demasiado la velocidad del PCIE.
Saludos.

Penaliza muchísimo, aunque a veces no queda otra.

Al final en LLM el ancho de banda de la ram es el cuello de botella, mucho más que la potencia del procesador por eso algunos usan la CPU si tienen un servidor Octa Channel para la RAM pues se pueden plantear hacer eso y siguen teniendo un rendimiento aceptable (aunque no como usando varias GPU de gama alta claro).

[Omar_AntroS]

Pregunto desde el desconocimiento, ¿es viable cargar un modelo de esos de 70B apoyándose en RAM?
Por ejemplo montar 128GB de RAM y que la GPU acceda a ella, o penaliza demasiado la velocidad del PCIE.
Saludos.

Yo iria en un inicio por una o dos 4060Ti de 16G, mas ahora que se veran de segunda ensambles fresquitos a mejor precio

Lo de usar la ram, pues una 3060 ya tiene mas ancho de banda de 8 canales de ddr5, no sale muy a cuento...

La ultima Tesla blackwell tiene 196Gb de memoria HBM3E con 4 teras de ancho de banda, mas del doble de veloz y 6 veces mas cantidad que una 5090, una salvajada

Salu2