Kleiner KI Server

[lakosta]

Hallo zusammen,
ich möchte einen kleinen Server bauen, auf dem ich einigermaßen potente LLMs lokal laufen lassen kann. Da die wichtigste Komponente die GPUs sind, würde ich gerne auf zwei (gebrauchte) rtx 3090 zurückgreifen, was mir in Summe 48 GB VRAM bringt. Ich denke, das sollte ausreichen, um ein gutes Sprachmodell lokal laufen zu lassen und auch Spielereien im Bereich Bildgenerierung sollten möglich sein, wenn man ein wenig auf das Ergebnis warten kann. Jetzt ist die Frage, wie das restliche Setup aussehen könnte. Kennt sich hier jemand besser aus als ich? Mein erster Versuch hat dieses Ergebnis (habe ich was vergessen?)
Vielen Dank schon mal für euer Feedback.

1	Gehäuse	Corsair 4000D Airflow
2	CPU	AMD Ryzen 9 5900X
3	Mainboard	MSI B550-A PRO
4	RAM	4x 32GB DDR4-3600
5	GPU 1	EVGA RTX 3090 FTW3 (gebraucht)
6	GPU 2	EVGA RTX 3090 FTW3 (gebraucht)
7	CPU-Kühler	be quiet! Dark Rock Pro 4
8	Netzteil	1200W
9	Storage	1TB NVMe/SSD

 

[Nobbi56]

Hallo,

ich kenne mich mit KI Anwendungen nicht aus, würde aber jedenfalls nicht mehr auf die veraltete AM 4 Plattform setzen, allein schon deshalb, weil die nicht mehr aufrüstbar wäre.

Vermutlich wäre hier auch ein Intel-System nicht schlecht, aber der aktuelle Intel Sockel LGA 1851 soll ebenfalls in 1 Jahr abgelöst werden, deshalb würde ich auf den Sockel AM 5 setzen, der zumindest noch mit der nächste Ryzen-Generation kompatibel sein wird.

CPU: https://geizhals.de/amd-ryzen-7-9700x-100-100001404wof-a3202557.html
Mainboard: https://geizhals.de/msi-b650-gaming-plus-wifi-7e26-001r-a2975546.html?hloc=de
RAM: https://geizhals.de/kingston-fury-b...28gb-kf556c36bbeak2-128-a3507022.html?hloc=de

RAM ist leider seit kurzem extrem teuer geworden wg. starker Nachfrage von KI-Firmen, wenn du 128 GB brauchst, musst du leider tief in die Tasche greifen...

Der 9700X hst zwar nur 8 Kerne, erreicht aber in Multicore-Anwendungen sogar eine höhere Leistung als der 5900X, da AMD die Einzuelkernleistung von Zen 3 auf Zen 4 deutlich steigern konnte:




Du müsstest das Budget zwar etwas aufstocken, wobei du aber den teureren RAM zumindest tw. durch die günstigere CPU refinanzieren kannst, und zudem ist DDR 5 natürlich um einiges schneller als DDR 4. Und für den Aufpreis bekommst du halt die aktuelle Technik und eine verbesserte Aufrüstoption.

LG N.