Hallo zusammen,
ich möchte einen kleinen Server bauen, auf dem ich einigermaßen potente LLMs lokal laufen lassen kann. Da die wichtigste Komponente die GPUs sind, würde ich gerne auf zwei (gebrauchte) rtx 3090 zurückgreifen, was mir in Summe 48 GB VRAM bringt. Ich denke, das sollte ausreichen...