Hi,
ich beschäftige mich aktuell mit einem ähnlichen Thema. Ziel ist ein privates LLM mit RAG, das möglichst große Modelle lokal betreiben kann, ohne ständig in irgendwelche Kompromisse zu laufen.
Nach allem, was ich bisher recherchiert habe, ist für lokale KI-Anwendungen vor allem die GPU...