Ein Vater braucht Hilfe für PC für lokale KI-Anwendungen.

[stimme-fuer-vaeter]

Hallo an euch.
Ich weiß nicht, ob das der richtige Ort für meine Frage ist. Zum Hintergrund, ich kämpfe um meine Tochter und habe das Problem, dass ich mir keinen Anwalt leisten kann.

Ich brauche daher die Möglichkeit, die Massen an Akten und Gutachten mittels KI durchzuarbeiten. Allerdings möchte ich diese nicht Akten, vor allem zum Schutz meiner Tochter, an eine Cloud oder ähnliche Anbieter hochladen. So bleibt leider nur ein lokaler PC.

Für manche Anwendungen wie OlmOCR brauche ich allerdings min. 16GB VRam. Sowie benötige ich eine lokale KI, um die Akten durchzuarbeiten und inhaltlich zu vergleichen. Ich will absolut nicht mit dem PC spielen. Nur einmal die Akten durcharbeiten. Auch brauche ich eigentlich den PC nicht dauerhaft. Nur für diesen Zweck, welcher vielleicht 1 oder 2 Wochen braucht. So hoffe ich. Ich kann ihn auch leider nicht finanzieren.

Ich suche nun Hilfe, was ich für Komponenten benötige. Am besten vielleicht gebraucht. So passend und gut wie möglich, aber leider aufgrund der Lebenssituation so günstig wie möglich.

Alternativ vielleicht kennt jemand einen guten Leih-Service. Die Preise und Anbieter, welche ich gefunden habe, sind fast schon so teuer wie ein gebrauchter PC.

Ich hoffe, ihr könnt und würdet mir helfen. Vielen Dank

 

[Nobbi56]

Hallo,

auch brauche ich eigentlich den PC nicht dauerhaft. Nur für diesen Zweck, welcher vielleicht 1 oder 2 Wochen braucht.

In diesem Fall wäre mein Rat, mal dieses "1-Mann-Unternehmen" zu kontaktieren, ob man dir ein passendes und genau auf deine Bedürfnisse ausgerichtete Angebot machen kann:

Kontakt - Zed Up Gaming-PCs

Komme in Kontakt mit Zed Up Gaming PC. Per E-Mail, Telefon oder Whatsapp stehen wir die gerne jederzeit für Fragen und Tipps zur Verfügung.

www.zed-up.de

Der Inhaber stellt die PC selbst individuell zusammen (sofenr möglich und für ihn finanziell lohnend) und hat sich auf die Vermietung von PCs und sonstiger Hardware spezialisiert. Er wirbst zwar für Gaming-PCs, bietet aber auch Workstation-PCs an, die für dich evtl. besser geeignet wäüren. Wie gesagt, am besten mal mit ihm persönlich abklären, was eine optimale Lösung wäre.

Das könnte dich, wnen es passt, deutlich billiger kommen als einen gleichwertigen PC zu kaufen, zumal in der aktuellen Hochpreis-Phase.

LG N.

 

[stimme-fuer-vaeter]

Hallo Nobbie und danke für deinen Hinweis. Hast du denn auch vielleicht Infos, welche Grafikkarte für meine Anforderungen passen würde? Muss es unbedingt eine aktuelle sein mit 16GB oder kann es auch eine ältere sein? Danke

 

[505BOSNJAKZ0R]

Hallo Nobbie und danke für deinen Hinweis. Hast du denn auch vielleicht Infos, welche Grafikkarte für meine Anforderungen passen würde? Muss es unbedingt eine aktuelle sein mit 16GB oder kann es auch eine ältere sein? Danke

Ich habe ein AI-Rig bzw. eine Workstation mit 2x 3090 24 GB VRAM. Eine 3090 ist gebraucht mit ca. im günstigsten Fall 700€ (bei uns in Österreich), im Durchschnitt jedoch 800€ zu bekommen. Dafür kriegst du bei ihm ein Monsterrig bzw. eine Monsterworkstation für 1.000€ gemietet.
Bedenke, dass du für ein Eigenen auch RAM, Motherboard etc. brauchst. Eine Workstation wird dich mit einer gescheiten Konfiguration mindestens 2.000€ kosten.

Ich denke nicht, dass für diese 1-2 Wochen du so viel Geld ausgeben solltest.

Zed Up Render PC mieten - 2x RTX 4090, AMD Threadripper

Workstation PC versandkostenfrei mieten. Ideal für Messen, Ausstellungen, Events, Bildbearbeitung, Videobearbeitung und professionelles Arbeiten.

www.zed-up.de

Der hier reicht dir mit 48 GB VRAM für 2 Wochen 1000€ für große Modelle schon komplett.

Alternativ: https://www.zed-up.de/p/zed-up-itx-workstation-pc-mieten-amd-epyc-4464p-14-tage

ist auch nicht soo teuer. Mit einer 24 GB VRAM Grafikkarte kannst du auch schon gute Modelle laden..

Ich weiß nur nicht, welches Modell für deutsches Recht gut ist, ich kenne mich mit Coding-Modellen aus.. aber nur weil sie Coding können,
heißt es nicht, dass diese auch gut mit Texten und Gesetzen umgehen können.. Müsstest du vermutlich auch über Reddit informieren..

 

[Nobbi56]

Hallo,

leider kenne ich mich mit KI Anwendungen NULL aus Deshalb habe ich die Google KI (sic!) mal nach den Hardwarenaforderungen der OlmOCR Software befragt und diese Antwort erhalten:

"Für den Betrieb von olmocr (basierend auf dem Qwen2.5-VL-Modell) via Ollama gelten folgende Hardwarevorgaben: [1]
Minimale Anforderungen:

• RAM: 10 GB
• Festplattenspeicher: 9 GB freier Speicherplatz für das Modell [1]

Empfohlene Anforderungen (für flüssigen Betrieb):

• RAM: 16 GB
• Hardware-Beschleunigung: Apple Silicon (M1/M2/M3/M4) oder eine dedizierte NVIDIA-GPU mit Metal- oder CUDA-Unterstützung [1]

Weitere Details zu den Modellen findest du direkt auf der Ollama-Seite für olmocr2."

Evtl. solltest du auch noch mal den am Ende genannten Link checken.

Demnach sollte ein Apple Mac Mini mit einem der genannten Prozessoren (dürften allerdings auch gebraucht recht teuer sien) oder ein Windows-PC mit einer nVidia GPU die beste Lösung sein. Wobei leider nVidia GPUs mit mind. 16 GB VRAM ebenfalls nicht prteiswert zu bekommen sind, die "günstigste" wäre vermutlich die RTX 5060Ti 16 GB, die man neu ab ca. 520 € bekommt, oder eine grbrauchte RTX 3090/Ti (hat sogar 24 GB), 4060Ti 16 GB oder 4080/Super.

Am besten, du stimmst dich mal mit dem : Clemens Gäfgen, dem Inhaber von Zed Up dahigehend ab, ob und was er dir passendes zu welchen Konditionen anbieten kann. Falls sich da nichts ergeben sollte, müssten wir nach einer anderen Lösung schauen. Fürt einen neuen Fertig-PC mit einer RTX 5060Ti 16 GB müsstest du ab ca. 1.300 € rechnen, mit Selbstbau könnte man aber vermutlich noch einiges sparen. Was am Gebrauchtmarkt für Apple Mac Minis aufgerufen wird, weiß ich leider nicht. Aber ob die überhaupt mit nViddia GPUs ab 16 GB VRAM erhältlich sind, ist ohnehin fraglich und falls ja, sind sie vermutlich nicht billig.

Zed Up produziert auch regelmäßig Streams, in denen er oft PCs für Kuinden live zusammenbaut, kannst ja mal reinschnuppern:

Zed Up PC Streams

Teile deine Videos mit Freunden, Verwandten oder der ganzen Welt

www.youtube.com

LG N.

 

[505BOSNJAKZ0R]

Domain-Adaptation through Synthetic Data: Fine-Tuning Large Language Models for German Law

DomainLLM/gemma-3-12b-it-german-law-finetuned · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Gibt auch über huggingface.co lokale KI-Modelle, die du auf Grafikkarten laden kannst und dann läuft das KI-Modell über die Grafikkarte.

"
We build training supervision from German legal text with explicit provenance and identifiers. We use the statutory texts from the most common german laws, namely the Bürgerliches Gesetzbuch (BGB) which is the German Civil Code, the Strafgesetzbuch (StGB) which is the Criminal Code, the Sozialgesetzbuch (SGB) which is the Social Code, and the Grundgesetz (GG) which is the Basic Law. For statutory material, we normalize each provision into a canonical record:

• •
  law identifier (e.g., BGB, StGB, SGB, GG),
• •
  section identifier (e.g., § 433),
• •
  section text (German).

This representation ensures that generated answers can explicitly reference the correct authority (law + section). For evaluation set construction (Section 4), we additionally use the German portion of LegalMC4 (European Language Resources Association (ELRA), 2023), which contains heterogeneous legal web documents. Across sources, we preserve the original passage boundaries and identifiers so that every QA pair can be audited against a fixed input span."

Wie gut das alles funktioniert, keine Ahnung - habe da auch nie was gebraucht.. Ich weiß nicht, wie bewandert du mit KI, huggingface, vLLM bist - wenn wenig bis gar nicht, wird das auch Konfigurationsarbeit sein, damit das auch auf dem Rechner läuft...

Aber diese Option gibt es eben auch, spezialisiert trainierte Modelle fürs deutsche Recht zu benutzen.

 

[stimme-fuer-vaeter]

Wie es scheint, ist es schwer ein solches System sich zu leihen, da es von den Leihgebühren sich einem Kauf fast schon gleichstellt. Ich denke es bleibt so keine andere Wahl, als ein Clouddienst zu nutzen und damit leben zu müssen, dass sämtliche Akten hochgeladen und eventuell verwendet werden. Danke aber für eure Mühen