On-Premises LLMs#

Ein konzeptioneller Vergleich von Cloud‑ und On‑Premises‑LLMs mit prototypischem Machbarkeitsnachweis

• Autor: Andreas Rieger
• Studiengang: Medieninformatik Online
• Hochschule: Berliner Hochschule für Technik
• Fachbereich: VI — Informatik und Medien
• Gutachter: wird gerne auf Anfrage genannt

Kurzfassung#

Die vorliegende Arbeit untersucht den Einsatz selbstgehosteter Large Language Models (LLMs) zur Unterstützung des Wissensmanagements in mittelständischen Unternehmen. Ausgangspunkt ist die wachsende Bedeutung von LLMs für die Optimierung sprachbasierter Wissensprozesse sowie die Abwägung zwischen Cloud‑Komfort und Risiken wie Abhängigkeit von Drittanbietern und Datenschutzauflagen. On‑Premises‑Modelle versprechen Datenhoheit und Unabhängigkeit, erfordern jedoch technische Expertise, Infrastruktur und organisatorische Anpassungen.

Im Rahmen dieser Arbeit wurde ein funktionsfähiger, RAG‑basierter Prototyp mit Open-Source-Komponenten in einer lokalen Umgebung umgesetzt, um die Machbarkeit und den praktischen Nutzen qualitativ zu bewerten. Das Ergebnis: On‑Premises‑Lösungen sind insbesondere bei hohen Anforderungen an Datenschutz, Datenhoheit und Compliance sinnvoll, während Cloud‑Modelle bei Leistung und Skalierbarkeit im Vorteil bleiben. Für typische KMU‑Szenarien erscheint ein hybrider Ansatz sinnvoll.

Schlüsselbegriffe: Large Language Models (LLMs), On‑Premises, Wissensmanagement, Mittelstand, Datenschutz, DSGVO, IT‑Sicherheit, Cloud vs. Self‑Hosting, Open‑Source‑Modelle, RAG, Datenhoheit, Compliance.

Abstract#

This mini bachelor thesis examines the use of self-hosted large language models (LLMs) to support knowledge management in medium-sized companies. The starting point is the growing importance of LLMs for optimising language-based knowledge processes and the trade-off between cloud convenience and risks such as dependence on third-party providers and data protection requirements. On-premises models promise data sovereignty and independence, but require technical expertise, infrastructure and organisational adjustments.

As part of this work, a functional, RAG-based prototype with open-source components was implemented in a local environment to qualitatively assess its feasibility and practical benefits. The result: on-premises solutions are particularly useful when there are high requirements for data protection, data sovereignty and compliance, while cloud models remain advantageous in terms of performance and scalability. For typical SME scenarios, a hybrid approach seems sensible.

Keywords: Large language models (LLMs), on-premises, knowledge management, SMEs, data protection, GDPR, IT security, cloud vs. self-hosting, open source models, RAG, data sovereignty, compliance.