README.de.md

Ein Open-Source-Framework zum Beobachten von ML-Anwendungen, das für Ingenieure entwickelt wurde

Dokumente - Versuch es - Unterstützen Sie die Gemeinschaft - Fehlerbericht - Featureanfrage

Lesen Sie dies in anderen Sprachen:

UpTrain ist ein datensicheres Open-Source-Tool für ML-Praktiker, um ihre ML-Modelle zu beobachten und zu verfeinern, indem sie ihre Leistung überwachen, auf (Daten) Verteilungsverschiebungen prüfen und Grenzfälle sammeln, um sie neu zu schulen. Es lässt sich nahtlos in Ihre bestehenden Produktionspipelines integrieren und ist in wenigen Minuten einsatzbereit ⚡.

Hauptmerkmale 💡

• Datendrift-Checks - Identifizieren Sie Verteilungsverschiebungen in Ihren Modelleingaben.
• Leistungsüberwachung - Verfolgen Sie die Leistung Ihrer Modelle in Echtzeit und erhalten Sie Verschlechterungswarnungen.
• Einbettungsunterstützung - Spezialisierte Dashboards zum Verständnis der vom Modell abgeleiteten Einbettungen.
• Edge-Case-Signale - Benutzerdefinierte Signale und statistische Techniken zur Erkennung von Datenpunkten außerhalb der Verteilung.
• Datenintegritätsprüfungen - Überprüfung auf fehlende oder inkonsistente Daten, doppelte Aufzeichnungen, Datenqualität usw.
• Customizable metrics - Definieren Sie benutzerdefinierte Metriken, die für Ihren Anwendungsfall sinnvoll sind.
• Automatisierte Umschulung - Automatisieren Sie das Neutraining von Modellen, indem Sie Ihre Trainings- und Inferenz-Pipelines anhängen.
• Modellverzerrung - Verfolgen Sie Verzerrungen in den Vorhersagen Ihres ML-Modells.
• AI-Erklärbarkeit - Verstehen Sie die relative Bedeutung mehrerer Merkmale für Vorhersagen.
• Datensicherheit - Ihre Daten verlassen niemals Ihre Maschine.
• Slack-Integration - Erhalten Sie Benachrichtigungen zu Slack.
• Echtzeit-Dashboards - Um die Gesundheit Ihres Modells live zu visualisieren.

🚨Demnächst🚨

• Etikettenverschiebung - Identifizieren Sie Abweichungen in Ihren Vorhersagen. Besonders nützlich in Fällen, in denen Ground Truth nicht verfügbar ist.
• Modellkonfidenzintervall - Konfidenzintervalle für Modellvorhersagen
• Fortgeschrittene Drifterkennungstechniken - Ausreißerbasierte Drifterkennungsmethoden
• Erweitertes Feature-Slicing - Fähigkeit, statistische Eigenschaften aufzuteilen
• Kolmogorov-Smirnov-Test - Zur Erkennung von Verteilungsverschiebungen
• Vorhersagestabilität - Filtern Sie Fälle, in denen die Modellvorhersage nicht stabil ist.
• Kontradiktorische Kontrollen - Bekämpfe gegnerische Angriffe

Und mehr.

Fang an 🙌

Sie können schnell loslegen Google Colab hier.

Führen Sie die folgenden Schritte aus, um es auf Ihrem Computer auszuführen:

Installieren Sie das Paket über pip:

pip install uptrain

Führen Sie Ihr erstes Beispiel aus:

git clone [email protected]:uptrain-ai/uptrain.git
cd uptrain/examples
pip install jupyterlab
jupyter lab

Eine kurze Anleitung zur Funktionsweise von UpTrain finden Sie in unserem Schnellstart-Tutorial.

UpTrain ein Aktion🎬

Einer der häufigsten Anwendungsfälle von ML sind heute Sprachmodelle, sei es Textzusammenfassung, NER, Chatbots, Sprachübersetzung usw. UpTrain bietet Möglichkeiten zur Visualisierung von Unterschieden in den Trainings- und realen Daten über UMAP-Clustering von Texteinbettungen (inferred von BERT). Es folgen einige Wiederholungen aus dem UpTrain-Dashboard.

AI-Erklärbarkeit out-of-the-box

Live-Modellleistungsüberwachung und Datenintegritätsprüfungen

UMAP-Dimensionsreduktion und Visualisierung

Edge-Case-Sammlung zur späteren Feinabstimmung des Modells

Warum UpTrain 🤔?

Modelle für maschinelles Lernen (ML) werden häufig verwendet, um wichtige Geschäftsentscheidungen zu treffen. Dennoch ist kein ML-Modell zu 100 % genau, und außerdem nimmt seine Genauigkeit mit der Zeit ab 😣. Beispielsweise wird die Verkaufsvorhersage im Laufe der Zeit aufgrund einer Änderung der Kaufgewohnheiten der Verbraucher ungenau. Darüber hinaus ist es aufgrund der Black-Box-Natur von ML-Modellen schwierig, ihre Probleme zu identifizieren und zu beheben.

UpTrain löst dies. Wir machen es Data Scientists und ML-Ingenieuren leicht zu verstehen, wo ihre Modelle schief gehen, und helfen ihnen, sie zu beheben, bevor sich andere beschweren 🗣️.

UpTrain kann für eine Vielzahl von maschinellen Lernmodellen wie LLMs, Empfehlungsmodelle, Vorhersagemodelle, Computer-Vision-Modelle usw. verwendet werden.

Wir arbeiten ständig daran, UpTrain besser zu machen. Möchten Sie eine neue Funktion oder benötigen Sie Integrationen? Fühlen sich frei create an issue oder beitragen direkt ins Depot.

Lizenz 💻

Dieses Repo wird unter der Apache 2.0-Lizenz veröffentlicht. Wir konzentrieren uns derzeit auf die Entwicklung von Nicht-Unternehmensangeboten, die die meisten Anwendungsfälle abdecken sollten, indem wir mehr Funktionen hinzufügen und auf mehr Modelle ausdehnen. Wir arbeiten auch daran, ein gehostetes Angebot hinzuzufügen - kontaktiere uns wenn Sie interessiert sind.

Stay Updated ☎️

Wir fügen kontinuierlich Tonnen von Funktionen und Anwendungsfällen hinzu. Bitte unterstützen Sie uns, indem Sie dem Projekt einen Stern ⭐ geben!

Feedback geben (härter desto besser 😉)

Wir bauen UpTrain öffentlich auf. Helfen Sie uns, uns zu verbessern, indem Sie Ihr Feedback geben Hier.

Mitwirkende 🖥️

Wir freuen uns über Beiträge zu UpTrain. Bitte sehen Sie sich unsere an Beitragsleitfaden für Details.