Tipp: Facetten, Clustering und Reconciliation im praktischen Einsatz OpenRefine bereinigt und transformiert tabellarische Daten

Anbieter zum Thema

FAST LTA GmbH

Impossible Cloud GmbH

OpenRefine ordnet unstrukturierte Tabellen, vereinheitlicht abweichende Schreibweisen und reichert Datensätze über Webdienste an. Die Verarbeitung bleibt lokal im Browser, jeder Arbeitsschritt landet im Protokoll und lässt sich auf weitere Bestände übertragen. Die Software steht frei unter Open-Source-Lizenz.

OpenRefine läuft unter Windows, Linux und macOS, setzt eine Java-Laufzeitumgebung voraus und startet einen lokalen Webserver, den der Anwender im Browser unter der Adresse „127.0.0.1:3333“ bedient. Die Wurzeln reichen zu Freebase Gridworks und Google Refine zurück, heute treibt eine internationale Open-Source-Community die Entwicklung voran. Im Fokus stehen Inventarlisten, Asset-Bestände, CSV-Exporte, CMDB-Daten und Auszüge aus Fachanwendungen, also genau die heterogenen Tabellen, die beim Import in Zielsysteme Probleme bereiten.

Projekt anlegen und Daten importieren

Jede Bearbeitung startet als eigenständiges Projekt. OpenRefine liest CSV, TSV, Excel-Dateien, JSON, XML und Inhalte aus Datenbanken. Beim Import legt der Anwender Trennzeichen, Zeichenkodierung und Kopfzeile fest und kontrolliert die Vorschau, bevor das Projekt entsteht. Die Originaldatei bleibt unangetastet, sämtliche Änderungen wirken nur in der Projektumgebung. Auf diese Weise verarbeitet das Tool auch große Bestände ohne Risiko für die Quelle.

Facetten filtern große Bestände

Facetten zerlegen einen Datensatz nach Werten einer Spalte und schaffen gefilterte Sichten. Eine Textfacette zeigt alle Ausprägungen samt Häufigkeit, eine numerische Facette spannt einen Wertebereich auf, eine Zeitfacette ordnet nach Datum. Über das Spaltenmenü und „Facet“ entsteht der jeweilige Filter. Jede Massenbearbeitung greift danach nur auf die sichtbare Auswahl zu, was Fehlerquellen bei der Korrektur reduziert. Eigene Facetten lassen sich über GREL-Ausdrücke definieren und treffen damit auch komplexe Bedingungen.

Clustering führt ähnliche Werte zusammen

Abweichende Schreibweisen desselben Begriffs gehören zu den häufigsten Mängeln in gewachsenen Tabellen. Über „Cluster and edit“ im Spaltenmenü gruppiert OpenRefine verwandte Ausprägungen und schlägt einen einheitlichen Zielwert vor. Zwei Verfahrensfamilien stehen bereit.

• Key Collision: Fingerprint- und n-gram-Methoden normalisieren jeden Wert zu einem Schlüssel und gruppieren Treffer mit identischem Schlüssel – schnell und treffsicher bei Tippfehlern und vertauschten Wortteilen.

• Nearest Neighbor: Levenshtein-Distanz und PPM bewerten Ähnlichkeit zeichenweise und erfassen feinere Abweichungen – geeignet für überschaubare Spalten mit hohem Genauigkeitsbedarf.

Der Ablauf folgt der Kette „Cluster and edit“ öffnen -> Methode wählen -> Vorschläge prüfen -> Zielwert bestätigen -> zusammenführen. Vor der Übernahme kontrolliert der Anwender jede Gruppe, falsche Treffer bleiben außen vor.

GREL-Transformationen für die Massenbearbeitung

Die General Refine Expression Language (GREL) steuert wiederholbare Änderungen über ganze Spalten. Funktionen wie „value.trim()“, „toTitlecase()“ oder „replace()“ säubern Inhalte, splitten Felder oder leiten neue Spalten aus vorhandenen ab. Der Aufruf läuft über „Edit cells“ -> „Transform“ -> GREL-Ausdruck eingeben -> Vorschau prüfen -> anwenden. Die Vorschau zeigt das Ergebnis vor der Ausführung, was auch umfangreiche Umbauten kontrollierbar macht. Spalten teilt und kombiniert OpenRefine ebenfalls über Menüfunktionen, ohne dass externe Skripte nötig werden.

Reconciliation gegen externe Datenbanken

Die Reconciliation gleicht Werte gegen externe Wissensbasen ab und ordnet ihnen eindeutige Identifikatoren zu. Standardmäßig steht Wikidata bereit, weitere Reconciliation-Dienste binden sich über ihre Endpunkt-Adresse ein. Über „Reconcile“ -> „Start reconciling“ -> Dienst wählen -> Typ zuordnen -> Treffer bestätigen verknüpft das Tool jeden Eintrag mit einem Kandidaten samt Bewertungsscore. Aus den Treffern holt OpenRefine zusätzliche Attribute in neue Spalten und reichert den Bestand mit verlässlichen Referenzdaten an.

Verlauf, Export und Wiederverwendung

Ein unbegrenztes Undo und Redo führt jeden Datensatz auf jeden früheren Zustand zurück. Der vollständige Operationsverlauf liegt als JSON vor und überträgt sich auf neue Tabellen mit identischer Struktur, was wiederkehrende Bereinigungen automatisiert. Fertige Projekte exportiert die Software nach CSV, Excel, HTML oder in weitere Formate, ein Upload nach Wikidata und kompatible Wikibase-Instanzen ergänzt das Spektrum. Da die gesamte Verarbeitung auf dem lokalen Rechner abläuft, verlassen die Daten zu keinem Zeitpunkt das eigene System.

Aktuelles E-Book

Datenmigration – so funktioniert der Storage-Umzug

Im Zuge der Digitalisierung ändern sich die Anforderungen an Storage-Systeme. Sie müssen leistungsfähiger, skalierbarer und insgesamt flexibler sein. Unternehmen führen neue Systeme wie etwa All-Flash-Arrays ein, verlagern Dienstleistungen der IT-Abteilung in die Public- oder Hybrid-Cloud, ziehen sogar das Rechenzentrum um und erkennen möglicherweise die Chance oder die Notwendigkeit, IT-Services und Storage-Infrastruktur zu konsolidieren.

Die Themen im Überblick:

• Operation am offenen Herzen – Einleitung
• Wann eine Datenmigration nötig und sinnvoll ist
• Was bei der Datenmigration zu beachten ist
• Die konkrete Umsetzung der Datenmigration
• Sonderfälle und Fallstricke

E-Book „Datenmigration“ kostenlos downloaden

(ID:50881327)