Data Lake vereinfachen: Teradata Loom für Apache Hadoop

Hadoop ist kompliziert geworden – genauer: Die Quellen aus denen Hadoop gespeist wird. Teradata will nun mit der “Teradata Loom Community Edition” die Verwaltung der Hadoop-Daten deutlich vereinfachen. Loom wird kostenlos und vorinstalliert mit der Hortonworks-Sandbox und mit Cloudera QuickStart VM für den nicht-produktiven Einsatz zur Verfügung gestellt, damit Anwender es ausführlich testen können. Das neue Tool gäbe Business-Analysten und Data Scientists eine leicht handhabbare Lösung für das Datenmanagement in Hadoop an die Hand, um Daten zu finden, nachzuvollziehen und zurückzuverfolgen. Sie ist ab November 2014 verfügbar.

Datensee verwandelt sich schnell in einen Datensumpf

Laut Chris Twogood, Vice President Product & Services bei Teradata, hat jeder schon einmal von der Data Lake Architektur gehört. Das Problem dabei: Wenn die Daten aus vielen verschiedenen Quellen stammen, ist nicht immer erkennbar, woher sie stammen, wie korrekt sie sind und ob sie auf dem neuesten Stand seien. Das war in den Anfangszeiten von Hadoop nicht so schlimm, weil die meisten Hadoop-Cluster nur eine einzige Datenquelle hatten, beispielsweise Web-Log-Daten. Heute werde das aber immer mehr zum Problem, sagt Twogood, weil Hadoop-Anbieter und Kunden eher den Data Lake Ansatz verfolgen.

“Wir kombinieren Data Wrangling, Datenverlauf und Metadaten in einem einzigen Produkt mit einheitlicher Benutzeroberfläche, umfassenden Suchfunktionen und einem offenen REST-API als Frontend zur Umgebung“, sagt Twogood. Das Produkt liefert automatische Erkennung und Prüfung neuer Daten in einem Cluster, stößt die externe Verarbeitung an und sammelt automatisch Metadaten über einen Job, wie Datenverlauf und Statistik. Es fragt auch die YARN-Jobhistorie für den Datenverlauf ab und bietet moderne Benutzerschnittstellen für die Exploration, das Profiling und die Vorbereitung der Daten.

Woher kommen die Daten wirklich?

Die Teradata Loom Community Edition wird mit Support der Community zur Verfügung stehen, außerdem wird eine vollständige Version von Teradata Loom mit allen Funktionen auf Abonnements-Basis angeboten werden.

Mit Features wie Data Lineage zur Darstellung der Datenherkunft, integrierten Metadaten und Datentransformation schafft Teradata Loom über eine browserbasierte Schnittstelle die nötige Struktur und Kontrolle für den erfolgreichen Einsatz von Big Data. Gleichzeitig lassen sich damit die Herausforderungen bei Datenqualität, -sicherheit und -Governance bewältigen. So können Unternehmen Hadoop auch als sogenannten „Data Lake“ implementieren, also als Speicherort für Rohdaten aus diversen Quellen. Teradata Loom ergänzt die Teradata Unified Data Architecture (UDA) und ist voll mit ihren Komponenten, dem Teradata Portfolio for Hadoop, der Teradata Aster Database und der Teradata Database, integriert.

„Unternehmen müssen vermeiden, dass sich ihr Datensee unversehens in einen trüben Datensumpf verwandelt“, sagte Hermann Wimmer, Vorstand International, Teradata. „Teradata Loom steht deshalb für bessere Data Governance, schnellen Zugriff auf Big Data und damit für massiv verkürzte Projektlaufzeiten, was explorative Analysen mit Hadoop weiter vereinfacht.“

Loom Versionen: Kostenlos oder Vollversion

Mit der Teradata Loom Community Edition stellt das Unternehmen eine kostenlose Version zum Download bereit, die mit den führenden Hadoop-Distributionen, der Hortonworks Data Platform und der Cloudera Distribution für Hadoop, kompatibel ist. Support erhalten Anwender von der Hadoop Community beim Teradata Developer Exchange. Eine nicht für den produktiven Einsatz vorgesehene Version davon ist als eigenständige Software-Lösung oder mit der Hortonworks Sandbox oder Cloudera QuickStart VM vorinstalliert erhältlich. Sie steht seit dem 15. Oktober 2014 unter www.teradata.com/tryloom zum Download bereit. Eine Produktivversion der Teradata Loom Community Edition mit ausgewählten Features steht ab November zum Download zur Verfügung.
Teradata Loom ist die Vollversion für Unternehmen mit dem kompletten Funktionsumfang und Support. Sie beinhaltet eine unbeschränkte Kapazität im Sinn der benötigten Datenknoten, Teradata Loom Data Sets und Operations zur Datentransformation. Diese Version wird ebenfalls ab November 2014 verfügbar sein.

Entwickler finden hier weitere Informationen zu Loom.