Verteiltes virtuelles Speichersystem Alluxio

Alles im Fluss

von Thomas Joos

Alluxio ist ein virtuelles Dateisystem und ermöglicht es Anwendungen zur Datenanalyse, mit einer einzigen Schnittstelle auf eine Vielzahl an lokalen und Cloud-Speichersystemen zuzugreifen. Außerdem kann Alluxio als Cache-Speicher genutzt werden, der Daten schneller zur Verfügung stellt als die originale Quelle.

Aus IT-Administrator 08/2019

Kommerzielle Software von der Stange oder quelloffene Produkte, die lizenzkostenfrei und flexibler sind, dafür aber oft entsprechendes Know-how voraussetzen? ... (mehr)

Alluxio [1] wird unter der Apache-2.0-Lizenz als kostenlose Community-Edition bereitgestellt. Im Fokus des Systems steht die Anbindung von Big-Data-Lösungen wie zum Beispiel Hadoop oder anderen Systemen, die große Datenmengen verarbeiten müssen. Dazu verbindet sich ein solches System mit Alluxio, an das seinerseits wiederum die verschiedenen Datenquellen angebunden sind. Alluxio kann diese Informationen anschließend für die jeweilige Anwendung bereitstellen.

Umfangreiches Ökosystem

Alluxio unterstützt zahlreiche Storage-Systeme. Diese müssen nicht unbedingt mit dem Hadoop Distributed File System (HDFS) betrieben werden, auch Amazon S3 oder Swift lassen sich ebenso uneingeschränkt nutzen wie lokale Dateisysteme und Clouddienste wie AWS S3, Google Cloud oder Microsoft Azure. Die Daten werden über APIs an die verarbeitenden Anwendungen ausgeliefert. Beispiele dafür sind Hadoop, Spark, Hive, TensorFlow oder Presto. Als Schnittstelle bietet Alluxio eigene APIs, aber auch APIs für Hadoop, AWS S3, REST und FUSE. Datenanalyseapplikationen wie Spark und MapReduce können ohne Code-Änderung mit

...

Der komplette Artikel ist nur für Abonnenten des ADMIN Archiv-Abos verfügbar.