Hadoop Distributed File System (HDFS)

Autor: Judy Howell
Erstelldatum: 28 Juli 2021
Aktualisierungsdatum: 1 Juli 2024
Anonim
What is HDFS | Hadoop Distributed File System (HDFS) Introduction | Hadoop Training | Edureka
Video: What is HDFS | Hadoop Distributed File System (HDFS) Introduction | Hadoop Training | Edureka

Inhalt

Definition - Was bedeutet Hadoop Distributed File System (HDFS)?

Das Hadoop Distributed File System (HDFS) ist ein verteiltes Dateisystem, das auf Standard- oder Low-End-Hardware ausgeführt wird. HDFS wurde von Apache Hadoop entwickelt und funktioniert wie ein standardmäßiges verteiltes Dateisystem, bietet jedoch einen besseren Datendurchsatz und Zugriff durch den MapReduce-Algorithmus, hohe Fehlertoleranz und native Unterstützung großer Datenmengen.


Eine Einführung in Microsoft Azure und die Microsoft Cloud | In diesem Handbuch erfahren Sie, worum es beim Cloud-Computing geht und wie Microsoft Azure Sie bei der Migration und Ausführung Ihres Unternehmens aus der Cloud unterstützen kann.

Techopedia erklärt das Hadoop Distributed File System (HDFS)

Das HDFS speichert eine große Datenmenge auf mehreren Computern, normalerweise in Hunderten und Tausenden von gleichzeitig verbundenen Knoten, und bietet Datenzuverlässigkeit, indem jede Dateninstanz als drei verschiedene Kopien repliziert wird - zwei in einer Gruppe und eine in einer anderen. Diese Kopien können im Falle eines Fehlers ersetzt werden.

Die HDFS-Architektur besteht aus Clustern, auf die jeweils über ein einzelnes NameNode-Softwaretool zugegriffen wird, das auf einem separaten Computer installiert ist, um das Dateisystem und den Benutzerzugriffsmechanismus dieses Clusters zu überwachen und zu verwalten. Die anderen Computer installieren eine Instanz von DataNode, um den Clusterspeicher zu verwalten.


Da HDFS in Java geschrieben ist, werden Java-APIs (Application Programming Interfaces) für die Anwendungsintegration und die Barrierefreiheit nativ unterstützt. Der Zugriff ist auch über Standard-Webbrowser möglich.