Inhalt
- Was ist Datenarchitektur der nächsten Generation?
- Erwartungen von Hadoop an die Architektur der nächsten Generation
- Welche Werte kann Hadoop zur Datenarchitektur der nächsten Generation hinzufügen?
- Verbesserte Leistung als Unternehmensdatenarchitektur
- Unterschied zwischen Hadoop und anderen Technologien
- Fazit
Quelle: Romeo1232 / Dreamstime.com
Wegbringen:
Hadoop wird aufgrund seiner Fähigkeit, große Datenmengen zu verarbeiten, eine Schlüsselrolle in der Datenarchitektur der nächsten Generation spielen.
Das Hilfsprogramm von Hadoop geht mittlerweile über die Verarbeitung und Analyse von Big Data hinaus, da die Branche zunehmend höhere Anforderungen stellt. Hadoop erfüllt ständig die unterschiedlichsten Anforderungen in Bezug auf die Unternehmensdatenarchitektur und behält dabei seine ursprünglichen Stärken bei. Die Liste der Funktionen von Hadoop ist ziemlich lang. Hadoop ist jetzt in der Lage, große Mengen von Transaktions-Workloads zu verarbeiten, eine Aufgabe, die früher von traditionellen Technologien erwartet wurde. In Zukunft gibt es für Hadoop viele Möglichkeiten. Beispielsweise können auf SQL basierende Transaktionssysteme eine Hadoop SQL-Engine verwenden, und Hadoop wird auch viele RDBMS-Funktionen hinzufügen. Sie können sagen, dass Hadoop eine Mischung aus Datenverarbeitungs- und Analysefunktionen mit Funktionen der Unternehmensarchitektur wird.
Was ist Datenarchitektur der nächsten Generation?
Einfach ausgedrückt ist die Datenarchitektur der nächsten Generation eine weiterentwickelte Form der Datenarchitektur. Alles, einschließlich Datenmodelle, Datenrichtlinien, Regeln und Standards, die regeln, wie Daten gesammelt, gespeichert, angeordnet, analysiert oder verarbeitet, integriert, verwendet und verteilt werden, hat sich in der Datenarchitektur der nächsten Generation weiterentwickelt.
Der Hauptunterschied zwischen früherer Datenarchitektur und Datenarchitektur der nächsten Generation besteht in der Fähigkeit der Datenarchitektur, enorme Datenmengen, auch Big Data genannt, in Echtzeit zu erfassen, zu speichern und zu verarbeiten. Die Architektur erfüllt all diese komplexen Aufgaben, ohne dabei die Standards für Datenschutz, Sicherheit und Datenverwaltung zu beeinträchtigen.
Die Datenarchitektur der nächsten Generation ist mit vielen Herausforderungen konfrontiert. Es ist nicht einfach, mit dem Volumen, der Geschwindigkeit und der Vielfalt von Big Data umzugehen. Hinzu kommen die Anforderungen zur Optimierung der Systemauslastung, zur Verbesserung der Leistung, der Geschwindigkeit und Genauigkeit sowie zur Kostensenkung. Es erübrigt sich zu erwähnen, dass die vorhergehende Datenarchitektur solche Anforderungen nicht bewältigen musste.
Daher möchten CIOs und Informationsarchitekten eine Lösung finden, mit der sie ihre Ziele erreichen können. Operational Hadoop befasst sich seit einiger Zeit mit diesem Thema. In den folgenden Abschnitten wird erläutert, wie Operational Hadoop Probleme lösen kann.
Erwartungen von Hadoop an die Architektur der nächsten Generation
Die Unternehmen stehen zunehmend unter dem Druck, bessere Ergebnisse zu erzielen, und die Auswirkungen rinnen auf die Erwartungen, die an die Technologien gestellt werden. Es wird also nicht mehr erwartet, dass Hadoop nur Daten verarbeitet. CIOs und CTOs wollen mehr von Hadoop. Nachfolgend finden Sie eine Liste der Erwartungen von Hadoop. Tatsächlich hat Hadoop bereits einige dieser Erwartungen erfüllt.
Es wird erwartet, dass Hadoop mit Transaktionssystemen funktioniert, die auf SQL basieren und über Funktionen zum Erstellen, Lesen, Aktualisieren und Löschen verfügen. Die Transaktionssysteme werden die SQL-Engine nutzen. Die Systeme werden auch die POSIX-Konformität (Portable Operating System Interface) und die Fähigkeit zur Verarbeitung hoher Transaktionsvolumina aufweisen.
Es wird erwartet, dass Hadoop Funktionen wie Sicherung, Fehlertoleranz, Wiederherstellung und Notfallwiederherstellung unterstützt. Damit sich Hadoop zu einem System mit RDBMS-Funktionen entwickeln kann, muss es mit vorhandenen IT-Tools kompatibel sein.
Wie aus einigen Entwicklungen hervorgeht, arbeitet Hadoop bereits daran, die Erwartungen zu erfüllen. Hadoop kann Echtzeitanalysen und schnelle Antworten basierend auf der von YARN bereitgestellten Ressourcenverwaltungsunterstützung bereitstellen. YARN ist ein umfangreiches und verteiltes Betriebssystem für Big-Data-Anwendungen sowie ein Ressourcenmanager. Es ist bekannt, dass andere Entwicklungen wie die von Apache Storm, verteilte In-Memory-Architekturen wie Apache Spark, Apache Hive, Drill und MapR-FS (ein Hochleistungs-HDFS-Ersatz) funktionieren, um verschiedene vollständige Datenbankfunktionen bereitzustellen. B. Backup, Disaster Recovery, Fehlertoleranz usw. (Weitere Informationen zu YARN finden Sie unter Welche Vorteile bietet das Hadoop 2.0 (YARN) Framework?)
Welche Werte kann Hadoop zur Datenarchitektur der nächsten Generation hinzufügen?
Die operativen Werte, die Hadoop zur Datenarchitektur der nächsten Generation hinzufügen kann, können aus zwei Perspektiven betrachtet werden: erstens, ob die oben beschriebenen Erwartungen erfüllt werden, und zweitens, ob zusätzliche Maßnahmen ergriffen werden. Im Folgenden sind die herausragenden Werte aufgeführt, die betriebliches Hadoop mit sich bringen kann.
Hadoop ist jetzt in der Lage, die Skalierbarkeit und Verwaltbarkeit von Daten innerhalb seiner Plattform über das HDFS zu verbessern. Das Datenbetriebssystem wurde über die YARN-Anwendungen von Hadoop aktiviert. Diese Strategie stellt eine grundlegende Veränderung der Datenarchitektur dar. Jetzt kann Hadoop verschiedene Arten von Daten speichern, z. B. transaktionsorientierte Datenbanken, Diagrammdatenbanken und Dokumentendatenbanken. Auf diese Daten kann über die YARN-Anwendungen zugegriffen werden. Es ist nicht erforderlich, die Daten zu duplizieren oder an einen anderen Ort zu verschieben.
Verbesserte Leistung als Unternehmensdatenarchitektur
Operational Hadoop ist auf dem Weg zum Kernsystem der Unternehmensdatenarchitektur. Da Hadoop die Unternehmensdatenarchitektur immer mehr in den Fokus rückt, werden Datensilos beseitigt, da die Linien zwischen ihnen beseitigt werden. In fast allen Bereichen wird es eine rasche Verbesserung geben. Verbesserungen werden in Form effizienterer Dateiformate, besserer SQL-Engine-Leistung, verbesserter Dateisysteme und Robustheit erfolgen, die die Anforderungen von Unternehmensanwendungen erfüllen.
Unterschied zwischen Hadoop und anderen Technologien
In der Vergangenheit bestand der Hauptunterschied zwischen Hadoop- und Data Enterprise-Technologien in den Funktionen für Big Data-Verarbeitung, Berichterstellung und Analyse von Hadoop. Mit zunehmender Integration von Hadoop in die Unternehmensdatenarchitektur verschwimmen die Unterschiede zwischen den Entitäten zunehmend. Operatives Hadoop entwickelt sich daher zu einer überlegenen Alternative zur vorhandenen Unternehmensdatenarchitektur.
Fazit
Angesichts der Erwartungen und Fortschritte wird Hadoop noch einige Zeit im Fokus der Branche stehen. Es ist jedoch sinnvoll, sich nicht zu sehr auf Hadoop zu konzentrieren und andere Technologien einfach zu ignorieren. Dies liegt daran, dass andere Technologien bei denselben Parametern Fortschritte erzielen und Hadoop möglicherweise sogar überholen werden. Es ist niemals gut, ein Monopol auf dem Markt zu haben. Es ist gut, dass die Hersteller anderer Technologien als Hadoop motiviert sind, bessere Produkte und sogar Plug-Ins bereitzustellen, mit denen Hadoop seine Leistung verbessern kann.