Inhalt
Quelle: Nmedia /Dreamstime.com
Wegbringen:
Big Data ist überall ein großes Geschäft, aber einige bestimmte Bereiche nutzen diese Technologie am meisten.
Als ich diesen Artikel begann, plante ich, die verschiedenen Arten von Big-Data-Plattformen aufzulisten. Aber nachdem ich drei Tage lang versucht hatte, all die verschiedenen Big-Data-Angebote - relational versus nicht-relational, SQL versus NoSQL und Datenbank versus Framework - in Ordnung zu bringen, beschloss ich, dieses Durcheinander zu vermeiden.
Um die Verletzung zusätzlich zu beleidigen, hatte ich gehofft, die Person, die den Begriff "Big Data" geprägt hat, als Teil des Artikels vorstellen zu können. Aber das kann ich nicht einmal. Es gibt keine vereinbarte Antwort. Tatsächlich gibt es ein umfassendes Forschungsprojekt, in dem untersucht wird, wer ursprünglich Big Data entwickelt hat. Stattdessen werde ich einen Blick auf einige der wichtigsten Verwendungsmöglichkeiten von Big Data werfen. Das ist viel wichtiger. Und es ist interessanter und überraschender als Sie vielleicht denken.
Wie es passiert ist
Analysten, die traditionelles Data Mining verwenden, manipulieren Daten seit Jahren. Dieselben Analysten haben jetzt Schwierigkeiten, mit der Menge und der Vielfalt der Daten umzugehen, die von Unternehmen, privaten Organisationen und Regierungsbehörden gespeichert werden.
Geben Sie Big Data ein, den nächsten Evolutionsschritt beim Data Mining. Big Data wurde entwickelt, um die riesigen Datenbanken und unzähligen Arten von Daten zu verarbeiten, die in der heutigen digitalen Welt erstellt werden. Wenn Sie "massiv" über Google und die gesammelten Daten nachdenken, befinden Sie sich im Ballpark. Was Sie überraschen könnte, ist, dass Google nur auf Platz vier der Top Ten-Liste der weltweit größten Datenbanken steht. Seit Januar 2014 führt das World Data Center for Climate die Liste mit 220 Terabyte an Daten an. Über die Größe der Datenbanken, die von bestimmten Regierungsbehörden kontrolliert werden, kann man nur raten.
Natürlich haben sich Big Data durchgesetzt, da es möglich ist, große Mengen unterschiedlicher Daten zu manipulieren und erstaunliche, erstaunlich detaillierte und persönliche Dinge zu entdecken. John Sumser, HR-Branchenanalyst, liefert das folgende Beispiel:
"Heute erstellen wir Hypothesen und sammeln Daten. Morgen machen wir das Gegenteil. Die konstante, stetige Anhäufung von Daten ermöglicht es uns, Daten zu betrachten, bevor wir Fragen bilden. Das heißt, wir erhalten Antworten auf Fragen, die wir nicht beantwortet haben." Ich weiß nicht, wie ich fragen soll. Wir werden eine ganze Reihe von Dingen durchdenken, von denen wir annehmen, dass sie Tatsachen sind. "Natürlich haben wir alle von einigen der gruseligen Möglichkeiten erfahren, wie diese Daten verwendet werden, wie zum Beispiel die Fähigkeit von Targets, die Schwangerschaft einer jungen Frau zu erkennen, bevor ihre Familie es überhaupt herausfindet. Big Data wird aber auch für weitaus weniger schlimme Zwecke verwendet. Hier sind einige Organisationen, die am meisten davon Gebrauch machen:
Sie können Ihre Programmierkenntnisse nicht verbessern, wenn sich niemand um die Softwarequalität kümmert.
Ein naheliegender Bereich, bei dem Big Data helfen wird, ist der sichere und genaue Umgang mit elektronischen Patientenakten in allen medizinischen Organisationen. Genaue Aufzeichnungen bieten den Patienten einen besseren Service und verringern die Fehlerquote. Aus offensichtlichen Gründen passt das Gesundheitswesen Big Data langsamer an, um den gesetzlichen Bestimmungen zur Patientenvertraulichkeit zu entsprechen.
Wie bereits erwähnt, gibt Big Data Antworten auf nicht gestellte Fragen. Im Gesundheitswesen könnte dies bedeuten, ein neues Medikament oder eine Behandlung zu finden, die sonst nicht gefunden worden wären. Laut McKinsey & Company könnten Big Data in nicht allzu ferner Zukunft Folgendes ermöglichen:
- Die prädiktive Modellierung von biologischen Prozessen und Arzneimitteln wird komplexer und umfassender.
- Patienten werden identifiziert, um sich an klinischen Studien zu beteiligen, die auf mehr Informationsquellen wie Social Media basieren.
- Versuche werden in Echtzeit überwacht, um Sicherheits- oder Betriebsprobleme schnell zu erkennen.
- Anstelle von starren Datensilos, die schwer auszunutzen sind, werden Daten elektronisch erfasst und können problemlos zwischen verschiedenen Einheiten ausgetauscht werden.
Big Data, große Chance
Während Big Data in bestimmten Bereichen genutzt wird, bietet es allen Organisationen in den folgenden Bereichen Möglichkeiten:
Nahezu jedes Computer- und Netzwerkgerät protokolliert Daten. Die Menge der aufgezeichneten Daten wird schnell unhandlich. Mit Big Data kann diese Datenmenge problemlos verwaltet werden, sodass Administratoren die Netzwerkaktivität überwachen, Probleme diagnostizieren oder in dem von Rubin angegebenen Beispiel nach bestimmten Netzwerkverkehrsmustern suchen können, die auf Malware-Aktivitäten hinweisen.
Wenn Sie diesen Artikel lesen, ist es ziemlich sicher, dass Sie sich des Heartbleed-Problems in Bezug auf OpenSSL bewusst sind. Neben dem technischen Problem besteht die Sorge, dass die Sicherheitsanfälligkeit bereits seit mehreren Jahren besteht. Rubin erwähnte, dass Big Data es Netzwerkadministratoren ermöglicht, in Zusammenarbeit mit Datenanalysten ein Programm zu erstellen, das alle Netzwerkprotokolle nach böswilligen Herzschlägen durchsucht. In diesem EFF-Beitrag wird Folgendes erwähnt:
"Jeder Netzwerkbetreiber, der über umfangreiche Paketprotokolle verfügt, kann nach böswilligen Herzschlägen suchen, die üblicherweise eine TCP-Nutzlast von 18 03 02 00 03 01 oder 18 03 01 00 03 01 (oder vielleicht sogar 18 03 03 00 03 01) haben."Das folgende Beispiel zeigt eine Beispielausgabe des Befehls show audit:
Router # show audit
* 14. September 18: 37: 31.535:% AUDIT-1-RUN_VERSION: Hash:
24D98B13B87D106E7E6A7E5D1B3CE0AD Benutzer:
* 14. September 18: 37: 31.583:% AUDIT-1-RUN_CONFIG: Hash:
4AC2D776AA6FCA8FD7653CEB8969B695 Benutzer:
* 14. September 18: 37: 31.595:% AUDIT-1-STARTUP_CONFIG: Hash:
95DD497B1BB61AB33A629124CBFEC0FC Benutzer:
* 14. September 18: 37: 32.107:% AUDIT-1-FILESYSTEM: Hash:
330E7111F2B526F0B850C24ED5774EDE Benutzer:
* 14. September 18: 37: 32.107:% AUDIT-1-HARDWARE_CONFIG: Hash:
32F66463DDA802CC9171AF6386663D20 Benutzer:
Wenn Sie den Zeitstempeln folgen, betrug das Zeitintervall für alle diese Einträge weniger als eine Sekunde. Ich würde das nicht einmal für einen Tag hochrechnen wollen, geschweige denn für zwei Jahre!
Etwas zu sehen
Wenn Sie die Stellenanzeigen überprüfen, besteht ein dringender Bedarf an Big-Data-Experten. Ich habe Rubin danach gefragt. Er stimmte zu und erwähnte, dass seine Schüler über ihre Aussichten aufgeregt waren. Dann wurde mir klar, dass Big-Data-Plattformen, insbesondere solche, die als Open Source gelten, einen ähnlichen Zeitplan verfolgen wie Linux.
Universitäten nutzen Open-Source-Versionen von Big-Data-Plattformen, insbesondere Hadoop, da diese kostenlos sind und die Studenten den Quellcode manipulieren können. Die Absolventen, die all diese offenen Stellen besetzen, werden es vorziehen, mit Open-Source-Plattformen zu arbeiten, da sie diese am besten kennen. Es wird interessant zu sehen sein.