Datenanalyse ist der Prozess der Datenauswertung mit Hilfe von analytischen und statistischen Werkzeugen, um nützliche Informationen zu finden und bei der Entscheidungsfindung zu helfen. Es gibt mehrere Methoden zur Datenanalyse, einschließlich Data Mining, Textanalyse, Business Intelligence und Datenvisualisierung.
Wie wird die Datenanalyse durchgeführt?
Datenanalyse ist Teil eines größeren Prozesses zur Ableitung von Business Intelligence. Der Prozess umfasst einen oder mehrere der folgenden Schritte:
- Definition von Zielen : Jede Studie muss mit einer Reihe klar definierter Geschäftsziele beginnen. Ein Großteil der Entscheidungen, die im weiteren Verlauf des Prozesses getroffen werden, hängt davon ab, wie klar die Ziele der Studie festgelegt wurden.
- Fragen stellen: Es wird versucht, in der Problemdomäne eine Frage zu stellen. Treten beispielsweise rote Sportwagen öfter in Unfälle ein als andere?
- Datensammlung: Daten, die für die Frage relevant sind, müssen von den entsprechenden Quellen gesammelt werden. In dem obigen Beispiel könnten Daten aus einer Vielzahl von Quellen gesammelt werden, einschließlich: DMV- oder Polizei-Unfallberichte, Versicherungsansprüche und Krankenhausaufenthaltsdetails. Wenn Daten mithilfe von Surverys gesammelt werden, ist ein Fragebogen erforderlich, der den Probanden präsentiert werden soll. Die Fragen sollten für die verwendete statistische Methode angemessen modelliert werden.
- Data Wrangling: Rohdaten können in verschiedenen Formaten gesammelt werden. Die gesammelten Daten müssen bereinigt und konvertiert werden, damit sie von Datenanalysewerkzeugen importiert werden können. In unserem Beispiel erhalten wir möglicherweise DMV-Unfallberichte als Textdateien, Versicherungsansprüche aus einer relationalen Datenbank und Krankenhausdetails als API. Der Datenanalyst muss diese verschiedenen Datenarten aggregieren und in eine für die Analysetools geeignete Form konvertieren.
- Datenanalyse: In diesem Schritt werden die bereinigten und aggregierten Daten in Analysetools importiert. Mit diesen Tools können Sie die Daten untersuchen, Muster darin finden und Was-wäre-wenn-Fragen stellen und beantworten. Dies ist der Prozess, bei dem die in der Forschung gesammelten Daten durch die richtige Anwendung statistischer Methoden sensibilisiert werden.
- Schlussfolgerungen ziehen und Vorhersagen machen: Dies ist der Schritt, nach dem nach einer ausreichenden Analyse aus den Daten Schlussfolgerungen gezogen und entsprechende Vorhersagen getroffen werden können. Diese Schlussfolgerungen und Aussagen können dann in einem Bericht zusammengefasst werden, der den Endnutzern vorgelegt wird.
Lassen Sie uns nun etwas genauer auf die Methoden der Datenanalyse eingehen.
Data Mining
Data Mining ist eine Methode der Datenanalyse zum Auffinden von Mustern in großen Datensätzen mit den Methoden Wie man ein Data Scientist wird Wie man ein Data Scientist wird Data Science ist von einem neu geprägten Begriff im Jahr 2007 zu einem der gefragtesten geworden Disziplinen heute. Aber was macht ein Datenwissenschaftler? Und wie kannst du in das Feld einbrechen? Lesen Sie mehr über Statistik, künstliche Intelligenz, maschinelles Lernen und Datenbanken. Ziel ist es, Rohdaten in verständliche Geschäftsinformationen umzuwandeln. Dies kann die Identifizierung von Gruppen von Datensätzen (auch bekannt als Cluster-Analyse) oder die Identifizierung von Anomalien und Abhängigkeiten zwischen Datengruppen umfassen.
Anwendungen des Data Mining:
- Die Anomoly-Erkennung kann große Datenmengen ("Big Data") verarbeiten und automatisch Fälle von Ausreißern identifizieren, möglicherweise zum Ausschluss von der Entscheidungsfindung oder zur Aufdeckung von Betrug (z. B. Bankbetrug).
- Kundenkaufgewohnheiten lernen. Maschinelle Lerntechniken können verwendet werden, um Kundenkaufgewohnheiten zu modellieren und häufig gekaufte Artikel zu bestimmen.
- Clustering kann zuvor unbekannte Gruppen in den Daten identifizieren.
- Klassifizierung wird verwendet, um Dateneinträge automatisch in vordefinierte Klassen zu klassifizieren. Ein übliches Beispiel ist das Klassifizieren von E-Mail-Nachrichten als "Spam" oder "Nicht-Spam" und das Informieren des Systems vom Benutzer.
Textanalyse
Textanalyse ist der Prozess, um nützliche Informationen aus Text abzuleiten. Es wird durch die Verarbeitung von unstrukturierten Textinformationen erreicht, extrahiert sinnvolle numerische Speicherzeit mit Textoperationen in Excel. Zeiteinsparung mit Textoperationen in Excel Excel kann mit Zahlen Magie machen und es kann Zeichen gleichermaßen gut verarbeiten. In diesem Handbuch wird gezeigt, wie Sie Text in Kalkulationstabellen analysieren, konvertieren, ersetzen und bearbeiten können. Mit diesen Grundlagen können Sie komplexe Transformationen durchführen. Lesen Sie weitere Indizes aus den Informationen und stellen Sie die Informationen statistischen und maschinellen Lernalgorithmen zur weiteren Verarbeitung zur Verfügung.
Der Text-Mining-Prozess umfasst einen oder mehrere der folgenden Schritte:
- Sammeln von Informationen aus verschiedenen Quellen einschließlich Web, Dateisystem, Datenbank usw.
- Sprachanalyse einschließlich Verarbeitung natürlicher Sprache.
- Mustererkennung (zB Erkennen von Telefonnummern, E-Mail-Adressen, etc.)
- Extrahieren von zusammenfassenden Informationen aus dem Text, wie z. B. relative Häufigkeiten der Wörter, Bestimmen von Ähnlichkeiten zwischen Dokumenten usw.
Beispiele für Textanalyseanwendungen:
- Analysieren von offenen Umfrageantworten. Diese Umfragen haben einen explorativen Charakter und beinhalten offene Fragen zum jeweiligen Thema. Die Befragten können dann ihre Ansichten äußern, ohne auf ein bestimmtes Antwortformat beschränkt zu sein.
- Analyse von E-Mails, Dokumenten usw., um "Müll" herauszufiltern. Dazu gehört auch die automatische Klassifizierung von Nachrichten in vordefinierte Bins für die Weiterleitung an verschiedene Abteilungen.
- Untersuche Mitbewerber durch Crawlen ihrer Websites. Dies könnte verwendet werden, um Informationen über die Aktivitäten der Wettbewerber abzuleiten.
- Sicherheitsanwendungen, die Protokolldateien für die Intrusion Detection verarbeiten können.
Business Intelligence
Business Intelligence Verwendung von Cortana zur Analyse von Daten mit Power BI Verwendung von Cortana zur Analyse von Daten mit Power BI Möchten Sie Ihre Datenanalyse vereinfachen? Erhalten Sie schnelle Antworten von Cortana mit diesem Führer. Read More wandelt Daten in verwertbare Informationen für geschäftliche Zwecke um und kann in strategischen und taktischen Geschäftsentscheidungen einer Organisation verwendet werden. Es bietet eine Möglichkeit für Menschen, Trends aus gesammelten Daten zu untersuchen und daraus Erkenntnisse zu gewinnen.
Einige Beispiele für Business Intelligence, die heute verwendet werden:
- Die operativen Entscheidungen einer Organisation wie Produktplatzierung und Preisgestaltung.
- Erschließung neuer Märkte, Bewertung der Nachfrage und Eignung von Produkten für unterschiedliche Marktsegmente.
- Budgetierung und rollierende Prognosen.
- Verwenden visueller Tools wie Heatmaps, Pivot-Tabellen und geografische Zuordnung.
Datenvisualisierung
Datenvisualisierung Daten und Informationen sofort visualisieren Mit Google Fusion Tables Daten und Informationen mit Google Fusion Tables sofort visualisieren Ob Sie einen Bericht für die Arbeit zusammenstellen oder einfach Informationen auf Ihrem Blog grafisch darstellen möchten, Google Fusion Tables kann Hilfe. Google Fusion ist eigentlich eine in ... Read More eingebettete Funktion, die sich sehr einfach auf die visuelle Darstellung von Daten bezieht. Im Kontext der Datenanalyse bedeutet dies, dass die Werkzeuge Statistik, Wahrscheinlichkeit, Pivot-Tabellen und andere Artefakte verwendet werden, um Daten visuell darzustellen. Es macht komplexe Daten verständlicher und brauchbarer.
Zunehmende Datenmengen werden von einer Anzahl von Sensoren in der Umgebung erzeugt (als "Internet of Things" oder "IOT" bezeichnet). Diese Daten (als "Big Data" bezeichnet) stellen ein Verständnisproblem dar, das durch die Verwendung der Werkzeuge der Datenvisualisierung erleichtert werden kann. Die Datenvisualisierung wird in den folgenden Anwendungen verwendet.
- Extrahieren von Zusammenfassungsdaten aus den Rohdaten von IOT.
- Verwendung eines Balkendiagramms zur Darstellung der Umsatzperformance über mehrere Quartale hinweg.
- Ein Histogramm zeigt die Verteilung einer Variablen wie Einkommen, indem die Reichweite in Klassen unterteilt wird.
Datenanalyse im Rückblick
Die Datenanalyse wird verwendet, um Daten mit statistischen Werkzeugen auszuwerten, um nützliche Informationen zu finden. Zu diesem Zweck werden verschiedene Methoden verwendet, darunter Data Mining, Textanalyse, Business Intelligence und Datenvisualisierung.
Haben Sie in Ihrer Organisation Datenanalyse verwendet, um etwas zu modellieren? Wie war deine Erfahrung? Haben Sie nützliche Erkenntnisse zu bieten? Bitte lassen Sie uns in den Kommentaren unten wissen.