Was würden Sie sagen, wenn ich Ihnen sagen würde, dass Sie über die Werkzeuge verfügen, um bahnbrechende, weltbewegende Forschung zu betreiben? Nun, tust du, und ich zeige dir wie.
Regierungen, akademische Einrichtungen und gemeinnützige Forschungseinrichtungen veröffentlichen Tabellen mit Daten, die öffentlich zugänglich sind. Ohne dass jemand diese Informationen verwendet, wird sein wahrer Wert niemals bekannt sein. Leider haben nur wenige Menschen die Einsicht, die Fähigkeiten oder die Werkzeuge, um die Daten aufzunehmen und interessante Zusammenhänge zwischen scheinbar unverbundenen Informationen herzustellen.
Hintergrund
Viele der Recherchen, die ich für meinen eigenen Blog mache, beinhalten das Durchforschen des so genannten unsichtbaren Webs. 10 Suchmaschinen zum Erforschen des unsichtbaren Webs 10 Suchmaschinen zum Erforschen des unsichtbaren Webs Wir sind mit dem Internet vertraut. Aber wussten Sie, dass es einen riesigen Informationscache gibt, auf den Suchmaschinen wie Google keinen direkten Zugriff haben? Dies ist das unsichtbare Netz. Lesen Sie mehr, um Daten zu entdecken, die für die Öffentlichkeit freigegeben, aber von Suchmaschinen ausgeblendet wurden Die 5 am weitesten fortgeschrittenen Suchmaschinen im Web Die 5 am weitesten fortgeschrittenen Suchmaschinen im Internet Lesen Sie mehr in einer Online-Datenbank. Dies ist das tiefe Web TorSearch zielt darauf ab, das Google für das tiefe Web TorSearch zielt darauf ab, das Google für das tiefe Web Tor ist ein versteckter Dienst und ein Teil des Deep Web. TorSearch ist eine neue anonyme Suchmaschine, deren Gründer Chris MacNaughton das "Google of Tor" machen möchte. Lesen Sie mehr, und es ist reich an wertvollen Daten. Sehr oft stoße ich auf Webseiten, die nur mit einigen der wertvollsten Daten zu Themen gefüllt sind, die von Volkszählungsdaten reichen, bis hin zu epidemiologischen Studien über seltene Krankheiten. Ich habe ständig neue Ideen, wie ich diese unterschiedlichen Datenquellen mithilfe verschiedener Tools analysieren und korrelieren kann - und eines der wertvollsten Tools, die ich gefunden habe, ist die Webabfrage in Microsoft Excel.
Interessante Datenkorrelationen finden
Was ich Ihnen heute zeigen möchte, ist ein Beispiel dafür, wie Sie Excel Web Queries verwenden können, um Daten von verschiedenen Websites einzuholen und sie gegeneinander abzubilden, um nach möglichen Korrelationen zwischen den Daten zu suchen.
Der Weg, eine solche Übung zu beginnen, ist eine interessante Hypothese. Zum Beispiel - um die Dinge hier interessant zu halten - werde ich nach dem Zufallsprinzip postulieren, dass die explodierenden Autismusraten in den Vereinigten Staaten entweder durch Impfstoffimpfungen oder durch die zunehmende Präsenz elektromagnetischer Felder in und um Kinder, wie Mobiltelefone, verursacht werden. Es ist eine verrückte Hypothese, die man auf den meisten Verschwörungstheorien findet, aber das ist es, was diesen Spaß macht. Also fangen wir an, sollen wir?
Öffnen Sie zuerst Excel, gehen Sie zum Menüpunkt Daten und finden Sie im Menüband das Symbol "Von Web".
Dies ist, was Sie verwenden werden, um die verschiedenen Datentabellen von den vielen Websites zu importieren, die sie veröffentlicht haben.
Importieren von Webdaten in Excel
Früher mussten Sie also versuchen, die Daten aus dieser Tabelle auf einer Webseite zu kopieren, sie in Excel einzufügen und dann mit all den verrückten Formatierungsproblemen fertig zu werden. Total Ärger, und oft ist es einfach nicht die Kopfschmerzen wert. Mit Excel Web Queries sind diese Zeiten vorbei. Bevor Sie die Daten importieren können, müssen Sie natürlich im Web surfen, um die benötigten Daten im Tabellenformat zu finden. In meinem Fall fand ich eine Website, auf der die Statistik des Department of Education für die Anzahl der US-amerikanischen Schüler veröffentlicht wurde, bei denen Autismus festgestellt wurde. Ein schöner Tisch gab dort Zahlen von 1994 bis 2006.
Klicken Sie einfach auf "Aus dem Web", fügen Sie die Webseiten-URL in das Feld für die Abfrageadresse ein und scrollen Sie dann die Seite nach unten, bis Sie den gelben Pfeil neben der Tabelle mit den Daten sehen, die Sie importieren möchten.
Klicken Sie auf den Pfeil, sodass er zu einem grünen Häkchen wird.
Schließlich teilen Sie Excel mit, in welches Feld Sie die Tabellendaten in das Innere Ihrer neuen Tabelle einfügen möchten.
Dann - Voila! Die Daten fließen automatisch in Ihre Tabelle ein.
Mit dem Trend der Autismus-Rate der öffentlichen Schulen von 1996 bis 2006 ist es nun an der Zeit, auch nach Impfungen und Handy-Nutzungstrends Ausschau zu halten.
Glücklicherweise fand ich schnell Trends für Handy-Abonnenten in den USA von 1985 bis 2012. Hervorragende Daten für diese spezielle Studie. Auch hier habe ich das Excel Web Query-Tool zum Importieren dieser Tabelle verwendet.
Ich habe diesen Tisch in ein sauberes, neues Blatt importiert. Dann entdeckte ich Impftrends für den Prozentsatz der Schulkinder, die für verschiedene Krankheiten geimpft wurden. Ich habe diese Tabelle mit dem Webabfrage-Tool in ein drittes Blatt importiert. So hatte ich schließlich drei Blätter mit den drei Tischen, die mit den anscheinend nicht verbundenen Daten gefüllt waren, die ich im Internet entdeckt hatte.
Der nächste Schritt besteht darin, Excel zu verwenden, um die Daten zu analysieren und Korrelationen zu identifizieren. Hier kommt eines meiner liebsten Datenanalyse-Tools zum Einsatz - die PivotTable.
Analysieren von Daten in Excel mit der PivotTable
Am besten erstellen Sie Ihr PivotTable in einem brandneuen, leeren Blatt. Sie möchten den Assistenten für das verwenden, was Sie gerade tun. Um den PivotTable-Assistenten in Excel zu aktivieren, müssen Sie gleichzeitig Alt-D drücken, bis ein Benachrichtigungsfenster angezeigt wird. Lassen Sie dann diese Tasten los und drücken Sie die Taste "P". Dann wird der Assistent eingeblendet.
Im ersten Fenster des Assistenten wählen Sie "Mehrere Konsolidierungsbereiche", in dem Sie die Daten aus allen importierten Blättern auswählen können. Auf diese Weise können Sie all diese scheinbar nicht miteinander verbundenen Daten in einem leistungsfähigen Pivotable konsolidieren. In einigen Fällen müssen Sie möglicherweise einige der Daten massieren. Zum Beispiel musste ich das "Jahr" -Feld in der Autismus-Tabelle so einstellen, dass es "1994" anstelle von "1994-95" zeigte - wodurch es sich besser mit den Tabellen auf den anderen Blättern, die auch das primäre Jahr hatten, anglichen Feld.
Dieses gemeinsame Feld zwischen Daten ist das, was Sie brauchen, um Informationen zu korrelieren, also denken Sie daran, wenn Sie im Internet nach Ihren Daten suchen.
Sobald die PivotTable abgeschlossen ist und alle Datenwerte in einer Tabelle angezeigt werden, ist es an der Zeit, eine visuelle Analyse durchzuführen, um festzustellen, ob eine offensichtliche Verbindung bei Ihnen auftritt.
Visualisierung von Daten ist der Schlüssel
Ein paar Zahlen in einer Tabelle zu haben ist großartig, wenn man ein Wirtschaftswissenschaftler ist, aber der schnellste und einfachste Weg, diesen "Aha!" -Moment zu haben, wenn man versucht, Verbindungen wie eine Nadel im Heuhaufen zu finden, ist über Diagramme und Grafiken. Sobald Sie Ihr PivotChart mit allen gesammelten Datensätzen erstellt haben, ist es an der Zeit, Ihr Diagramm zu erstellen. Normalerweise wird ein Liniendiagramm am besten funktionieren, aber es hängt von den Daten ab. Es gibt Zeiten, in denen ein Balkendiagramm viel besser funktioniert. Versuchen Sie zu verstehen, welche Art von Daten Sie betrachten und welche Formvergleiche am besten funktionieren.
In diesem Fall betrachte ich die Daten im Laufe der Zeit, so dass ein Liniendiagramm wirklich der beste Weg ist, Trends über die Jahre hinweg zu sehen. Bei der Berechnung der Autismusraten (grün) gegen verkleinerte Impfraten (dunkelblau), Windpockenimpfungen (hellblau) und Handynutzung (lila) tauchte plötzlich eine seltsame Korrelation in dieser Stichprobe von Daten auf, mit denen ich spielte.
Seltsamerweise entsprach der Trend bei der Handynutzung von 1994 bis 2006 fast genau dem Anstieg der Autismusrate im selben Zeitraum. Obwohl das Muster völlig unerwartet war, ist es ein perfektes Beispiel dafür, wie interessante Daten miteinander verknüpft werden können. Dies gibt Ihnen mehr Einblick und Motivation, weiter zu forschen und nach Daten zu suchen, die Ihre Hypothese unterstützen.
Eine solche Korrelation beweist nichts. Es gibt viele Trends, die sich im Laufe der Zeit häufen - das Muster könnte Zufall sein, aber es könnte auch ein wichtiger Hinweis in Ihrem ständigen Streben nach mehr Daten im Internet sein. Zum Glück haben Sie ein leistungsstarkes Tool namens Excel Web Queries, das diese Aufgabe ein wenig einfacher macht.
Fotokredit: Kevin Dooley über photopin cc