Wie importiere ich Internet-UFO-Sichtungsdaten in eine Google-Tabelle?

Werbung

Wenn es um Online-Datenbanken und Informationen geht, die sich im so genannten "Unsichtbaren Netz" befinden 10 Suchmaschinen zum Erforschen der unsichtbaren Web 10 Suchmaschinen zum Erforschen des Unsichtbaren Web Wir sind mit dem Internet vertraut. Aber wussten Sie, dass es einen riesigen Informationscache gibt, auf den Suchmaschinen wie Google keinen direkten Zugriff haben? Dies ist das unsichtbare Netz. Lesen Sie mehr ", ich bin nicht dein typischer Benutzer. Sicher, ich verbringe ein bisschen zu viel Zeit damit, Online-Datenbanken an Orten wie dem Nationalarchiv und dem CIA-FOIA-Lesesaal zu durchforsten, aber ich muss sagen, dass mich nichts mehr begeistert, als wenn ich eine HTML-basierte Tabelle voller Bände finde von scheinbar komplexen und unverbundenen Daten.

Tatsache ist, Datentabellen sind eine Goldmine wichtiger Wahrheiten. Daten werden oft von Armeen von Datensammelgrunzern mit Stiefeln auf dem Boden gesammelt. Sie haben Leute aus der US-Volkszählung, die für Haushalts- und Familieninformationen das ganze Land bereisen. Sie haben gemeinnützige Umweltgruppen, die alle möglichen interessanten Informationen über Umwelt, Umweltverschmutzung, globale Erwärmung und mehr sammeln. Und wenn Sie auf paranormale oder Ufologie stehen, gibt es auch ständig aktualisierte Informationstabellen über seltsame Objekte am Himmel über uns.

Ironischerweise würden Sie denken, dass jede Regierung der Welt daran interessiert wäre zu wissen, welche Art von ausländischen Fahrzeugen in den Himmel über irgendeinem Land gesichtet werden, aber anscheinend nicht - jedenfalls nicht in den USA. In Amerika wurde die Sammlung von ungewöhnlichen Sichtungen von Handwerken zu Teams von Amateur-Hobbyisten verbannt, die zu neuen UFO-Sichtungen wie Motten zu einer Flamme strömen. Mein Interesse an diesen Sichtungen stammt eigentlich nicht von einer Faszination für Aliens oder Handwerk von anderen Planeten, sondern von einer wissenschaftlichen Faszination für Muster - wo und warum mehr Menschen Dinge am Himmel sehen und ob diese Sichtungen etwas sehr Reales und Vieles widerspiegeln könnten bodenständiger geht es tatsächlich weiter.

Um die Datenmengen zu untersuchen, die von Teams von UFO-Hobbyisten gesammelt wurden, habe ich eine Möglichkeit entwickelt, große HTML-Datentabellen in Google Spreadsheets zu importieren und diese Daten zu manipulieren und zu analysieren, um aussagekräftige und wichtige Informationen zu extrahieren. In diesem Artikel möchte ich Ihnen zeigen, wie Sie dasselbe tun können.

Wichtige HTML-Daten in Google Spreadsheet

In diesem Beispiel zeige ich Ihnen, wie Sie Daten, die möglicherweise in einer Tabelle auf einer beliebigen Website im Internet gespeichert sind, in Ihre Google-Tabelle importieren. Denken Sie an die enorme Menge an Daten, die heute im Internet in Form von HTML-Tabellen verfügbar sind. Wikipedia allein hat Daten in Tabellen für Themen wie die globale Erwärmung, das US Census Bureau hat Tonnen von Bevölkerungsdatensätzen, und ein wenig Googeln wird Sie noch viel mehr darüber hinaus landen.

In meinem Beispiel beginne ich mit einer Datenbank im National UFO Reporting Center, die aussieht, als wäre sie eine Query-ähnliche Deep-Web-Datenbank. Wenn Sie jedoch die URL-Strukturierung beobachten, handelt es sich tatsächlich um ein halb komplexes Web- basierend auf statischen Webseiten und statischen HTML-Tabellen - genau das, was wir wollen, wenn wir nach Daten suchen, die importiert werden sollen.

NUForc.org ist eine dieser Organisationen, die als eines der größten Berichtszentren für UFO-Sichtungen dient. Es ist nicht der einzige, aber es ist groß genug, um neue Datensätze mit aktuellen Sichtungen für jeden Monat zu finden. Sie wählen die Daten nach Kriterien wie Status oder Datum sortiert aus, und jede davon wird in Form einer statischen Seite bereitgestellt. Wenn Sie nach Datum sortieren und dann auf das neueste Datum klicken, sehen Sie, dass die dort aufgelistete Tabelle eine statische Webseite ist, die nach dem Datumsformat benannt ist.

Wir haben jetzt ein Muster, um regelmäßig die neuesten Sichtungsinformationen aus dieser HTML-basierten Datenbank zu extrahieren. Alles, was Sie tun müssen, ist die erste Tabelle zu importieren, den neuesten Eintrag (den obersten) zu verwenden, um das neueste Update zu identifizieren, und dann das Datum dieses Beitrags zu verwenden, um den URL-Link zu erstellen, wo die neueste HTML-Datentabelle vorhanden ist. Dies erfordert lediglich einige Instanzen der ImportHTML-Funktion und dann ein paar kreative Verwendungen von Textbearbeitungsfunktionen. Wenn Sie fertig sind, haben Sie eine der coolsten, sich selbst aktualisierenden Reporting-Tabellen Ihrer Wahl. Lass uns anfangen.

Importieren von Tabellen und Manipulieren von Daten

Der erste Schritt besteht natürlich darin, die neue Tabelle zu erstellen.

Also, wie importieren Sie HTML-Tabellen? Alles, was Sie brauchen, ist die URL, in der die Tabelle gespeichert ist, und die Nummer der Tabelle auf der Seite - normalerweise ist die erste, die aufgelistet wird, 1, die zweite ist 2 und so weiter. Da ich die URL dieser ersten Tabelle kenne, die Daten und Zählungen der aufgeführten Sichtungen auflistet, ist es möglich, sie zu importieren, indem Sie die folgende Funktion in Zelle A1 eingeben.

= importhtml ("http://www.nuforc.org/webreports/ndxpost.html?" & H2, "Tabelle", 1)

H2 enthält die Funktion " = Stunde (jetzt ()) ", so dass die Tabelle jede Stunde aktualisiert wird. Dies ist wahrscheinlich extrem für Daten, die dies selten aktualisiert, so dass ich wahrscheinlich täglich damit durchkommen könnte. Wie auch immer, die obige ImportHTML-Funktion bringt die Tabelle wie unten gezeigt mit.

Sie müssen auf dieser Seite ein wenig Datenmanipulation durchführen, bevor Sie die URL für die zweite Tabelle mit allen UFO-Sichtungen zusammensetzen können. Aber gehen Sie voran und erstellen Sie das zweite Blatt in der Arbeitsmappe.

Bevor Sie versuchen, dieses zweite Blatt zu erstellen, ist es an der Zeit, das Post-Datum aus dieser ersten Tabelle zu extrahieren, um den Link zur zweiten Tabelle zu erstellen. Das Problem besteht darin, dass das Datum als Datumsformat und nicht als Zeichenfolge eingefügt wird. Zuerst müssen Sie die TEXT-Funktion verwenden, um das Berichtspostdatum in eine Zeichenfolge zu konvertieren:

= Text (A2, "MM / TT / JJ")

In der nächsten Zelle rechts müssen Sie die Funktion SPLIT mit dem Trennzeichen "/" verwenden, um das Datum in Monat, Tag und Jahr aufzuteilen.

= teilen (D2, "/")

Gut aussehen! Jede Nummer muss jedoch zweistellig sein. Sie tun dies in den Zellen direkt unter ihnen mit dem Befehl TEXT erneut.

= Text (E2, "00")

Ein Format von "00" (das sind Nullen) erzwingt zwei Ziffern oder eine "0" als Platzhalter.

Jetzt können Sie die gesamte URL auf die neueste HTML-Tabelle neuer Sichtungen umstellen. Sie können dies tun, indem Sie die Funktion CONCATENATE verwenden und alle Informationsbits zusammenfügen, die Sie gerade aus der ersten Tabelle extrahiert haben.

= verketten ("http://www.nuforc.org/webreports/ndxp", G3, E3, F3, ".html")

Nun, auf dem neuen Blatt, das Sie oben erstellt haben (das leere Blatt), werden Sie eine neue "importhtml" -Funktion ausführen, aber diesmal für den ersten URL-Link-Parameter, so dass Sie zurück zur ersten Tabelle navigieren und klicken Sie auf die Zelle mit dem URL-Link, den Sie gerade erstellt haben.

Der zweite Parameter ist "Tabelle" und der letzte ist "1" (weil die Sichttabelle die erste und einzige auf der Seite ist). Drücken Sie die Eingabetaste, und jetzt haben Sie nur das gesamte Sichtungsvolumen importiert, das an diesem bestimmten Datum gebucht wurde.

Also denkst du wahrscheinlich, dass dies eine nette Novelty ist und alles - ich meine, schließlich hast du die vorhandenen Informationen aus einer Tabelle im Internet extrahiert und an einen anderen Tisch migriert, wenn auch einen privaten in deinem Google Text & Tabellen-Konto Ja das stimmt. Jetzt, da Sie sich in Ihrem privaten Google Docs-Konto befinden, haben Sie die Tools und Funktionen zur Verfügung, mit denen Sie diese Daten besser analysieren und erstaunliche Verbindungen entdecken können.

Verwenden von Pivot-Berichten zum Analysieren von importierten Daten

Erst vor kurzem schrieb ich einen Artikel über die Verwendung von Pivot-Berichte in Google Tabellenkalkulation Werden Sie ein Experte für Datenanalyse Übernacht mit Google Tabellenreport-Tools Werde ein Experte für Datenanalyse Über Nacht Mit Google Tabellenreport-Tools Wussten Sie, dass eines der größten Werkzeuge aller Daten zu leiten Analyse ist eigentlich Google Spreadsheet? Der Grund dafür ist nicht nur, dass es fast alles, was Sie wollen, um alle Arten von coolen Datenanalyse Kunststücke durchzuführen. Nun, Sie können die gleichen erstaunlichen Datenanalyse-Akrobatik auf den Daten, die Sie aus dem Internet importiert haben, machen - Ihnen die Möglichkeit zu geben, interessante Verbindungen aufzudecken, die möglicherweise niemand vor Ihnen aufgedeckt hat.

Zum Beispiel könnte ich aus der endgültigen Sichtungsliste entscheiden, einen Pivot-Bericht zu verwenden, um einen Blick auf die Anzahl der verschiedenen eindeutigen Formen zu werfen, die in jedem Zustand gemeldet werden, verglichen mit der Gesamtzahl der Sichtungen in diesem bestimmten Zustand. Schließlich filtere ich auch etwas, das "Aliens" in den Kommentaren erwähnt, um hoffentlich einige der wingnut-Einträge auszusondern.

Dies zeigt auf der einen Seite einige ziemlich interessante Dinge, wie die Tatsache, dass Kalifornien die höchste Anzahl an gemeldeten Sichtungen eines anderen Staates hat, zusammen mit dem Unterschied, die höchste Anzahl von Handwerksformen im Land zu melden. Es zeigt auch, dass Massachusetts, Florida und Illinois auch in der UFO-Sichtungsabteilung (zumindest in den jüngsten Daten) große Hits sind.

Eine weitere tolle Sache in Google Spreadsheet ist die große Auswahl an Diagrammen, die Ihnen zur Verfügung stehen, einschließlich einer Geo-Map, mit der Sie "Hot Spots" von Daten in einem grafischen Format erstellen können, das wirklich auffällt und diese Verbindungen innerhalb der Daten offensichtlich macht.

Wenn Sie darüber nachdenken, ist dies wirklich nur die Spitze des Eisbergs. Wenn Sie jetzt Daten aus Datentabellen auf einer beliebigen Seite im Internet importieren können, denken Sie nur an die Möglichkeiten. Erhalten Sie die neuesten Aktienzahlen oder die neuesten Top-10-Bücher und -Autoren auf der Bestsellerliste der New York Times oder die meistverkauften Autos der Welt. Es gibt HTML-Tabellen zu fast jedem Thema, das Sie sich vorstellen können, und in vielen Fällen werden diese Tabellen häufig aktualisiert.

Mit ImportHtml können Sie Ihre Google-Tabelle in das Internet einbinden und die dort vorhandenen Daten abfragen. Es kann zu Ihrem persönlichen Informationszentrum werden, das Sie zum Manipulieren und Massieren in ein Format verwenden können, mit dem Sie tatsächlich arbeiten können. Es ist nur eine weitere sehr coole Sache, die man in Google Spreadsheet lieben kann.

Haben Sie schon einmal Daten in Ihre Tabellen importiert? Welche interessanten Dinge haben Sie in diesen Daten entdeckt? Wie haben Sie die Daten verwendet? Teilen Sie Ihre Erfahrungen und Ideen in den Kommentaren unten!

Bildnachweis: Business Graph