Wenn Sie die Mental Chops, ein Gespür für Programmierung und Storytelling und ein Auge für Design haben, können Sie Schlimmeres tun, als in die Data Science zu kommen. Es ist das neue große Ding in der Technologie; hochmodisch und hochbezahlt, mit Datenwissenschaftlern, die von einigen der größten Unternehmen der Welt gesucht werden.
ScraperWiki ist ein Unternehmen, das seit langem mit dem Bereich Data Science verbunden ist. In den vergangenen Jahren bot das in Liverpool ansässige Startup eine Plattform für Programmierer, um Tools zu schreiben, die Daten sammeln, sie bereinigen und in der Cloud analysieren.
Mit einer kürzlichen Aktualisierung und der ständig steigenden Nachfrage nach Datenwissenschaftlern im Unternehmen lohnt es sich, ScraperWiki genauer unter die Lupe zu nehmen.
Vollständige Offenlegung: Ich war letzten Sommer Praktikant bei ScraperWiki.
Was macht ScraperWiki?
ScraperWiki vermarktet sich selbst als einen Ort, um Daten zu erhalten, zu bereinigen und zu analysieren, und es erfüllt jeden dieser Punkte. In seiner einfachsten Form ermöglicht es Ihnen - dem Benutzer - einen Ort, an dem Sie Code schreiben können, der Daten aus einer Quelle abruft, Werkzeuge, um ihn in ein Format zu konvertieren, das einfach zu analysieren ist, und Speicher, um ihn für die spätere Visualisierung zu behalten kann auch mit ScraperWiki umgehen.
Außerdem enthält es eine Reihe vordefinierter Tools, die sich wiederholende Aufgaben automatisieren, darunter das Abrufen von Daten aus PDF-Dateien, die bekanntermaßen schwer zu entschlüsseln sind. Dies ist zusätzlich zu Twitter Suche 5 Cool Twitter Search Tricks zu überwachen, was die Leute über Sie sagen 5 Cool Twitter Search Tricks zu überwachen, was die Leute über Sie sagen Wenn Sie eine Website besitzen oder nur versuchen, Geld online als Freiberufler zu verdienen, Es ist immer gut zu wissen, was die Leute über das Internet sagen. Leute können zitieren ... Lesen Sie mehr und schabende Dienstprogramme. Sie benötigen keine Erfahrung in der Softwareentwicklung, um diese zu verwenden.
Kosten
Wie bereits erwähnt, umfasst ScraperWiki das Freemium-Preismodell und bietet einen Service, der mehrere Stufen hat. Diejenigen, die gerade mit Data Science oder mit begrenzten Bedürfnissen beginnen, können den kostenlosen Service nutzen. Dies gibt Ihnen drei Datensätze - wo Sie Ihre Daten und Code speichern.
Wer plant, mehrere Scraper zu schreiben oder Berge von Datenanalysen zu machen, kann für einen Premium-Account etwas Geld ausgeben. Diese beginnen bei $ 9 pro Monat und bieten 10 Datensätze. Wenn das immer noch nicht genug ist, können Sie immer auf ihre höchste Stufe mit 100 Datensätzen upgraden und kostet $ 29 pro Monat.
Codierung
Programmierer sind oft ziemlich genau, wenn es darum geht, wie sie programmieren. Einige bevorzugen Skriptsprachen über kompilierte Sprachen. Einige bevorzugen die eingeschränkte Erfahrung eines Texteditors gegenüber der einer integrierten Entwicklungsumgebung (IDE). ScraperWiki erkennt das und gibt dem Benutzer eine große Auswahl, wenn es darum geht, wie Sie Ihren Code schreiben.
Wenn Sie so geneigt sind, können Sie Ihren Code im Browser schreiben. Wie Sie es von einer professionellen, webbasierten Top 3 Browser-basierten IDE erwarten, um in der Cloud zu codieren Die Top 3 Browser-basierten IDEs um in der Cloud zu codieren Lesen Sie mehr Entwicklungstool, das kommt mit Funktionen, die jeder Programmierer würde als wesentlich erachten, wie Syntax-Highlighting.
Es gibt eine Reihe von Sprachen im Angebot. Dazu gehören Python Die 5 besten Websites Python zu lernen Programmierung Die 5 besten Websites Python Programmierung zu lernen In den letzten zehn Jahren ist die Python-Programmiersprache in der Popularität unter Programmierern in allen Bereichen der Codierung explodiert. Von Web-Entwicklern über Videospiel-Designer bis hin zu Inhouse-Tool-Creators sind viele Menschen in ... Read More geraten, eine beliebte Skriptsprache, die von Google und der NASA verwendet wird; Ruby 3 Interaktiv, unterhaltsam und kostenlos Beginn der Lernphase Die Ruby-Programmiersprache 3 Interaktiv, unterhaltsam und kostenlos Beginn der Lernphase Ruby-Programmiersprache Ruby ist eine ausdrucksstarke Skriptsprache auf hohem Niveau. Es wird im Web hauptsächlich als Teil des Web-Entwicklungs-Frameworks von Ruby on Rails verwendet, ist aber auch eigenständig. Wenn Sie neugierig sind, was Ruby (nicht ... Lesen Sie mehr, die eine Reihe von beliebten Websites wie Living Social und die beliebte statistische Analyse Sprache, R.
Darüber hinaus können Sie Code auch über die Befehlszeile schreiben, indem Sie SSH, Git und einen beliebigen Texteditor verwenden. Ja, das hast du richtig gelesen. SSH Was SSH ist und wie es sich von FTP unterscheidet [Technologie erklärt] Was SSH ist und wie es anders ist als FTP [Technologie erklärt] Lesen Sie mehr. Jede Box, die Sie verwenden, ist ein eigenes Linux-Konto und Sie können sich mit ihm wie mit einem VPS oder einem anderen Shell-Konto verbinden. Es gibt eine Reihe von Text-Editoren zur Verfügung, einschließlich Vim Die Top 7 Gründe, den Vim Text-Editor eine Chance zu geben Die 7 besten Gründe, den Vim Text-Editor eine Chance zu geben Seit Jahren habe ich einen Texteditor nach dem anderen versucht. Du nennst es, ich habe es versucht. Ich habe jeden einzelnen dieser Editoren für mehr als zwei Monate als meinen primären täglichen Editor verwendet. Irgendwie, ich ... Lesen Sie mehr, die mit Plugins und durch die Bearbeitung der Konfiguration erweitert werden kann. Diejenigen, die von Vim eingeschüchtert sind, können Nano verwenden, einen einfachen Befehlszeilen-Texteditor.
Die installierten Bibliotheken sollten ausreichen, um Tools zu schreiben, mit denen Daten abgerufen und verarbeitet werden können. Wenn Sie etwas unklareres benötigen, können Sie immer ein virtualenv von der Befehlszeile erstellen. Wie Sie sehen können, gibt es eine große Flexibilität für Entwickler.
Datenvisualisierung
Also, du hast deine Daten. Du hast es normalisiert. Du hast es gereinigt. Du hast es analysiert. Jetzt ist es an der Zeit, einige Visualisierungen zu machen und der Welt zu zeigen, was Sie gelernt haben.
ScraperWiki ermöglicht es Entwicklern, ihre Daten über Webseiten anzuzeigen, die aus den allseits bekannten Dreiecken HTML, CSS und JavaScript aufgebaut sind. Darüber hinaus werden Bootstrap-Komponenten standardmäßig unterstützt.
Es gibt eine Reihe von vorgefertigten Visualisierungen, einschließlich solcher, die Ihre Daten auf einer Karte darstellen und Trends in Ihren Ergebnissen finden. Um diese zu verwenden, müssen Sie sicherstellen, dass Ihre Daten als SQLite-Datei mit dem Dateinamen "scrapperwiki.sqlite" gespeichert sind. Dann fügen Sie einfach die Visualisierung hinzu, an der Sie interessiert sind. Einfach, oder?
Fazit
ScraperWiki bietet Entwicklern, die eine Datenanalyse durchführen möchten, ohne dass ihre Entwicklungsumgebung ihnen in die Quere kommt, eine Menge an Flexibilität, um selbst die anspruchsvollsten Benutzer zufrieden zu stellen. Aber was denkst du? Lass es mich in den Kommentaren unten wissen.
Bildnachweis: Rocket Science (Dan Brown)