Manchmal reicht es nicht aus, eine Website lokal in Ihrem Browser zu speichern. Manchmal brauchst du ein bisschen mehr Kraft. Dafür gibt es ein nettes kleines Befehlszeilenwerkzeug, das als Wget bekannt ist. Wget ist ein einfaches Programm, das Dateien aus dem Internet herunterladen kann. Sie wissen vielleicht schon viel über Wget, aber nachdem Sie diesen Artikel gelesen haben, werden Sie bereit sein, es für alle Arten von Tricks zu verwenden.
Wget kann nativ in der UNIX- und Windows-Befehlszeile verwendet werden, aber es ist möglich, wget unter Mac OS X zu installieren. Wie man Wget für Ihren Mac bekommt Wie Sie Wget für Ihren Mac bekommen Macs sind großartig, mit ihrer ordentlichen Benutzeroberfläche und einer Unix-Rückseite -Ende. Manchmal hat man das Gefühl, man kann mit ihnen alles machen. Bis du eines Tages versuchst, etwas Einfaches zu tun, und du ... Read More mit ein bisschen Schmeichelei. Sobald Sie wissen, welche Dinge Sie für Wget verwenden können, ist es für jedes Betriebssystem portierbar - und das ist praktisch. Was noch besser ist, ist, dass wget in Batch-Dateien und Cron-Jobs verwendet werden kann. Hier sehen wir die wahre Kraft hinter wget.
Grundlegende Wget
Die grundlegende Verwendung ist wget URL .
wget http://makeuseof.com/
Die einfachsten Optionen, die die meisten Leute kennen müssen, sind der Hintergrund ( wget -b ), der partielle Download ( wget -c ), die Anzahl der Versuche ( wget -tries = NUMBER ) und natürlich die Hilfe ( wget -h ), um sich an alles zu erinnern die Optionen.
wget -b -c -tries = NUMMER-URL
Moderat erweiterte Wget-Optionen
Wget kann auch im Hintergrund laufen (wget -b ), die Geschwindigkeit des Downloads begrenzen ( wget -limit-rate = SPEED ), kein Parent, um sicherzustellen, dass Sie nur ein Unterverzeichnis ( wget -np ) herunterladen, nur geänderte Dateien aktualisieren ( wget -N ), spiegle eine Site ( wget -m ), stelle sicher, dass keine neuen Verzeichnisse erstellt werden ( wget -nd ), akzeptiere nur bestimmte Erweiterungen ( wget -accept = LIST ) und setze eine Wartezeit ( wget -wait = SECONDS ) .
wget -b --limit-rate = GESCHWINDIGKEIT -np -N -m -nd --accept = LIST --wait = SEKUNDEN-URL
Mit Wget rekursiv herunterladen
Sie können rekursiv herunterladen ( wget -r ), Hosts in andere Domänen umspannen ( wget -H ), Links in lokale Versionen konvertieren ( wget -convert-links ) und die Rekursionsstufe festlegen ( wget -level = NUMBER mit inf oder 0 für unendlich ).
Einige Websites möchten jedoch nicht, dass Sie rekursiv herunterladen und überprüfen, welchen Browser Sie verwenden, um den Bot zu blockieren. Um dies zu umgehen, deklarieren Sie einen Benutzeragenten wie Mozilla ( wget -user-agent = AGENT ).
wget -r -H --convert-links --level = NUMBER --user-agent = AGENT-URL
Passwortgeschütztes Wget
Es ist möglich, den Benutzernamen und das Passwort für eine bestimmte URL zu deklarieren, während Sie wget verwenden ( wget -http-user = USER -http-password = PASS ). Dies wird auf freigegebenen Computern nicht empfohlen, da jeder, der die Prozesse anzeigt, das Kennwort im Klartext sehen kann.
wget --http-user = BENUTZER --http-password = PASS-URL
Ein Beispiel dafür ist die Verwendung von wget, um Ihre Aufgaben zu sichern. Remember The Milk Die besten Back-Up-Tipps für Ihre RememberTheMilk-Aufgaben Die besten Back-Up-Tipps für Ihre RememberTheMilk-Aufgaben Für viele von uns, die in der Cloud arbeiten, sind wir gekommen sich sehr auf unsere Lieblingsservices zu verlassen. Manchmal lieben und vertrauen wir ihnen auch ein bisschen mehr, als wir es manchmal tun sollten, ... Read More.
Wget-Massen-Download
Erstellen Sie zuerst eine Textdatei aller URLs, die Sie herunterladen möchten, mit wget und nennen Sie sie wget_downloads.txt . Um anschließend URLs in großen Mengen herunterzuladen, geben Sie folgenden Befehl ein:
wget -i wget_downloads.txt
Coole Anwendungen für Wget
Dadurch wird eine Website gecrawlt und eine Protokolldatei mit defekten Links erstellt:
wget --spider -o wget.log -e robots = aus --wait 1 -r -p http://www.mysite.com/
Dies wird eine Textdatei Ihrer Lieblings-Musik-Blogs aufnehmen und neue MP3-Dateien herunterladen:
wget -r --level = 1 -H --timeout = 1 -nd -N -np --accept = mp3 -e robots = aus -i musicblogs.txt
Wozu benutzt du wget?
Bildquelle: Social Media Connection via ShutterStock, Junger Mann, Fernsehen über Shutterstock, Globus über Shutterstock