ホーム

OFF-SOFT.net

OFF-SOFT.net

ウェブやソフトウェアに関するサポート&情報サイトです。サイト構築からソフトウェアの作成、利用まであなたの助けになるかも・・・・しれません。たぶん・・。

Wgetを使ってサイトのまるごとダウンロード

公開日| 2009年07月11日 | コメントはまだありません。
色々な使い方
サイトを丸ごとダウンロードして、ミラーディスクを作成するコマンドの例
%解凍したディレクトリ%\bin>  wget -m http://www.example.com/

今度は、カレントディレクトリにwww.example.comというディレクトリが作成され、そこに全てのファイルがダウンロードされます。

jpgの拡張子を持つファイルのみをサイトを丸ごとダウンロードして、ミラーディスクを作成するコマンドの例
%解凍したディレクトリ%\bin>  wget -m -A.jpg http://www.example.com/ 

-A "*.jpg"'
でも同じ動作をします。また、".gif"ファイルも含めたい場合は、カンマで続けます。
-A .jpg,.gif
のようにです。
ここには、正規表現も使えます。
-A "200[0-9].jpg"
のようにです。
これを実行すると、2000.jpg - 2009.jpg の10個のファイル名の中で、存在するもの全てダウンロードします。

-Rは、-Aの逆で、指定された名前のファイルをダウンロードしません。

1ページに関連しているファイルを全てダウンロードするの例
%解凍したディレクトリ%\bin>  wget -p -k http://www.example.com/page1.html 

page1.htmlが必要としている画像ファイルやCSSファイル、音声ファイルなどを全てダウンロードします。
更に-kを指定しているので、このページをローカルディスク上(オフライン)で参照できるようにリンクを変更します。

ダウンロードの実行ログをファイルへ出力するの例
%解凍したディレクトリ%\bin>  wget -m http://www.example.com/ -o exec.log

exec.logへ、通常、画面出力される情報が出力されます。

ダウンロードの状況出力を一切止めるの例
%解凍したディレクトリ%\bin>  wget -m http://www.example.com/ -q

通常、画面出力される情報が、一切、出力されなくなります。

上記以外にも、プロキシの設定などもあります。
詳しくは、以下のページを参照してください。
http://www.gnu.org/software/wget/manual/wget.html

さて、最後になりましたが、GUI版のVisualWgetを使ってみましょう。

VisualWgetを使ってみる
先のダウンロード先から、ダウンロードします。
先にも記述しているとおり、これは、C#(2008)で開発されていますので、皆さんの環境によっては、ZIPファイルのみで良い場合もありますし、 .NETの環境まで必要とするかもしれません。
以下の記述を参考に(概要部分も参照してください)、インストールしてください。

判らない方は、まず、先のダウンロード先から、インストーラファイルをダウンロードし、インストールしてみます。
動かない場合は、上記の.NETの環境をマイクロソフトからダウンロードしてインストールしてください。

これは、C#(2008)で開発されていますので、.netの最新が必要かもしれません。
筆者の環境には、C#(2008)が入っていますので、ZIPの解凍だけで動作しましたが、そのような環境にない方は、インストーラからインストールを実行して、動作しないようであれば、 以下の.net環境をダウンロードしてみてください。(ほとんどの場合は、自動で必要なものをダウンロードしようとするとは思いますが・・・。)

まずは、インストール先のVisualWget.exe を実行します。


このように英語で表示されていますので、日本語へ切り替えます。
ツールバーの右のボタンをクリックします。画面の"Language"を"日本語"として、"OK"ボタンをクリックすると日本語へ切り替わります。




使い方は、簡単で、"新規ジョブ"([ファイル] - [新規ジョブ])でこれからダウンロードするサイトを指定します。
その際、以下の画面が表示されます。
左は、基本的なパラメータです。サイトの指定、ダウンロードしたファイルの出力先などです。
右が、Wgetのパラメータ群を細部に設定できる画面です。(パラメータのカテゴリが日本語で表示してあればもっと良いのですけどね。)
 

"OK"で即実行します。

"OK"で即実行したくない場合、後で実行したい場合は、"OK"ボタン左の"OKをクリックでジョブを開始"のチェックを外します。
後で実行する場合は、画面中央のリストに設定されたジョブが追加されているはずですから、ダブルクリックで上記の画面と同じ画面を表示します。
今度は、"OKをクリックでジョブを開始"というチェックボックスがありませんので、"OK"で即実行します。

Wgetのパラメータの意味を理解できていれば、このGUIは簡単ですが、そうでない場合は、単純な使い方以外、"拡張"というタブ画面を使いこなせないでしょう。
でも、コマンドラインでやるよりは、感覚的に楽な方も多いと思いますし、設定情報をファイルへ保存することも簡単にやってくれますから、これはこれで、使えると思います。

また、ここでは、wgetrcについて触れていませんが、プロキシのパラメータなどを指定することができるものです。
詳しくは、マニュアルを参照してください。
http://www.gnu.org/software/wget/manual/wget.html

コメント

コメントをどうぞ







  • はてなブックマークへ追加する
  • Facebookでシェアする
  • twitter でつぶやく
  • Google Plusでシェアする
  • Pocketでシェアする
ページトップへ