[OSM-ja] キャッシュデータの分割

[SHIBATA Akira]

柴田(あ)です。

<bfa292781003171111k20214bcfg9e49f51d40c76836 ＠ mail.gmail.com> の、
   "Re: [OSM-ja]キャッシュデータの分割" において、
   "Wed, 17 Mar 2010 11:11:27 -0700" 発信のメイルで
   "Shun N. Watanabe"さんは書きました：

> nazotoko の渡邊です。
> 
> 2010/3/17 SHIBATA Akira <help ＠ eva.gr.jp>:
> > 柴田(あ)です。
> > http://38.127.225.239:8080/?MLITJ …
> > のパフォーマンスがめっちゃ落ちているように見えます。
> 
> 昨日柴田さんの負荷がきつすぎて、サーバーの持ち主から強制的にリセットを
> かけられました。柴田さんのIPアドレスが、ブラックリスト入りすると、
> いろいろこまるので、これをもう使わないでください。

教えてくださってありがとうございます。

当方あせっていて…
この週末にイベントがあって、少なくとも 24 時間は
まったく PC に触れない時間がありそうと考えていて
いない間でも wget を継続できるようにと仕込みの
方法を模索していました。

手動だとずっと張り付いていないといけないので…

で、いろいろ実験させてもらってやっと安定的に
並列状態を維持できるようにする方法を見つけました。
わかるまで 48 時間くらいかかったということでも
ありますが…


> 逆に184.73.236.108 は、かなりの負荷に耐えられるタイプのサーバーです。
> こっちはまだ暇で、千葉茨城が終わったらやること無いので、
> こっちに回してください。

現在安定的に 8 〜 12 ほど並列に回っていると思います。
これ以上増やしてもしょうがない気がしますがいかがでしょう？


ということで下に二点ほど…

○並列 wget の数を制限する方法について

wget するスクリプト(downdoad.sh)について下のように記述
  #!/bin/sh
  bash ./download.sh XXXXX+(32x0) YYYYY XXXXX+(32x0)+32 YYYYY+32 &
  bash ./download.sh XXXXX+(32x1) YYYYY XXXXX+(32x1)+32 YYYYY+32 &
   :
  bash ./download.sh XXXXX+(32x6) YYYYY XXXXX+(32x6)+32 YYYYY+32 &
  bash ./download.sh XXXXX+(32x7) YYYYY XXXXX+(32x7)+32 YYYYY+32
  bash ./download.sh XXXXX+(32x8) YYYYY XXXXX+(32x0)+32 YYYYY+32 &
  bash ./download.sh XXXXX+(32x9) YYYYY XXXXX+(32x1)+32 YYYYY+32 &
   :
  bash ./download.sh XXXXX+(32x14) YYYYY XXXXX+(32x14)+32 YYYYY+32 &
  bash ./download.sh XXXXX+(32x15) YYYYY XXXXX+(32x15)+32 YYYYY+32
ってな感じに並列に動かしたいスクリプトをいくつか書いて
行末のアンパサンド「 & 」で「バックグラウンドに移し、
何行かに一つアンパサンドを抜くという方法です。

前提は wget するスクリプトがだいたい同じペースで動いて
くれることです。
特に行末にアンパサンドがついていない行がさっさと終わると
次のアンパサンドが付いている行が動き出して負荷が
急激に上がります。

実験で sleep とか使ってみたりしましたが、
この方法のほうが簡単でかつ途切れがないようにおもいます。
あと親プロセスの kill の仕方によってはゾンビになって
wget のスクリプトが急激にたくさん動いたりして、これまた
面倒なことになりました。
多分強制的リセットがかかったのはその辺の並列実験をしていた
ためだろうと思います。
# ってわかっているひとには当然のことかもしれませんが、
# 当方のような wget 初心者には負荷のかけ方がわかって
# いませんで、他の方の益になればと思います。


○遺言のような (笑
多分そうなりませんが、万一のときにはということで…
先述の内容にて少なくとも 24 時間は PC に触れない予定なのは
この週末に自転車の遠乗りのイベントのためです。
ですので、少なくとも 24 時間は触らなくても黙って稼動する
ことを期待しているわけです。

3/19 の宵の口くらいには測定経験から 36 時間分くらいの
エリア指定を投入しようと思います。
# 疲労困憊したあとゆっくり寝られる期待 (^^;

まぁ、それはおいといて、万一帰ってこなかったときに、
当方が wget したデータについて永続的に見える状態とは
いえませんので、当方のサーバから抜いていっていただけると
ありがたいです。
当方のサーバから wget で抜く方法は多分渡邊さんなら
範囲と方法をご存知ですので、ソのときにはヨロシクです＞各位

や、還ってくるつもりですけど、永久にというのは一番避けたくて
何日かとかいうのも次善(笑)ということで、継続性をと思います。
要は「ソの場合」に親族にサーバの電源を落とされるまでに
回収していってもらえればと。

-- 
あまねく生命に、あまねく知性に、最大の幸福を願う
help ＠ eva.gr.jp      http://www.psychoscape.net/