[OSM-ja] キャッシュデータの分割

2010年 3月 16日 (火) 05:56:26 GMT

柴田(あ)です。

<bfa292781003152227g7fabea2bgd209a73e70fdcf00 ＠ mail.gmail.com> の、
   "Re: [OSM-ja]キャッシュデータの分割" において、
   "Mon, 15 Mar 2010 22:27:20 -0700" 発信のメイルで
   "Shun N. Watanabe"さんは書きました：

> nazotoko の渡邊です。
> 
> 2010/3/15 SHIBATA Akira <help ＠ eva.gr.jp>:
> > 柴田(あ)です。
> >
> > <bfa292781003151125i36a34807pd01d551b204e2379 ＠ mail.gmail.com> の、
> >   "Re: [OSM-ja]キャッシュデータの分割" において、
> >   "Mon, 15 Mar 2010 11:25:20 -0700" 発信のメイルで
> >   "Shun N. Watanabe"さんは書きました：
> >
> > 質問が二つあります。
> >> 柴田(あ)さん
> >> 中国四国から中部 (113664,50400) - (116096,52928)
> >> http://www.osm.org/?minlon=132.188873&maxlat=38.340579&maxlon=138.86856&minlat=32.693710&box=yes
> >
> > ○その１
> > スクリプトの数値範囲について…
> > (116096-113664)/32 * (52928-50400)/32 → 76 * 79 → 6004
> > 数値を変化させて約六千回スクリプトを
> > 回すってことでよいでしょうか？
> 
> おしいです。柴田さんの領域は海が多いので、実際は2000回ほどです
> 後で、その二千回を自動で回す何かをあげるので、とりあえず
> 京阪神をうめておいてください。

かしこまりました。
ただ、早さを追求するなら、許される限り並列度を
上げたほうがいいように思います。

というのも、現在のところ
113664	52032	113696	52064
から
116064	52032	116096	52064
スクリプトを「一本回し」でやってると回線もサーバもヒマなので
上記の帯の地域について、スクリプトを最大 37 本並列稼動して
回しています。
が、下の df の結果のように一時間で 1GB も行きません。
ちょー遅くてゲンナリです。
並列度を 76 とかにするとか考えましたが、
DoS になりそうな気がするので、控えてます。

やっても良さそうならやっちまいます。
ご指示いただけますればと思います。

一応下りの実力は 15Mbps くらいあるハズなのに
2Mbps くらいしか占有してませんからもっと
いけるはずです。
munin で見る限り CPU もまだまだヒマです。

help ＠ saba:~$ date ; df
Tue Mar 16 13:05:42 JST 2010
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sdd1            1922858352   4566556 1820616196   1% /home/osm/public_html
help ＠ saba:~$ date ; df
Tue Mar 16 14:07:51 JST 2010
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sdd1            1922858352   5438072 1819744680   1% /home/osm/public_html
help ＠ saba:~$ date ; df
Tue Mar 16 14:42:37 JST 2010
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sdd1            1922858352   5811032 1819371720   1% /home/osm/public_html


> > ○その２
> > 画像がダウンロードされないところについて
> > うまくイカン事こともあろうから、何度かスクリプトを
> > 回せとの指示だと理解しました。
> > ところが、下の URL のようにたぶん 10 回くらいはやってみましたが、
> > 画像がとれないところがあるようで、これは
> > ・時々その範囲のスクリプトをまわしてみ
> > ・気にするな、あきらめろ
> > ・その他
> > などのどれが対処としてよいでしょうか？
> > http://38.127.225.239/Browse/map.html?lat=34.6978&lon=135.50897&zoom=17&layers=000FB
> 
> 調べたらすごいレアケースで、タイルを作ったサーバー側のファイルが壊れてました。
> 直したので、柴田さんもそのファイルをいっぺん決して取り直してください。
> 17/114873/52051 です。

かしこまりました。
これから工事に出かける予定なので、後ほど作業します。
これはいただいたスクリプトをつかって眺めていたら
偶然発見したものでした。


> > P.S.
> > 開始後約 10 時間で全容量 1.8TB 中 2.4GB のダウンロードが
> > 終わっているようです。
> > 荒野に掘っ立て小屋みたいな感じ…
> 
> 私的には、全容量より、残り時間の方が気になって仕方ないです。

同意します。


> http://38.127.225.239/User/
> の記録が確かなら、まだ39GB しかタイルを作ってません。
> あと、370 時間ほどで、300 GB の予想が正しいなら、
> 一時間800 MB ほど作らないと間に合わない気がします。
> これを見ていると、山下さんのサーバー早い。
> やっぱり、データの太平洋海外往復はダメですね。
> 最後には山下さんに柴田さんに渡すためデータを作ってもらうかもしれません。

最終引き受けを当方にして、山下さんのところを
キャッシュみたいな感じでもいいです。
まずは、限られた時間で引き出せるだけ引き出して
おきたいですね。
# 銀行の取り付け騒ぎのようで… (^^;


あとで OSM のサーバに移してみんなで使えるように
するときに智恵をお貸しください。 m(_|_)m

-- 
あまねく生命に、あまねく知性に、最大の幸福を願う
help ＠ eva.gr.jp      http://www.psychoscape.net/