[OSM-ja] オルソ化空中写真( キャッシュ終盤)

[SHIBATA Akira]

柴田(あ)です。

<x2pbfa292781003262045sb0dacfa4wc32dca453bfe154c ＠ mail.gmail.com> の、
   "Re: [OSM-ja] オルソ化空中写真( キャッシュ終盤)" において、
   "Fri, 26 Mar 2010 20:45:26 -0700" 発信のメイルで
   "Shun N. Watanabe"さんは書きました：

> > 現在並列 4 本にしてますが 200kbps くらいです。
> > 帯域制限かかっているのかもしれません。
> 
> 柴田さんは、今のところ並列でなにかダウンロードする必要はありません。
> 繰り返す必要もありません。
> 下手に並列して、コンフリクトが起きると、タイルを壊す可能性があるので、
> やめてください。

ということで、停止しました。

次に
$ bash ./download0322.sh 115104 51712 115552 51936
ということで、山下さんの所からのダウンロード？を
はじめました。


> > この 60GB をそろそろ再配布というか相互補完の手段を考えたいです。
> > 一応上りは 2Mbps くらいあるのでみんなでキャッシュが終わったら
> > wget でもらっていって欲しいと思ってます。
> 
> 実は、もう終わりました。
> あとは、私が柴田さんに消してもらった壊れタイルと、
> 前回のとりそこねを埋めたらそのしごとは終わりです。

コッチは 3/21 にもう終わっていますね。


> > どのタイルが取れているかなどをうまいこと可視化できる方法ありませんか？
> > ＞識者
> 
> 私が持っている物は、こんな感じで可視化されています。
> http://38.127.225.239/Browse/map.html?lat=34.94421&lon=135.73231&zoom=12&layers=00BFT
> 
> 他の人が持っている物は、正確にはよくわからないです。

みました。
いいですねー。
どういう仕組みで動いているかはちっとも想像が
つきませんので、当方での実装は全く可能性がありません。

できるとすれば、今は apache に indexes の設定が
いれてあるので、wget のリカーシブコピーで
もっていってもらうのが当方の手間ナシでいいかなと
思いつきました。


イマドキ 300GB はそれほど大きな量でもないので
何人かのところに同じデータ(今回はオルソ写真)で
全部があって、欲しい人はローカルに同じ全部コピーを
つくれるといいなぁと。
sh download
すると中に
wget -a download.log -O $filename http://serverA/17/$Ax/$Ay &
wget -a download.log -O $filename http://serverB/17/$Bx/$By &
 :
wget -a download.log -O $filename http://serverY/17/$Cx/$Cy &
wget -a download.log -O $filename http://serverZ/17/$Dx/$Dy &
みたいにして並列して複数のサーバに取りに行くようにすれば
それぞれのサーバもラクでコピーを作る人も自分のところのダウンロード
帯域を全部つかて作業できるようなきがします。
wget をつかって rsync みたいな感じといえばいいでしょうか？

サーバリストをどうするのかとか、そもそもその全部持ってるサーバに
なるまでに個別のデータをどう集めるのか、そういうあたり思いつかないの
ですけれども…

ソコにしかないデータを保有しているサーバがあったりすると
ヤなことが起こりますが、みんな持ってるデータを保有している
サーバならさほど問題ないと思います。

-- 
あまねく生命に、あまねく知性に、最大の幸福を願う
help ＠ eva.gr.jp      http://www.psychoscape.net/