[OSM-ja] オルソ化空中写真( キャッシュ終盤)

2010年 3月 29日 (月) 00:46:59 BST

Mage Whopperです。

2010年3月29日2:24 Shun N. Watanabe <shunw ＠ ics.uci.edu>:
> nazotoko の渡邊です。
>
> もうあと70 時間ほどです。
> 記録によると4人で、180 GB ほどはタイルを作ったらしいです。
> たぶん半分位は埋まったんだと思います。
> 日本って広いですね。
>
> 劇的な展開だと、
> 「もうアレを使うしかない」とか
> 「この紋所が目に入らぬか」とか、
> いや最初からそれを出せよと突っ込みたい展開があったりしますが、
> そんな初めからだせよ的な最終兵器を
> http://72.44.54.189/
> でお待ちしてます。
>
> 何を出したいいか？
>
> 国土計画局のオルソ化写真は２つの方法でダウンロードできます。
> 一つはWMS で、もう一つはメッシュと呼ばれているtiff ファイルの
> タイルです。たぶんWMS はこのタイルを使って構成されてます。
> そのtiff ファイルをダウンロードする時に、zip ファイル化されてて
> xml のメタデータがついているzip ファイルをアップロードします。
> それ以外は受付られません。
> そしたら、とりあえずメタデータで範囲を表示して、裏でタイルを作ります。
> wms2tile を仕掛ける人は、ここの地図もみておいてください。
>
> なんで最終兵器化したか、
> 私が、メタデータが情報不足過ぎると勝手に思っていたからです。
> xml ファイルの存在に気づいてなく、中央座標小数点以下4桁じゃ
> 役に立たないと思ったからです。
> xml ファイルには四辺の座標が中央座標小数点以下15桁でかかれていました。
> おまけで、このtiff ファイルはgeo tiff なのじゃないかと思って、
> 中に何か書かれてないか調べていたら、
> geo tiff ではなく、
> 国土計画局のサーバーはWindows で動いているというどうでもいいことを知りました。
>
> 2010/3/25 Shun N. Watanabe <shunw ＠ ics.uci.edu>:
>> 次のタイプのキャッシュを作ってる人は、かなり参加可能性が高いです。
>> GeoWebCache のひと
>> http://geowebcache.org/trac
>>
>> 次のタイプのキャッシュを作ってる人は、解像度不足など難がありますが、
>> 可能性があります。
>> www ローカルプロキシなどに、bbox の値が記録されている人。
>> JOSM でレイヤーの保存をしてxml の記録がある人。
>
> 引き続きこの最終兵器の保持者も募集中です。
>

一つも試せていませんが
ダウンロードシステムからDLしたzipをuploadすると
タイルを生成してくれるシステムということですね。
ikiyaさんの出番ですね。
一気に試すのは公開停止後の方がいいのかもしれませんが。


tiffのDL方法はわかってはいるのですが
データが足りていません。
時間がないのでわかっていることだけ書きます。

tiffはWMSのように1枚の大きな絵が公開されているのではなく
何百枚かの巨大な写真が
ずれて重なり合って公開されています。

それぞれの写真も矩形ではなく、一定ではありません。
■■□□□□□□
□□□■■■■■
□□□■□□□□
■■□□□□□□
白い部分が写真で、こんな形で一枚だったりしており、
さらにいろいろな形の物が重なり合っています。
DLのページでメッシュの幅が等間隔ではないように見えるのは
複数の格子が重なっているためです。

この白い部分のファイルのメタ情報のうち
作成年、撮影年、作成月、メッシュ番号をもとに
ファイル名が決定されていて、
C""+作成年西暦の下2桁+""-""+撮影年西暦の下2桁+""-""+作成月+メッシュ番号
というファイルをダウンロードすればいよいので、
全体の形と、それぞれの行での左右の端のメタ情報がわかれば
楽にDLできるはずではあります。
メッシュ番号は8桁の整数で
上4桁が緯度、下4桁が経度のようです。

これらの数値が割り出せればいいのですが

1. 大きな絵は作成年/作成月ごとの単位となり、規則性はない
2. 複数の絵が重なり合っているので手動で端を見つける作業は
　泣けてくるほど辛い（かさなりが不明+全体として矩形ではない）
3. ほとんどの箇所において、地図の右端と左端では
　ことなる絵の端が見えているため重なりの解析は不可欠。

などで時間的に無理とあきらめていました。

DL方法は
NAME=ortho
VISITED=T
というcookieを渡して、download.html をreferにしつつ、以下の引数で
PhotoDownloadServletにファイル名をpostすると、
ファイルを返してきます。
ダウンロードシステムでダウンロードの一覧を右クリックできない、
かつ、リンクではなくボタンになっていて
DL済みがブラウザの機能ではなく表示するようになっているのは
このファイル名偽装を見えなくするためと思われます。

cookieはテキストで指定しています。

curl --cookie ./cookie.txt -d CSD_TYPE=2 -d SEARCH_TYPE=1 -d
IMAGE_TYPE=1 -d GROUP_ID=00 -d FILE_NAME=C07-xx-xx-xxxxxxxx --url
http://orthophoto.mlit.go.jp/PhotoDownloadServlet -e
http://orthophoto.mlit.go.jp/download.html -o "out3.zip" -S

FILENAMEのところに正しいファイル名を入れることができれば
zipをDLできます。しかし
前述の通り、ファイル名の生成規則が不明なのです。
作成年代や公開月がはいっているため
適当に生成するにしてもハズレが多すぎます。

ダウンロードシステムではこのファイル名を
今開いている画面のlat/lonをPhotoInfoServletにPOSTして
問い合わせるのですが、その詳細が追えていません。
今見ている画面に表示できそうな範囲の一覧を返してきており
一括DLには不向きということもあります。

動作はindex.html内のJSなのですが
それぞれの細かい処理は
http://orthophoto.mlit.go.jp/service/getScript?cpid=9000+&svid=ORTHO
の中に関数化されていて、
メンテナンス後は単独で取得もできなくなったようですね。
もともとgoogleのJS程度に空白圧縮してあるので
ブラウザで実行されているのであれば
tcpdumpで読めるはずではあります。
しかし時間的にはきびしすぎますね。。
ここから先既に解析完了されている方が今の時点でいなければ
手動*人海戦術の方が速いとおもいます。

Mage Whopper
magewhopper ＠ gmail.com