[Talk-es] instalación y configuración de un servidor para t en h

[Francisco R. Santos]

Buenas,

Os comento, por lo que sé, cual es el trabajo y problema de dev: el trabajo
principal actualmente de este servidor, y el que le da mayor carga, es t en h.
Otro trabajo que se me ocurre es la generación de los planet semanales. No
sé si tendrá otros cometidos, pero de todas formas, eliminando t en h debería
poder con el resto sin mayores problemas.

Según tengo entendido, el procesamiento viene a ser algo de este estilo:
* El cliente le pide al servidor un tile para renderizar, la cual se obtiene
de la base de datos.
* Una vez que el cliente ha terminado de renderizar el tile, lo comprime y
lo envía al servidor. Desde la versión "Jever", de la semana pasada, antes
de enviar el fichero, pregunta al servidor si ya tiene muchos ficheros en
cola, y si es así, se espera.
* El servidor coge el fichero más antiguo de la cola y lo descomprime,
actualizando en la BBDD el estado del nivel 12 de la tile (existe, no
existe, fecha y usuario de generación, ...) así como el estado de la
petición.
* Estas imágenes se sirven luego mediante Apache para el slippymap

Por tanto, tenemos aquí tres partes que compiten con IO: BBDD, descompresión
de los tiles y el webserver. Para mi entender, lo que lo mata es la
escritura a disco (la descompresión) de los tiles y moverlos a su destino
final.

No sé si lo mejor será hacer un raid sobre los discos, o, como podemos
separar muy bien los datos (las tiles están organizadas en directorios
zoom/x/y.png o algo similar), separar manualmente las tiles entre los
discos. De hecho, incluso se podría separar entre los distintos discos de
los servidores, y hacer luego que el apache redireccione a uno u otro en
funcion de las coordenadas de la tile.

Bueno, yo me apunto a lo del viernes. Pero eso sí, para hacer cosas en
serio. Las destrucciones de vi/emacs las dejamos para otro día, ¿ok? ;-)

Saludos,
Quico


On 7/3/07, José Ramón Torregrosa Durán <vectorblanco en gmail.com> wrote:
>
> ¡Holas!
>
>
> En la lista t en h me han comentado que lo correcto sería primero realizar
> una instalación y configuración de las máquinas que tenemos disponibles, y
> empezar a hacer pruebas para comprobar que tanto la conexión a internet como
> el hardware disponible son más rápidos que lo que ya funciona. Muy
> razonable.
>
> Es por ello que os pido ayuda en cuanto a la configuración de las
> máquinas.
>
> En principio disponemos de 2 máquinas:
>
>
> AMD3800x2 Socket AM2
> 2x 1GB Kingston DDRII 667
> 2x SATAII 7200 rpm 320GB, 16MB cache HDDs
> 1x IDE 7200 80GB
>
> Dual p3 1Ghz
> 1GB pc133 RAM
> 4 SCSI 10k rpm hdds, 2x18Gb, 2x36GB
>
> Opcionalmente podríamos incluso disponer de una tercera, amd64 3000+, con
> 512MB de RAM.
>
> En base a las estadísticas de dev:
>
> http://munin.openstreetmap.org/openstreetmap/dev.openstreetmap.html
>
> se ve que la mayor parte del tiempo el sistema espera por entrada salida.
>
> Durante la reunión, se comentó que sería bueno instalar el sistema en el
> disco ide de la máquina1, y que la base de datos vaya en un raid stripping
> sobre los otros dos discos.
>
> También se dijo que sería posible hacer una especie de swap rápida en los
> discos SCSI de la máquina 2.
>
> Ahora es el momento de postear enlaces, howtos, minihowtos, etc...
>
> También sería muy útil que algún alma cándida nos detallara qué trabajo
> hace dev *exactamente* para comprender mejor cómo mejorar su rendimiento.
>
> ¿Os parecería bien otra pequeña reunión este viernes en la EUI de la UPM a
> las 19.00 para ponernos manos a la obra?
>
> Un saludo.
>
> PD. Os pongo una fotillo de los que andábamos por ahí el otro día. =)
>
>
>
> _______________________________________________
> Talk-es mailing list
> Talk-es en openstreetmap.org
> http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-es
>
>
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://lists.openstreetmap.org/pipermail/talk-es/attachments/20070703/0455375a/attachment.html>