[Talk-ee] Kaardiserver - tehnilisi detaile ainult friikidele

[Jaak Laineste]

On 29.12.2011, at 13:39, Margus Värton wrote:

> 29.12.2011 10:42, Jaak Laineste kirjutas:
>>> seda 2x kiiruse suurendamist kodu impordile või ketaste osale? FS
>>> kindlasti ei mängi nii suurt rulli. BTRFS vs. ext4 BTRFS on küll
>>> aeglasem aga see ei ole nii suur vahe. Samas tundub, et BTRFS -l on
>>> suurem tulevik kui EXT -l ... aga kst.
>> Ega ei tea enne proovimist konkreetse asjaga. Mõned mõõtjad nt [1] näitavad et vahe võib olla kordades, teised [2] jälle et vahe on suht väike. Neid esimesi on mul rohkem ette jäänud. Funktsionaalses mõttes on jah btrfs tulevik ja võibolla linuxi vaikimisi failisüsteem kunagi, küsimus on et kas ta on ka produktsioonis kasutatav täna, ning mitmed on järeldanud et kiiruse tõttu veel mitte. Või siis kui ma [4] õigesti aru saan, siis võiks kerneli 3.0 uuendus (mis peaks suht lihtsalt tehtav olema) aidata.
>> 
> Minu arusaamine on, et btrfs kasutuselevõtu mõte oli luua alus tulevasele võimalikule deduppimisele, ja selle mõte oleks ennekõike tileseti kettaruumivajadust vähendada. Kui meil on põhjust arvata, et andmebaasi jaoks ei ole see hea failisüsteem, siis võib seda ju ometigi muuta. Need kiired andmebaasikettad on nii väikesed, et nendest varuoopia tegemine suurtele ketastele ei tohiks olla üle mõistuse keeruline ning ka koopia taastamine võiks käia piisavalt kiirelt. Jaagu toodud näidete põhjal võiks arvata, et ext4 peaks jõudlust oluliselt tõstma. Kui nii, siis saab seda ju teha. Distro standardist eemale ajamise osas - ja seda ju kerneli vahetus on - oleksin ma ettevaatlik. Ja suured kettad jätaksin btrfs-ile.

 Praegu võtavad erinevad eeltäidetud tile cached kokku mõned gigad (mapproxy 332 M, mapnik 6.3 G). Suurim osa on eestikeelse Mapniku eelgenereeritud zoomid 16 (1.1G) ja 17(2.5G). Meie kasutuse juures aegub suurtel zoomidel kaart niikuinii piisavalt kiiresti, et cache jõuab andmete osas aeguda enne kui järgmine kasutaja sama tile-t tahab näha, ses mõttes 16-17 zoomi eelgenereerimine oli võibolla isegi liiast. Ühesõnaga mõttes kettaruumi on meil igal juhul lahedalt. Millega aga pitsitab on andmebaasi IO, eelkõige andmete uuenduse jaoks, seega peaksime omad baasid/failisüsteemid sellele just optimeerima.

 Nii, sain just paar tundi vana 28.12 seisuga planeedi kätte ja raid-0 ketastele (ext4 on seal) täis-import käima; baasi fsync=off. Näis kas õnnestub värskem baas saada kui eelnev 28-29 päev vana.

Jaak