Optymalizacja pod kątem odczytów z dysków HDD

[mcbarlo]

Mam taki scenariusz:

 

- duży storage około 120TB z 12 dysków

- spore pliki powyżej 100 MB

- same odczyty

 

Głównie leży i dłubie w nosie, ale czasem musi się spocić. No i jak trzeba odczytać z niego sporą ilość danych jednocześnie tj. dostęp do kilkuset plików na raz to zaczynają się problemy. Odczyt na poziomie 50 MB/s per dysk to w zasadzie wszystko co można zrobić i kończą się iopsy.

 

Czy macie jakieś realnie działające i sprawdzone metody optymalizacji tego typu przypadku? W zasadzie system plików, scheduler, dirty_ratio niczego nie zmienia. Z powodu kosztów ciężko będzie zbudować to samo na SSD, ale jakiś cache SSD jest już do zrobienia. Tylko tu też nie wiem jaki - może l2arc z ZFS?

[Poziomecki]

U nas na serwerach bardzo dobrze działa cachecade na dyski SSD. Odczuwalny jest skok wydajnościowy gołym okiem w porównaniu do testów zwykłych macierzy.

[mcbarlo]

Jakiej wielkości jest cache i storage? Obawiam się, że cache do 120 TB powinien być całkiem spory żeby to miało sens.

[Archi]

Jeśli bottleneckiem jest I/O to warto rozważyć fs, który oferuje natywnie kompresję, ZFS będzie bardzo dobrym wyborem pod storage, i kompresję również oferuje.

[mcbarlo]

Dane są już skompresowane. Compress ratio jest 1.00x.  Za to ZFS jest kuszący pod kątem l2arc i możliwości dowolnego manipulowania wielkością bloku.

[Poziomecki]

27 minut temu, mcbarlo napisał:

Jakiej wielkości jest cache i storage? Obawiam się, że cache do 120 TB powinien być całkiem spory żeby to miało sens.

 

Wiesz co tutaj nie mam danych, ale na pewno musisz liczyć kilka dobrych dysków.

[mcbarlo]

Najchętniej użyłbym na cache dysków nvme żeby nie zajmować ramek co skutecznie eliminuje cachecade. Choć mogę się mylić.

 

Czy celowanie w cache na poziomie 10% całego storage powinno dać spore przyspieszenie? Wiem, że to pytanie do szklanej kuli, ale możesz jakieś doświadczenie w tej kwesti masz?

[servizza]

Wielu sie juz wypowiedalo w temacie ale ja moze troche inaczej ugryze temat:

 

- co to sa za  dyski ? model/iops ?, kontroler sprzetowy ? jakis raid ? ile masz ramu w maszynie i jaki volument ruchu i jego zmiennosc ?

- jaka natury jest ten ruchy, bo z tego co opisujesz wynika iz raczej jest to ruch ktory wypada z cache lub jest modyfikowany wiec tak naprawde wlozenie czegokolwiek jako "cache" za wiele nie pomoze, pagecache w ramie zawsze bedzie szybszy niz nvme, ssd i cokolwiek innego,  oczywiscie ram jest drozszy... ale nadal to wszystko zalezy jakiej natury masz ruch z twojego use case wynika ze raczej czytasz caly czas "nowe" pliki ktore dopiero leca do cachu

- zfs kompresje w nim, zil/arc itd ok... wszystko pieknie ale to nadal nie zmienia faktu ze czytajac new/mod files musisz odwolac sie do swojej macierzy HDD

- pytam o te dane bo jesli masz malo ramu i ciagle z niego ewikty leca to ssd cache bedzie mial sens, czy zrealizujesz to na zfs czy cacecached czy chocby facebookowy ssdcache lub zwykl dm-cache jeden grzyb... roznice sa oczywiscie w detalach, nie wiemy jaki masz sprzet tam jaki cpu, wiec tutaj ostrozeni z ZFS i kompresja... numa/iterconnect moze byc twoim wrogiem tutaj (nie wiemy jaki jest iosize)

 

poprostu wrzuc wiecej suchych danych sprzetowych/conf i dorzuc jakeis wykresy z nie wiem chociaz 72H z IO i jego specyfikacji , na tej podstawie mozna cokolwiek dopiero szukac dalej

 

Pozdrawiam

 

Edytowane 12 Grudnia 2018 przez servizza
dodac za