Skocz do zawartości
mcbarlo

Optymalizacja pod kątem odczytów z dysków HDD

Rekomendowane odpowiedzi

Mam taki scenariusz:

 

- duży storage około 120TB z 12 dysków

- spore pliki powyżej 100 MB

- same odczyty

 

Głównie leży i dłubie w nosie, ale czasem musi się spocić. No i jak trzeba odczytać z niego sporą ilość danych jednocześnie tj. dostęp do kilkuset plików na raz to zaczynają się problemy. Odczyt na poziomie 50 MB/s per dysk to w zasadzie wszystko co można zrobić i kończą się iopsy.

 

Czy macie jakieś realnie działające i sprawdzone metody optymalizacji tego typu przypadku? W zasadzie system plików, scheduler, dirty_ratio niczego nie zmienia. Z powodu kosztów ciężko będzie zbudować to samo na SSD, ale jakiś cache SSD jest już do zrobienia. Tylko tu też nie wiem jaki - może l2arc z ZFS?

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

U nas na serwerach bardzo dobrze działa cachecade na dyski SSD. Odczuwalny jest skok wydajnościowy gołym okiem w porównaniu do testów zwykłych macierzy.

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

Jakiej wielkości jest cache i storage? Obawiam się, że cache do 120 TB powinien być całkiem spory żeby to miało sens.

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

Jeśli bottleneckiem jest I/O to warto rozważyć fs, który oferuje natywnie kompresję, ZFS będzie bardzo dobrym wyborem pod storage, i kompresję również oferuje.

  • Lubię 1

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

Dane są już skompresowane. Compress ratio jest 1.00x. :) Za to ZFS jest kuszący pod kątem l2arc i możliwości dowolnego manipulowania wielkością bloku.

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
27 minut temu, mcbarlo napisał:

Jakiej wielkości jest cache i storage? Obawiam się, że cache do 120 TB powinien być całkiem spory żeby to miało sens.

 

Wiesz co tutaj nie mam danych, ale na pewno musisz liczyć kilka dobrych dysków.

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

Najchętniej użyłbym na cache dysków nvme żeby nie zajmować ramek co skutecznie eliminuje cachecade. Choć mogę się mylić.

 

Czy celowanie w cache na poziomie 10% całego storage powinno dać spore przyspieszenie? Wiem, że to pytanie do szklanej kuli, ale możesz jakieś doświadczenie w tej kwesti masz? :)

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

Wielu sie juz wypowiedalo w temacie ale ja moze troche inaczej ugryze temat:

 

- co to sa za  dyski ? model/iops ?, kontroler sprzetowy ? jakis raid ? ile masz ramu w maszynie i jaki volument ruchu i jego zmiennosc ?

- jaka natury jest ten ruchy, bo z tego co opisujesz wynika iz raczej jest to ruch ktory wypada z cache lub jest modyfikowany wiec tak naprawde wlozenie czegokolwiek jako "cache" za wiele nie pomoze, pagecache w ramie zawsze bedzie szybszy niz nvme, ssd i cokolwiek innego,  oczywiscie ram jest drozszy... ale nadal to wszystko zalezy jakiej natury masz ruch z twojego use case wynika ze raczej czytasz caly czas "nowe" pliki ktore dopiero leca do cachu

- zfs kompresje w nim, zil/arc itd ok... wszystko pieknie ale to nadal nie zmienia faktu ze czytajac new/mod files musisz odwolac sie do swojej macierzy HDD

- pytam o te dane bo jesli masz malo ramu i ciagle z niego ewikty leca to ssd cache bedzie mial sens, czy zrealizujesz to na zfs czy cacecached czy chocby facebookowy ssdcache lub zwykl dm-cache jeden grzyb... roznice sa oczywiscie w detalach, nie wiemy jaki masz sprzet tam jaki cpu, wiec tutaj ostrozeni z ZFS i kompresja... numa/iterconnect moze byc twoim wrogiem tutaj (nie wiemy jaki jest iosize)

 

poprostu wrzuc wiecej suchych danych sprzetowych/conf i dorzuc jakeis wykresy z nie wiem chociaz 72H z IO i jego specyfikacji , na tej podstawie mozna cokolwiek dopiero szukac dalej

 

Pozdrawiam

 

Edytowane przez servizza
dodac za

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się

  • Przeglądający   0 użytkowników

    Brak zarejestrowanych użytkowników, przeglądających tę stronę.

×

Powiadomienie o plikach cookie

Korzystając z forum, wyrażasz zgodę na: Warunki użytkowania, Regulamin, Polityka prywatności.