Skocz do zawartości
mcbarlo

Optymalizacja pod kątem odczytów z dysków HDD

Polecane posty

Mam taki scenariusz:

 

- duży storage około 120TB z 12 dysków

- spore pliki powyżej 100 MB

- same odczyty

 

Głównie leży i dłubie w nosie, ale czasem musi się spocić. No i jak trzeba odczytać z niego sporą ilość danych jednocześnie tj. dostęp do kilkuset plików na raz to zaczynają się problemy. Odczyt na poziomie 50 MB/s per dysk to w zasadzie wszystko co można zrobić i kończą się iopsy.

 

Czy macie jakieś realnie działające i sprawdzone metody optymalizacji tego typu przypadku? W zasadzie system plików, scheduler, dirty_ratio niczego nie zmienia. Z powodu kosztów ciężko będzie zbudować to samo na SSD, ale jakiś cache SSD jest już do zrobienia. Tylko tu też nie wiem jaki - może l2arc z ZFS?

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

U nas na serwerach bardzo dobrze działa cachecade na dyski SSD. Odczuwalny jest skok wydajnościowy gołym okiem w porównaniu do testów zwykłych macierzy.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Jakiej wielkości jest cache i storage? Obawiam się, że cache do 120 TB powinien być całkiem spory żeby to miało sens.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Jeśli bottleneckiem jest I/O to warto rozważyć fs, który oferuje natywnie kompresję, ZFS będzie bardzo dobrym wyborem pod storage, i kompresję również oferuje.

  • Lubię 1

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Dane są już skompresowane. Compress ratio jest 1.00x. :) Za to ZFS jest kuszący pod kątem l2arc i możliwości dowolnego manipulowania wielkością bloku.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach
27 minut temu, mcbarlo napisał:

Jakiej wielkości jest cache i storage? Obawiam się, że cache do 120 TB powinien być całkiem spory żeby to miało sens.

 

Wiesz co tutaj nie mam danych, ale na pewno musisz liczyć kilka dobrych dysków.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Najchętniej użyłbym na cache dysków nvme żeby nie zajmować ramek co skutecznie eliminuje cachecade. Choć mogę się mylić.

 

Czy celowanie w cache na poziomie 10% całego storage powinno dać spore przyspieszenie? Wiem, że to pytanie do szklanej kuli, ale możesz jakieś doświadczenie w tej kwesti masz? :)

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Wielu sie juz wypowiedalo w temacie ale ja moze troche inaczej ugryze temat:

 

- co to sa za  dyski ? model/iops ?, kontroler sprzetowy ? jakis raid ? ile masz ramu w maszynie i jaki volument ruchu i jego zmiennosc ?

- jaka natury jest ten ruchy, bo z tego co opisujesz wynika iz raczej jest to ruch ktory wypada z cache lub jest modyfikowany wiec tak naprawde wlozenie czegokolwiek jako "cache" za wiele nie pomoze, pagecache w ramie zawsze bedzie szybszy niz nvme, ssd i cokolwiek innego,  oczywiscie ram jest drozszy... ale nadal to wszystko zalezy jakiej natury masz ruch z twojego use case wynika ze raczej czytasz caly czas "nowe" pliki ktore dopiero leca do cachu

- zfs kompresje w nim, zil/arc itd ok... wszystko pieknie ale to nadal nie zmienia faktu ze czytajac new/mod files musisz odwolac sie do swojej macierzy HDD

- pytam o te dane bo jesli masz malo ramu i ciagle z niego ewikty leca to ssd cache bedzie mial sens, czy zrealizujesz to na zfs czy cacecached czy chocby facebookowy ssdcache lub zwykl dm-cache jeden grzyb... roznice sa oczywiscie w detalach, nie wiemy jaki masz sprzet tam jaki cpu, wiec tutaj ostrozeni z ZFS i kompresja... numa/iterconnect moze byc twoim wrogiem tutaj (nie wiemy jaki jest iosize)

 

poprostu wrzuc wiecej suchych danych sprzetowych/conf i dorzuc jakeis wykresy z nie wiem chociaz 72H z IO i jego specyfikacji , na tej podstawie mozna cokolwiek dopiero szukac dalej

 

Pozdrawiam

 

Edytowano przez servizza
dodac za

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Dołącz do rozmowy

Możesz pisać i zarejestrować się później. Jeśli masz konto,Zaloguj się teraz, aby publikować na swoim koncie.

Gość
Odpowiedz...

×   Wklejony jako tekst z formatowaniem.   Wklej jako zwykły tekst

  Dozwolonych jest tylko 75 emoji.

×   Twój link będzie automatycznie osadzony.   Wyświetlać jako link

×   Twoja poprzednia zawartość została przywrócona.   Wyczyść edytor

×   Nie możesz wkleić zdjęć bezpośrednio. Prześlij lub wstaw obrazy z adresu URL.


  • Kto przegląda   0 użytkowników

    Brak zalogowanych użytkowników przeglądających tę stronę.

×
×
  • Utwórz nowe...

Ważne informacje

Korzystając z forum, wyrażasz zgodę na: Warunki korzystania z serwisu, Regulamin, Polityka prywatności.