Skocz do zawartości
Mariusz

Jaki RAID na dyskach SSD?

Rekomendowane odpowiedzi

Cześć!

 

Jaki RAID stosujecie na serwerach z dyskami SSD? Mam na myśli serwery z większą ilością dysków - 6 - 8.

W firmie nosimy się z zamiarem wymiany dysków w jednym serwerze z 6x 2TB w RAID10 na dyski SSD, np 8 sztuk w granicach 500GB. Serwer to typowy hosting, ale na potrzeby wewnętrzne firmy i jednostek współpracujących. Czyli strony www, bazy + maile. Obecne rozwiązanie potrafi się czasami przytkać na IO. 

Na serwerze stosowany jest raid sprzętowy - LSI.

Pod uwagę biorę RAID 6 i RAID 10. Wiadomo, jak się da to RAID10, ale biorąc pod uwagę dużą cenę dysków - boli trochę tak duża utrata wolnej przestrzeni.

Co u Was stosujecie i dlaczego tak a nie inaczej? :)

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

Raid10 + jak już sprzętowe LSI to najlepiej z fastpath.

Nie widziałem by ktoś próbował z raidem 5/6 na SSD w środowiskach produkcyjnych.

 

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

@patrys sorry, że nieco zboczę z tematu, ale masz doświedczenie z fastpath? Muszę skonfigurować serwer z 24 dyskami SSD i zastanawiam się czy to daje realne korzyści?

 

Żeby nie robić całkowitego offtopa dodam, że przy zastosowaniach hostingowych tylko RAID10.

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
6 godzin temu, patrys napisał:

Raid10 + jak już sprzętowe LSI to najlepiej z fastpath.

Nie widziałem by ktoś próbował z raidem 5/6 na SSD w środowiskach produkcyjnych.

 

A przypadkiem zenbox nie korzystał/korzysta z RAID 5?

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

RAID 10 będzie dobrym rozwiązaniem o ile nie jest to macierz z bardzo dużą ilościa dysków. Trzeba mieć na uwadze to, że RAID 10 w praktyce zapewnia pełną odporność na awarię jednego dysku. Awaria drugiego dysku może skończyć się pełną utratą danych (w zależności od tego czy jest to dysk z tej samej grupy). Im więcej dysków wchodzi w skład macierzy, tym większe ryzyko, że 2 z nich odmówią posłuszeństwa w tym tym samym lub podobnym czasie.

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

Hm. Ja stosuję obecnie wszędzie RAID 10 dla macierzy z więcej niż 4 dyskami i RAID 1 dla 2 dysków. W przypadku dysków magnetycznych jednak RAID 10 wydaje się być najlepszym rozwiązaniem.

Jednak w przypadku dysków ssd hmm.. RAID 6 nie wydaje mi się złym rozwiązaniem. Jakieś konkretne argumenty dlaczego nie korzystać z RAID 6? (oczywiście w kontekście dysków SSD)

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

Jeśli mówimy o produkcji to żaden RAID oparty o sumy kontrolne nie wydaje się być dobrym rozwiązaniem choćby ze względu na URE, kosztowną odbudowę po awarii, koniecznie licencje dla kontrolerów i gorszą wydajność w zapisie. Dla backupów w macierzach złożonych z wielu dysków faktycznie ma sens głównie ze względu na mniejszą stratę pojemności, która w tego typu zastosowaniu jest kluczowa, a wydajność już niekoniecznie. O ile się orientuje fastpath też nie działa przy RAID 5/6.

 

Mam wrażenie, że patrząc przez pryzmat ZFS-a i Cepha w ogóle RAID sprzętowy odchodzi w zapomnienie. :) Przy dyskach SSD dochodzi jeszcze jedna upierdliwość, czyli TRIM, który nie jest zawsze wspierany. Czasem dlatego, że kontroler jest za stary, a czasem dlatego, że nie ma się nalepki producenta serwera na dysku.

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
20 godzin temu, mcbarlo napisał:

@patrys sorry, że nieco zboczę z tematu, ale masz doświedczenie z fastpath? Muszę skonfigurować serwer z 24 dyskami SSD i zastanawiam się czy to daje realne korzyści

Nie mam porównania, bo na maszynach które to mają nie było testu bez.

Klient chciał - klient ma ;)

Samo LSI nie udostępnia jakiś szczegółowych informacji na temat tej "technologi", aczkolwiek działa poprawnie/stabilnie.

16 godzin temu, SiXwishlist napisał:

A przypadkiem zenbox nie korzystał/korzysta z RAID 5?

Nawet nie wiem, aczkolwiek oni stosowali już różne dziwne  rzeczy z tego co pamiętam.

 

Raid5 nawet przy dobrym kontrolerze to padaczka przy czymś innym niż zbieranie danych.

 

ZFS na Linuxie to jeszcze nie ten ZFS znany z BSD, a CEPH też potrzebuje trochę do pełnej stabilności

Aktualnie to oprogramowanie już zastępuje sprzętowe karty raid ale przy CEPH trzeba być odważnym ;)

Przy linuxie bardzo stabilnym połączeniem jest LVM2 i MDADM nawet przy dyskach NVME.

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
W dniu 26/11/2017 o 11:48, Mariusz napisał:

Mam na myśli serwery z większą ilością dysków - 6 - 8.

 

To taka podstawowa ilość, a nie większa :-) ale punkt widzenia zależy od punktu siedzenia :-)

 

W dniu 26/11/2017 o 11:48, Mariusz napisał:

Obecne rozwiązanie potrafi się czasami przytkać na IO

 

Tutaj istotna informacja, jednak powstaje pytanie czy obecne rozwiązanie jest tak kiepskie wydajnościowo czy po prostu potrzebujesz rozwiązania idącego w kierunku "performance". Jakie założenia wydajnościowe ? Jeśli wydajność jest istotna to spoglądaj w kierunku raid-10.

 

W dniu 26/11/2017 o 11:48, Mariusz napisał:

Na serwerze stosowany jest raid sprzętowy - LSI.

 

Tak jak to wcześniej wspomniał @mcbarlo sprzętowe rozwiązania wspierające macierze idą powoli w zapomnienie w formie jaką znamy dotychczas. Możliwe że procesory z zintegrowanym FPGA oraz rozwiązania typu SmartSSD zmienią obecne trendy. Sama marka LSI nic nie mówi, istotne jest na jakim chipsecie oparty jest ten kontroler w szczególności że chcesz go wykorzystać wraz z dyskami ssd.
 

22 godziny temu, mcbarlo napisał:

Przy dyskach SSD dochodzi jeszcze jedna upierdliwość, czyli TRIM, który nie jest zawsze wspierany.

 

Istotne jak wykorzystujemy kontroler i jak wystawia dysk. Na marginesie TRIM to cześć protokołu ATA czyli dotyczy tylko dysków SATA, jednak podobna funkcjonalność w przypadku SAS / NVMe także jest istotna jednak inaczej się nazywa: unmap / deallocate.
 

11 godzin temu, patrys napisał:

ZFS na Linuxie to jeszcze nie ten ZFS znany z BSD

 

Z ciekawości zapytam, według Ciebie czego mu brakuje ? Na marginesie jedynie należy dodać że ZFS to znany jest z Solarisa od Suna, a obecnie Oracla.

 

11 godzin temu, patrys napisał:

CEPH też potrzebuje trochę do pełnej stabilności

 

trochę ? jestem zdania że jeszcze sporo :-) ale RedHat mocno nad tym pracuje :-) Jeśli jednak spojrzeć jak to wyglądało na początku za czasów Dreamhosta to jest nieźle :-)

 

 

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

U nas wszystko w RAID10 jest. HDD+SSD jak i same SSD.

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

A jak podchodzicie do tematu HW RAID vs Software RAID? Wciąż dużo sprzętowych kontrolerów nie obsługuje TRIM, za to wiele dyskow ma garbage collectory. Zatem HW RAID bez trima i dajemy sie wykazać GC? Czy jednak - software RAID i obsługa TRIM?

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
Teraz, Tomek napisał:

Wciąż dużo sprzętowych kontrolerów nie obsługuje TRIM

 

Co rozsądnego w ostatnim czasie produkowanego nie obsługuje dla SATA komendy TRIM czy dla UNMAP dla SAS ?

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
2 minuty temu, gb1 napisał:

 

Co rozsądnego w ostatnim czasie produkowanego nie obsługuje dla SATA komendy TRIM czy dla UNMAP dla SAS ?

 

Często spotykam się np z LSI 3008, niespecjalnie mogę sie doszukać czy obsługuje to trim. 

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

@Tomek a czego chcesz się tutaj doszukiwać ? przecież to prosty HBA w trybie IT, o IR nie będę wspominał ponieważ to jakaś namiastka czegoś takiego o czym nie warto wspominać. 

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
5 godzin temu, gb1 napisał:

@Tomek a czego chcesz się tutaj doszukiwać ? przecież to prosty HBA w trybie IT, o IR nie będę wspominał ponieważ to jakaś namiastka czegoś takiego o czym nie warto wspominać. 

 

To tylko przykład, pytałem o to - czy według Was - lepszy RAID SW dla ssd z trim, czy tez - RAID HW bez trim i dyskami z garbage collectorem. Zainteresował mnie ten temat, a dużo dyskusji na ten temat ma już swoje lata, a sprzęt idzie do przodu.

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
Napisano (edytowane)

Zdecydowanie bezpieczniej jest mieć sw-raid, niż hw raid. Ostatnio zawsze sprzętowy kontroler przelączam zawsze w HBA mode. (Jedyna robota to oznaczenie sobie ramek numerami seryjnymi dysków, żeby można było bezpiecznie robić hot-swap)
Przede wszystkim - nie musimy martwić się kompatybilnością kontrolera i dysków, na SW-raidzie. Nie miałem też problemów spowodowanych brakiem TLER/ERC w dyskach. 
W przypadku dysków SSD często lepszą wydajność uzyskamy na sw-raidzie niż hw, ale to zależy dużo od klasy kontrolera. 

Ostatnio zaczynam również powoli używać ZFS on linux dla macierzy talerzowych - wtedy w prosty i fajny sposób ogarniam sobie przyśpieszenie macierzy dyskiem SSD umieszczeniem tam L2ARC i ZIL. 
Ale to akurat u mnie nowość, ze wszystkich stron już słyszę, że ZFS on linux jest super i nie ma czego się bać, póki co mogę potwierdzić :D

Edytowane przez Malu

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
3 minuty temu, Malu napisał:

Ostatnio zawsze sprzętowy kontroler przelączam zawsze w HBA mode.

 

Należy pamiętać że nie wszystkie kontrolery potrafią zostać przełączone bezpośrednio w HBA mode, wszystko zależy od architektury kontrolera. 

 

4 minuty temu, Malu napisał:

dysków SSD często lepszą wydajność uzyskamy na sw-raidzie niż hw, ale to zależy dużo od klasy kontrolera

 

Znasz kontroler sprzętowy który jest znacznie bardziej wydajny aniżeli software raid przy zastosowaniu niezbyt starego sprzętu ?

 

4 godziny temu, Tomek napisał:

czy według Was - lepszy RAID SW dla ssd z trim, czy tez - RAID HW bez trim i dyskami z garbage collectorem

 

Wszystko zależy od zastosowania i oczekiwań. Jak trafnie @Malu zauważył istotny jest także aspekt DR, zatem najlepiej dobrać rozwiązanie do własnych potrzeb i środowiska w którym całość będzie działała. Mogę Tobie podpowiedzieć że rozsądnym rozwiązaniem są dyski SSD (min. prędkość zapisu sustained 100% na poziomie >100k iops) podłączone za pomocą SAS, umieszczone w zewnętrznych półkach, podłączone jednocześnie do dwóch serwerów fizycznych z kontrolerami LSI SAS 3308 działającymi w IT mode i software raid-10. Jednak czy to jest odpowiednie rozwiązanie do Twoich potrzeb i Twojego środowiska (sprzętowego, organizacyjnego, zasobów ludzkich) ?

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
5 minut temu, gb1 napisał:

Należy pamiętać że nie wszystkie kontrolery potrafią zostać przełączone bezpośrednio w HBA mode, wszystko zależy od architektury kontrolera.

To prawda - trzeba na to zwrócić uwage.
 

5 minut temu, gb1 napisał:

Znasz kontroler sprzętowy który jest znacznie bardziej wydajny aniżeli software raid przy zastosowaniu niezbyt starego sprzętu ?

Raczej w drugą stronę - znam kontroler, który dorównuje  wydajności software raid. Zresztą sw-raid chyba zawsze wykorzystuje mi możliwości dysków o ile się nie mylę. (SSDki mam tylko na SATA)

Ktoś tam wyżej pisał, że R5/R6 na SSD to jakaś fanaberia na produkcji. Dodam, że używam zarówno R5 na mniejszych dyskach jak i R6 na większych dyskach SSD z powodzeniem i nigdy nie miałem z tego powodu jakichkolwiek problemów. Ważne, żeby stosować dyski na pamięciach MLC, mieć włączonego TRIM i sprawdzać ilość zapisanych danych na dyskach. Bez pilnowania ilości zapisywanych danych jakikolwiek poziom raid nam nie pomoże, a dużo większą szansę na uniknięcie awarii będziemy mieli przy R6 - bo tutaj mogą nam wypaśc jakiekolwiek dwa dyski w R10 możemy mieć pecha lub szczęście, ja zawsze zakładam przy R10, że może wypaść jeden dysk niezależnie od tego ile mam dysków w macierzy. 

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
33 minuty temu, Malu napisał:

Raczej w drugą stronę - znam kontroler, który dorównuje  wydajności software raid

 

Z ciekawości zapytam o producenta i model ? Rozumiem że badania / testy dokonywałeś na takim samym nośnikach, zatem ciekawe jest jakie wykorzystałeś nośniki (producent i model) oraz jakie środowisko testowe.

 

34 minuty temu, Malu napisał:

nigdy nie miałem z tego powodu jakichkolwiek problemów.

 

Módl się do swojego Anioła Stróża bardzo mocno :-) awarie były, są i będą, wszystko kwestią jedynie jak jesteśmy na nie przygotowani.

 

35 minut temu, Malu napisał:

bo tutaj mogą nam wypaśc jakiekolwiek dwa dyski w R10 możemy mieć pech

 

To że wypadną to nie jest większym problemem, problem jak dwa w tej samej grupie (nie jakiejkolwiek dwa) nieodwracalnie ulegną awarii bez możliwości odczytu danych.

 

Obecnym kierunkiem dla "capacity" to SDS zatem raid w postaci jaką od lat znamy pozostaje nam jedynie w kwestiach "performance" na chwilę obecną.   

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
14 minut temu, gb1 napisał:

Z ciekawości zapytam o producenta i model ? Rozumiem że badania / testy dokonywałeś na takim samym nośnikach, zatem ciekawe jest jakie wykorzystałeś nośniki (producent i model) oraz jakie środowisko testowe.

U siebie akurat bawiłem się na P420i - w przypadku software-raid5 jak i hw-raid5 na 3 dyskach SSD osiągałem taką samą wydajność dla odczytu. 
Testy robiłem na testowym pliku w filesystemie ext4 opartym o R5 przez fio.  Dyski o ile mnie pamięć nie myli to były inel pro 2500, a wydajność coś około 100k iops na bs=4k
 

15 minut temu, gb1 napisał:

Módl się do swojego Anioła Stróża bardzo mocno :-) awarie były, są i będą, wszystko kwestią jedynie jak jesteśmy na nie przygotowani.

Nie mówię, że nigdy nie miałem problemów z SSD. Po prostu poziom RAID nigdy nie był winowajcą. Dwa razy trafiłem na trefną serie dysków, które padły bez wyraźnego powodu po zapisaniu kilku TB danych i trzeba było sięgać po backup. 
 

 

22 minuty temu, gb1 napisał:

To że wypadną to nie jest większym problemem, problem jak dwa w tej samej grupie (nie jakiejkolwiek dwa) nieodwracalnie ulegną awarii bez możliwości odczytu danych.

No jasne, w najlepszym wypadku może nam wylecieć 1/2 dysków, ale w najgorszym tylko 1. Dlatego przy awarii dysku w R10 trzeba stać na baczność, przy R6 jest więcej luzu. ;)
 

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
5 minut temu, Malu napisał:

software-raid5 jak i hw-raid5 na 3 dyskach SSD osiągałem taką samą wydajność dla odczytu

 

Zatem wąskim gardłem były dyski, nie kontrolery w tym przpadku.

 

5 minut temu, Malu napisał:

pamięć nie myli to były inel pro 2500, a wydajność coś około 100k iops na bs=4k

 

Pamięć jest zawodna, te dyski nie mają nawet możliwości zbliżyć się do takich wyników.

 

6 minut temu, Malu napisał:

R6 jest więcej luzu

 

Należy stać na baczność natomiast w innych sytuacjach. Awarie i wymiana dysków to standardowa czynność obsługowa, w naszym przypadku nie wymagająca nawet udziału administratora.

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
38 minut temu, gb1 napisał:

 

Pamięć jest zawodna, te dyski nie mają nawet możliwości zbliżyć się do takich wyników.

Dlaczego?  Zauważ: odczyt + raid5 - powinny nawet trochę więcej pociągnąć.

 

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach
Napisano (edytowane)
52 minuty temu, Malu napisał:

Dlaczego?

 

Bo to złe dyski są :-) w innych słowach mało wydajne, parametry z data sheet to jedynie zgodnie z datasheet jedynie "out of the box" czyli bez pre-conditioningu. Nie widzę możliwości jak byłby w stanie osiągnąć podawane przez Ciebie wyniki na trzech dyskach.

Jestem przekonany, że w Twoim przypadku to dyski były wąskim gardłem lub coś powyżej sprzętu. 

Edytowane przez gb1

Udostępnij tego posta


Odnośnik do posta
Udostępnij na innych stronach

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się


  • Przeglądający   0 użytkowników

    Brak zarejestrowanych użytkowników, przeglądających tę stronę.

×