Jaki RAID na dyskach SSD?

[Mariusz]

Cześć!

 

Jaki RAID stosujecie na serwerach z dyskami SSD? Mam na myśli serwery z większą ilością dysków - 6 - 8.

W firmie nosimy się z zamiarem wymiany dysków w jednym serwerze z 6x 2TB w RAID10 na dyski SSD, np 8 sztuk w granicach 500GB. Serwer to typowy hosting, ale na potrzeby wewnętrzne firmy i jednostek współpracujących. Czyli strony www, bazy + maile. Obecne rozwiązanie potrafi się czasami przytkać na IO. 

Na serwerze stosowany jest raid sprzętowy - LSI.

Pod uwagę biorę RAID 6 i RAID 10. Wiadomo, jak się da to RAID10, ale biorąc pod uwagę dużą cenę dysków - boli trochę tak duża utrata wolnej przestrzeni.

Co u Was stosujecie i dlaczego tak a nie inaczej?

[patrys]

Raid10 + jak już sprzętowe LSI to najlepiej z fastpath.

Nie widziałem by ktoś próbował z raidem 5/6 na SSD w środowiskach produkcyjnych.

 

[mcbarlo]

@patrys sorry, że nieco zboczę z tematu, ale masz doświedczenie z fastpath? Muszę skonfigurować serwer z 24 dyskami SSD i zastanawiam się czy to daje realne korzyści?

 

Żeby nie robić całkowitego offtopa dodam, że przy zastosowaniach hostingowych tylko RAID10.

[bybunny]

6 godzin temu, patrys napisał:

Raid10 + jak już sprzętowe LSI to najlepiej z fastpath.

Nie widziałem by ktoś próbował z raidem 5/6 na SSD w środowiskach produkcyjnych.

 

A przypadkiem zenbox nie korzystał/korzysta z RAID 5?

[Suspect]

RAID 10 będzie dobrym rozwiązaniem o ile nie jest to macierz z bardzo dużą ilościa dysków. Trzeba mieć na uwadze to, że RAID 10 w praktyce zapewnia pełną odporność na awarię jednego dysku. Awaria drugiego dysku może skończyć się pełną utratą danych (w zależności od tego czy jest to dysk z tej samej grupy). Im więcej dysków wchodzi w skład macierzy, tym większe ryzyko, że 2 z nich odmówią posłuszeństwa w tym tym samym lub podobnym czasie.

[Tomek]

Hm. Ja stosuję obecnie wszędzie RAID 10 dla macierzy z więcej niż 4 dyskami i RAID 1 dla 2 dysków. W przypadku dysków magnetycznych jednak RAID 10 wydaje się być najlepszym rozwiązaniem.

Jednak w przypadku dysków ssd hmm.. RAID 6 nie wydaje mi się złym rozwiązaniem. Jakieś konkretne argumenty dlaczego nie korzystać z RAID 6? (oczywiście w kontekście dysków SSD)

[mcbarlo]

Jeśli mówimy o produkcji to żaden RAID oparty o sumy kontrolne nie wydaje się być dobrym rozwiązaniem choćby ze względu na URE, kosztowną odbudowę po awarii, koniecznie licencje dla kontrolerów i gorszą wydajność w zapisie. Dla backupów w macierzach złożonych z wielu dysków faktycznie ma sens głównie ze względu na mniejszą stratę pojemności, która w tego typu zastosowaniu jest kluczowa, a wydajność już niekoniecznie. O ile się orientuje fastpath też nie działa przy RAID 5/6.

 

Mam wrażenie, że patrząc przez pryzmat ZFS-a i Cepha w ogóle RAID sprzętowy odchodzi w zapomnienie.  Przy dyskach SSD dochodzi jeszcze jedna upierdliwość, czyli TRIM, który nie jest zawsze wspierany. Czasem dlatego, że kontroler jest za stary, a czasem dlatego, że nie ma się nalepki producenta serwera na dysku.

[patrys]

20 godzin temu, mcbarlo napisał:

@patrys sorry, że nieco zboczę z tematu, ale masz doświedczenie z fastpath? Muszę skonfigurować serwer z 24 dyskami SSD i zastanawiam się czy to daje realne korzyści

Nie mam porównania, bo na maszynach które to mają nie było testu bez.

Klient chciał - klient ma

Samo LSI nie udostępnia jakiś szczegółowych informacji na temat tej "technologi", aczkolwiek działa poprawnie/stabilnie.

16 godzin temu, SiXwishlist napisał:

A przypadkiem zenbox nie korzystał/korzysta z RAID 5?

Nawet nie wiem, aczkolwiek oni stosowali już różne dziwne  rzeczy z tego co pamiętam.

 

Raid5 nawet przy dobrym kontrolerze to padaczka przy czymś innym niż zbieranie danych.

 

ZFS na Linuxie to jeszcze nie ten ZFS znany z BSD, a CEPH też potrzebuje trochę do pełnej stabilności

Aktualnie to oprogramowanie już zastępuje sprzętowe karty raid ale przy CEPH trzeba być odważnym

Przy linuxie bardzo stabilnym połączeniem jest LVM2 i MDADM nawet przy dyskach NVME.

[bybunny]

W załączniku wyjaśnienie odnośnie RAID5 w zenbox

[mcbarlo]

Fajny tekst na temat tego dlaczego hot-spare ma niewielki sens: http://www.smbitjournal.com/2012/07/hot-spare-or-a-hot-mess/

[gb1]

W dniu 26/11/2017 o 11:48, Mariusz napisał:

Mam na myśli serwery z większą ilością dysków - 6 - 8.

 

To taka podstawowa ilość, a nie większa :-) ale punkt widzenia zależy od punktu siedzenia :-)

 

W dniu 26/11/2017 o 11:48, Mariusz napisał:

Obecne rozwiązanie potrafi się czasami przytkać na IO

 

Tutaj istotna informacja, jednak powstaje pytanie czy obecne rozwiązanie jest tak kiepskie wydajnościowo czy po prostu potrzebujesz rozwiązania idącego w kierunku "performance". Jakie założenia wydajnościowe ? Jeśli wydajność jest istotna to spoglądaj w kierunku raid-10.

 

W dniu 26/11/2017 o 11:48, Mariusz napisał:

Na serwerze stosowany jest raid sprzętowy - LSI.

 

Tak jak to wcześniej wspomniał @mcbarlo sprzętowe rozwiązania wspierające macierze idą powoli w zapomnienie w formie jaką znamy dotychczas. Możliwe że procesory z zintegrowanym FPGA oraz rozwiązania typu SmartSSD zmienią obecne trendy. Sama marka LSI nic nie mówi, istotne jest na jakim chipsecie oparty jest ten kontroler w szczególności że chcesz go wykorzystać wraz z dyskami ssd.
 

22 godziny temu, mcbarlo napisał:

Przy dyskach SSD dochodzi jeszcze jedna upierdliwość, czyli TRIM, który nie jest zawsze wspierany.

 

Istotne jak wykorzystujemy kontroler i jak wystawia dysk. Na marginesie TRIM to cześć protokołu ATA czyli dotyczy tylko dysków SATA, jednak podobna funkcjonalność w przypadku SAS / NVMe także jest istotna jednak inaczej się nazywa: unmap / deallocate.
 

11 godzin temu, patrys napisał:

ZFS na Linuxie to jeszcze nie ten ZFS znany z BSD

 

Z ciekawości zapytam, według Ciebie czego mu brakuje ? Na marginesie jedynie należy dodać że ZFS to znany jest z Solarisa od Suna, a obecnie Oracla.

 

11 godzin temu, patrys napisał:

CEPH też potrzebuje trochę do pełnej stabilności

 

trochę ? jestem zdania że jeszcze sporo :-) ale RedHat mocno nad tym pracuje :-) Jeśli jednak spojrzeć jak to wyglądało na początku za czasów Dreamhosta to jest nieźle :-)

 

 

[Poziomecki]

U nas wszystko w RAID10 jest. HDD+SSD jak i same SSD.

[Tomek]

A jak podchodzicie do tematu HW RAID vs Software RAID? Wciąż dużo sprzętowych kontrolerów nie obsługuje TRIM, za to wiele dyskow ma garbage collectory. Zatem HW RAID bez trima i dajemy sie wykazać GC? Czy jednak - software RAID i obsługa TRIM?

[gb1]

Teraz, Tomek napisał:

Wciąż dużo sprzętowych kontrolerów nie obsługuje TRIM

 

Co rozsądnego w ostatnim czasie produkowanego nie obsługuje dla SATA komendy TRIM czy dla UNMAP dla SAS ?

[Tomek]

2 minuty temu, gb1 napisał:

 

Co rozsądnego w ostatnim czasie produkowanego nie obsługuje dla SATA komendy TRIM czy dla UNMAP dla SAS ?

 

Często spotykam się np z LSI 3008, niespecjalnie mogę sie doszukać czy obsługuje to trim. 

[gb1]

@Tomek a czego chcesz się tutaj doszukiwać ? przecież to prosty HBA w trybie IT, o IR nie będę wspominał ponieważ to jakaś namiastka czegoś takiego o czym nie warto wspominać. 

[Tomek]

5 godzin temu, gb1 napisał:

@Tomek a czego chcesz się tutaj doszukiwać ? przecież to prosty HBA w trybie IT, o IR nie będę wspominał ponieważ to jakaś namiastka czegoś takiego o czym nie warto wspominać. 

 

To tylko przykład, pytałem o to - czy według Was - lepszy RAID SW dla ssd z trim, czy tez - RAID HW bez trim i dyskami z garbage collectorem. Zainteresował mnie ten temat, a dużo dyskusji na ten temat ma już swoje lata, a sprzęt idzie do przodu.

[Malu]

Zdecydowanie bezpieczniej jest mieć sw-raid, niż hw raid. Ostatnio zawsze sprzętowy kontroler przelączam zawsze w HBA mode. (Jedyna robota to oznaczenie sobie ramek numerami seryjnymi dysków, żeby można było bezpiecznie robić hot-swap)
Przede wszystkim - nie musimy martwić się kompatybilnością kontrolera i dysków, na SW-raidzie. Nie miałem też problemów spowodowanych brakiem TLER/ERC w dyskach. 
W przypadku dysków SSD często lepszą wydajność uzyskamy na sw-raidzie niż hw, ale to zależy dużo od klasy kontrolera. 

Ostatnio zaczynam również powoli używać ZFS on linux dla macierzy talerzowych - wtedy w prosty i fajny sposób ogarniam sobie przyśpieszenie macierzy dyskiem SSD umieszczeniem tam L2ARC i ZIL. 
Ale to akurat u mnie nowość, ze wszystkich stron już słyszę, że ZFS on linux jest super i nie ma czego się bać, póki co mogę potwierdzić

Edytowane 28 Listopada 2017 przez Malu

[gb1]

3 minuty temu, Malu napisał:

Ostatnio zawsze sprzętowy kontroler przelączam zawsze w HBA mode.

 

Należy pamiętać że nie wszystkie kontrolery potrafią zostać przełączone bezpośrednio w HBA mode, wszystko zależy od architektury kontrolera. 

 

4 minuty temu, Malu napisał:

dysków SSD często lepszą wydajność uzyskamy na sw-raidzie niż hw, ale to zależy dużo od klasy kontrolera

 

Znasz kontroler sprzętowy który jest znacznie bardziej wydajny aniżeli software raid przy zastosowaniu niezbyt starego sprzętu ?

 

4 godziny temu, Tomek napisał:

czy według Was - lepszy RAID SW dla ssd z trim, czy tez - RAID HW bez trim i dyskami z garbage collectorem

 

Wszystko zależy od zastosowania i oczekiwań. Jak trafnie @Malu zauważył istotny jest także aspekt DR, zatem najlepiej dobrać rozwiązanie do własnych potrzeb i środowiska w którym całość będzie działała. Mogę Tobie podpowiedzieć że rozsądnym rozwiązaniem są dyski SSD (min. prędkość zapisu sustained 100% na poziomie >100k iops) podłączone za pomocą SAS, umieszczone w zewnętrznych półkach, podłączone jednocześnie do dwóch serwerów fizycznych z kontrolerami LSI SAS 3308 działającymi w IT mode i software raid-10. Jednak czy to jest odpowiednie rozwiązanie do Twoich potrzeb i Twojego środowiska (sprzętowego, organizacyjnego, zasobów ludzkich) ?

[Malu]

5 minut temu, gb1 napisał:

Należy pamiętać że nie wszystkie kontrolery potrafią zostać przełączone bezpośrednio w HBA mode, wszystko zależy od architektury kontrolera.

To prawda - trzeba na to zwrócić uwage.
 

5 minut temu, gb1 napisał:

Znasz kontroler sprzętowy który jest znacznie bardziej wydajny aniżeli software raid przy zastosowaniu niezbyt starego sprzętu ?

Raczej w drugą stronę - znam kontroler, który dorównuje  wydajności software raid. Zresztą sw-raid chyba zawsze wykorzystuje mi możliwości dysków o ile się nie mylę. (SSDki mam tylko na SATA)

Ktoś tam wyżej pisał, że R5/R6 na SSD to jakaś fanaberia na produkcji. Dodam, że używam zarówno R5 na mniejszych dyskach jak i R6 na większych dyskach SSD z powodzeniem i nigdy nie miałem z tego powodu jakichkolwiek problemów. Ważne, żeby stosować dyski na pamięciach MLC, mieć włączonego TRIM i sprawdzać ilość zapisanych danych na dyskach. Bez pilnowania ilości zapisywanych danych jakikolwiek poziom raid nam nie pomoże, a dużo większą szansę na uniknięcie awarii będziemy mieli przy R6 - bo tutaj mogą nam wypaśc jakiekolwiek dwa dyski w R10 możemy mieć pecha lub szczęście, ja zawsze zakładam przy R10, że może wypaść jeden dysk niezależnie od tego ile mam dysków w macierzy. 

[gb1]

33 minuty temu, Malu napisał:

Raczej w drugą stronę - znam kontroler, który dorównuje  wydajności software raid

 

Z ciekawości zapytam o producenta i model ? Rozumiem że badania / testy dokonywałeś na takim samym nośnikach, zatem ciekawe jest jakie wykorzystałeś nośniki (producent i model) oraz jakie środowisko testowe.

 

34 minuty temu, Malu napisał:

nigdy nie miałem z tego powodu jakichkolwiek problemów.

 

Módl się do swojego Anioła Stróża bardzo mocno :-) awarie były, są i będą, wszystko kwestią jedynie jak jesteśmy na nie przygotowani.

 

35 minut temu, Malu napisał:

bo tutaj mogą nam wypaśc jakiekolwiek dwa dyski w R10 możemy mieć pech

 

To że wypadną to nie jest większym problemem, problem jak dwa w tej samej grupie (nie jakiejkolwiek dwa) nieodwracalnie ulegną awarii bez możliwości odczytu danych.

 

Obecnym kierunkiem dla "capacity" to SDS zatem raid w postaci jaką od lat znamy pozostaje nam jedynie w kwestiach "performance" na chwilę obecną.   

[Malu]

14 minut temu, gb1 napisał:

Z ciekawości zapytam o producenta i model ? Rozumiem że badania / testy dokonywałeś na takim samym nośnikach, zatem ciekawe jest jakie wykorzystałeś nośniki (producent i model) oraz jakie środowisko testowe.

U siebie akurat bawiłem się na P420i - w przypadku software-raid5 jak i hw-raid5 na 3 dyskach SSD osiągałem taką samą wydajność dla odczytu. 
Testy robiłem na testowym pliku w filesystemie ext4 opartym o R5 przez fio.  Dyski o ile mnie pamięć nie myli to były inel pro 2500, a wydajność coś około 100k iops na bs=4k
 

15 minut temu, gb1 napisał:

Módl się do swojego Anioła Stróża bardzo mocno :-) awarie były, są i będą, wszystko kwestią jedynie jak jesteśmy na nie przygotowani.

Nie mówię, że nigdy nie miałem problemów z SSD. Po prostu poziom RAID nigdy nie był winowajcą. Dwa razy trafiłem na trefną serie dysków, które padły bez wyraźnego powodu po zapisaniu kilku TB danych i trzeba było sięgać po backup. 
 

 

22 minuty temu, gb1 napisał:

To że wypadną to nie jest większym problemem, problem jak dwa w tej samej grupie (nie jakiejkolwiek dwa) nieodwracalnie ulegną awarii bez możliwości odczytu danych.

No jasne, w najlepszym wypadku może nam wylecieć 1/2 dysków, ale w najgorszym tylko 1. Dlatego przy awarii dysku w R10 trzeba stać na baczność, przy R6 jest więcej luzu.
 

[gb1]

5 minut temu, Malu napisał:

software-raid5 jak i hw-raid5 na 3 dyskach SSD osiągałem taką samą wydajność dla odczytu

 

Zatem wąskim gardłem były dyski, nie kontrolery w tym przpadku.

 

5 minut temu, Malu napisał:

pamięć nie myli to były inel pro 2500, a wydajność coś około 100k iops na bs=4k

 

Pamięć jest zawodna, te dyski nie mają nawet możliwości zbliżyć się do takich wyników.

 

6 minut temu, Malu napisał:

R6 jest więcej luzu

 

Należy stać na baczność natomiast w innych sytuacjach. Awarie i wymiana dysków to standardowa czynność obsługowa, w naszym przypadku nie wymagająca nawet udziału administratora.

[Malu]

38 minut temu, gb1 napisał:

 

Pamięć jest zawodna, te dyski nie mają nawet możliwości zbliżyć się do takich wyników.

Dlaczego?  Zauważ: odczyt + raid5 - powinny nawet trochę więcej pociągnąć.

 

[gb1]

52 minuty temu, Malu napisał:

Dlaczego?

 

Bo to złe dyski są :-) w innych słowach mało wydajne, parametry z data sheet to jedynie zgodnie z datasheet jedynie "out of the box" czyli bez pre-conditioningu. Nie widzę możliwości jak byłby w stanie osiągnąć podawane przez Ciebie wyniki na trzech dyskach.

Jestem przekonany, że w Twoim przypadku to dyski były wąskim gardłem lub coś powyżej sprzętu. 

Edytowane 28 Listopada 2017 przez gb1