Nowe wyniki SPC-1 - HDS i IBM

Wczoraj zostały opublikowane wyniki testu SPC-1 macierzy modularnych HDS serii AMS 2000:

HDS AMS2500, 352 dyski, 89461,81 spc-1 iops
HDS AMS2300, 176 dysków, 42502,61 spc-1 iops
HDS AMS2100, 112 dysków, 31498,58 spc-1 iops

Są to bardzo dobre rezultaty. Wygląda na to, że nowa seria AMS to całkiem wydajna konstrukcja, która odpowiednio skonfigurowana potrafi "wycisnąć" ile się da z dysków. Co prawda w materiałach reklamowych były podawane inne liczby - 900 000 iops :), 10x więcej niż realny wynik, ale to tylko marketing.

Przy okazji znalazłem nowy raport z testu macierzy IBM DS5300:

IBM DS 5300, 256 dysków, 62243,63 spc-1 iops

Macierz ta już była testowana. Poprzedni wynik jest z września 2008. Tym razem użyto dysków szyfrowanych (FDE - full disk encryption). Mimo tego wynik jest o ponad 4000 spc-1 iops lepszy. Coś tam podłubali, poprawili, podkręcili i teraz sprzęt działa lepiej :)

Oczywiście zaktualizowałem moją listę wyników SPC-1.

Wyniki SPC-2

Plan był taki, że po położeniu córki do łóżka usiądę przed komputerem i napiszę jakiś konkretny tekst. Sytuacja była ku temu sprzyjająca - żona Ania w delegacji w dużym mieście na literę W, znaczy, że nic innego ciekawego dziś nie porobię. Niestety (dla treści tego bloga) szwagrowie nie zawiedli. Po ich wyjściu mój umysł nie jest już tak klarowny i słowo nie łatwo poddają się gięciu. Ale nic to - mimo wszystko postaram się napisać coś z sensem.

Jak już wspomniałem kilka postów wcześniej, wskrzesiłem swoją stronę www. Umieściłem na początku na niej swój kalkulator. Było tam dosyć pusto więc wrzuciłem jeszcze wyniki spc-1, które kilka miesięcy temu podczas choroby przepisałem ze strony spc. Pusto było nadal, dlatego wczoraj przepisałem i zamieściłem wyniki spc-2. Chciałem dziś napisać coś o tym benchmarku i moich spostrzeżeniach, ale ze wspomnianych na początku względów przełożę to na później.

Moja strona ciągle jest bardzo uboga. Jednak planuję systematycznie rozbudowywać ją w nowe narzędzia, dane i analizy. Chcę, mieć tam to co jest mi potrzebne w pracy storage'owca, a nie ma tego w sieci.

Czy benchmarki SPC mają sens?

EMC², gigant w świecie systemów pamięci masowych nie poddaje swoich macierzy testom SPC. To znaczy same testy zapewne zostały wykonane, ale ich wyniki nigdzie oficjalnie się nie ukazały. Firma oczywiście uzasadnia dlaczego nie bierze udziału w testach, o czym możemy poczytać chociażby na blogu dotConnector.

EMC głównie zarzuca SPC, że ich model testów nijak nie odzwierciedla rzeczywistego przetwarzania w środowisku produkcyjnym. Nie mam wystarczająco wiedzy, aby się z tym zgodzić lub nie. Mogę jednak sprawdzić inny argument używany w tym temacie przez EMC, a mianowicie - "Co to za benchmark, który pokazuje tylko , że im więcej dysków tym lepsza wydajność?". Wrzuciłem do Excel'a wyniki testu SPC-1, które kilka tygodni temu mozolnie przepisałem do tabelki i stworzyłem taki oto wykres:

Pokazuje on jak wydajność (iops) testowanych sprzętów zależy od ilości zainstalowanych w nich dysków (dysk#). No i rzeczywiście - ilość dysków jest zasadniczym parametrem wpływającym na moc macierzy i bezpośrednio przekłada się na możliwą do osiągnięcia ilość IOPS. Sześć lat postępu technicznego (z takiego okresu są wyniki SPC), różne prędkości FC, różne ilości pamięci cache, krótsze i dłuższe pętle FC na backend'zie, dziesiątki rodzai i wersji software'u, a wszystko i tak zależy od tego ile dysków siedzi w pudle. Dodam, że wszystkie testowane urządzenia miały ten sam rodzaj dysków - 15k RPM.

Czy to oznacza, że EMC ma rację, a testy SPC nie mają sensu? Po części wydaje mi się, że tak. Dyski są wolne i szybsze nie będą (nie piszę tutaj o SSD). W temacie wydajności inne komponenty macierzy muszą się równać do wolnych dysków.  Chyba, że macierz jest na tyle źle skonstruowana, że nie jest w stanie wykorzystać nawet tej małej wydajności dysków. Może to jest odpowiedź na pytanie dlaczego EMC nie publikuje wyników testów SPC swoich macierzy? Może sens testów SPC to właśnie udowodnienie, że sprzęt potrafi wycisnąć z dysków ile tylko ich ograniczenia fizyczne na to pozwalają? 

Na wykresie jak widać jest też kilka ciekawych wyjątków, do których może kiedyś wrócę.

SPC-1 TOP5 w kategorii macierz

SPC nie publikuje wyników swoich benchmarków w formie ułatwiającej porównywanie testowanych sprzętów. Sprzedawcy i presalesi producentów i dystrybutorów sprzętu storage co i raz pokazują nam odpowiednio przygotowane rankingi SPC, na których to ich produkt jest najlepszy. Odpowiednio manipulując danymi i czasami lekko oszukując każdemu może to się udać. Przykład z wrześniowej konferencji SNIA: IBM pokazuje, żę ich SVC 4.3 jest na pierwszym miejscu - nieprawda! - wynik TMS RamSan-400 jest lepszy. Co prawda RamSan to zupełnie inna kategoria sprzętu - macierz DDR, ale w takim razie dlaczego SVC - appliance/wirtualizator - jest porównywane z macierzami?

Wykonałem mrówczą pracę i przepisałem wyniki SPC-1 do tabelki i teraz mogę robić swoje rankingi. Na początek TOP5 w kategorii macierz dyskowa. Wygląda to tak:

1. 3PAR T800

2. HDS USP V/HP XP24000/SUN 9900V (to samo pudło w różnych kolorach)

3. IBM DS8300 Turbo

4. Fujitsu ETERNUS8000 Model 1100

5. Fujitsu ETERNUS6000 Model 1100

DS8300 jak widać ma jeszcze niewykorzystany potencjał. Testowana macierz miała tylko 512 dysków i na każdego z nich przypadło aż 240 IOPS. Wydaje się, że większa ilość dysków mogłaby poprawić ogólny wynik.

Wyniki SPC-1 w tabelce

Po firmowym wyjeździe integracyjnym jestem chory. Organizm osłabiony alkoholem nie był w stanie obronić się przed mazurskimi wirusami, czy też jakimiś bakteriami. Wziąłem zwolnienie i siedzę w domu. Trochę z nudów, ale bardziej z od dawna narastającej potrzeby postanowiłem efektywnie wykorzystać ten czas i zrobiłem tabelkę z wynikami SPC-1. Można ją obejrzeć tu: http://spreadsheets.google.com/pub?key=p1Eb9oyys8YYm0R9yJf-tRg. Siedziałem pewnie ze dwie godziny i klepałem. Starałem się sprawdzać, ale jakieś literówki mogły się przemknąć. Teraz pewnie się okaże, że w sieci taka tabelka jest już od dawna :) Trudno - ja nie mogłem znaleźć. 

Do czego mi te dane? A no na przykład do zrobienia takiego oto wykresu:

No tak - słabo widać. A więc tłumaczę - wykres pokazuje jak ilość dysków w testowanej macierzy (niebieska linia)  wpływa na liczbę SPC-1 IOPS™ przypadającą na pojedynczy dysk w tej macierzy (czerwona linia). Jak widać po linii trendu (czarna) im więcej dysków, tym z dysku mniej IOPS'ów. Z czego to może wynikać. Może z tego, że operacje IO na poszczególnych dyskach w macierzy z dużą ich ilością są bardziej losowe niż w mniejszych pudłach. Jaki z tego wniosek? Może taki, że jeżeli zależy nam na wysokiej wydajności pamięci masowej, to nie warto wypełniać macierzy dyskami do oporu, a lepiej postawić obok drugiego box'a. Oczywiście wszystko to tylko teoria. Właściwym impulsem do wykonania tego obrazka była jedna z prezentacji na ostatniej konferencji SNIA w Warszawie, ale o tym innym razem.

Pierwsze wyniki SPC-1C - dyski SATA 1TB

Storage Performance Council - organizacja, która opracowała i wykonuje testy wydajnościowe systemów pamięci masowej opublikowała niedawno (15 października) pierwsze wyniki SPC-1C i SPC-2C. Testy z C jak component na końcu jak sama nazwa sugeruje zostały opracowane do sprawdzenia wydajności pojedynczych komponentów środowiska storage, takich jak karty HBA, czy też, jak w tym przypadku, dyski HDD. 

Sponsorem akcji był Seagate. Firma ta jednak nie ograniczyła się do udostępnienia tylko swoich dysków. Do testów trafił również sprzęt konkurencji - Hitachi, Samsung i Western Digital. 

Z mojego punktu widzenia, punktu, którym jest biurko admina storage w firmie z niezliczoną ilością baz danych, najciekawszy jest SPC-1C. Oparty na swoim starszym, większym bracie bez C na końcu ma za zadanie zmierzyć wydajność komponentu w warunkach przetwarzania danych w typowej aplikacji biznesowej (baza danych, system pocztowy). Operacje i/o w takim systemie charakteryzują się dużo losowością i małym blokiem danych. Przestrzeń na testowanym sprzęcie dzielona jest na trzy części (ASU). Każda z nich odpowiada różnym typom danych - Data Store, User Store, Log Store. Na każdym z ASU uruchamiane są sesje (i/o stream) realizujące przetwarzanie zgodne z typem ASU. Wynik podawany jest w jednosce określonej jako SPC-1C IOPS™. W dokładną specyfikację SPC nigdy  nie chciało mi się wnikać. Uznaję, że skoro testy opracowały mądre głowy, to ma to sens. Nie rozumiem jednak dlaczego benchmark był wykonywany tylko na  połowie dostępnej powierzchni każdego z urządzeń, co na pewno pozytywnie wpłynęło na osiągnięte rezultaty (mniejsze opóźnienia w związku z krótszym ruchem głowicy). 

SPC nie publikuje wyników w postaci tabelki z konkretnymi liczbami. Dlatego też przygotowałem stosowne  zestawienie.

Wyniki jak widać mocno rozstrzelone. Nie ma też wątpliwości dlaczego to Seagate zdecydował się na sponsorowanie testu.