Granie na komputerze - dosłownie

Warto wytrzymać do załadowania się programu NUDE VOICE :)

Pamięć hybrydowa - Seagate Mementus XT

Kończę 3 miesięczną posuchę. Pora wnieść trochę świeżej treści do tego bloga.

Pojawił się kolejny dowód na potwierdzenie reguły, że nowa technologia pozytywnie wpływa na starą. Mam na myśli oczywiście SSD i twarde dyski. Oto Seagate zaprezentował nowy rodzaj dysku - Momentus XT. Jest to hybryda SSD i HDD. Wbudowany w dysk mechanizm rozkłada dane zależnie od stopnia ich wykorzystania. Często dostępowane lądują na kościach Flash (4 GB SLC), a te rzadziej na dysku magnetycznym (do 500 GB 7200 RPM). W miarę używania napęd "się uczy". W ten sposób po kilku dniach pracy na komputerze system operacyjny i najczęściej używane aplikacje uruchamiają się szybciej. Nowy dysk jest wielkości 2,5" z przeznaczeniem dla użytkowników domowych.

Tak to mniej więcej działa w praktyce:

Stroboskopowy zegar z HDD

Kolejny pomysł na niestandardowe wykorzystanie dysku twardego.

http://www.youtube.com/watch?v=YWHF-bm7wQ0

Już wcześniej widziałem podobne zegary, ale ten jest zdecydowanie najlepszy!

Dysk jest jak zeszyt ucznia

Przygotowując tekst o wydajności dysków i SSD zastanawiałem się jak w miarę prosty sposób wyjaśnić charakter pracy dysku. Myślę, że znalazłem dobre porównanie. Ostatecznie nie pojawiło się ono w artykule. Postanowiłem je zamieścić tutaj. A więc tak:

"Dysk twardy jest jak zeszyt oszczędnego ucznia. Zapisuje on w nim ołówkiem lekcje ze wszystkich przedmiotów. Jak kończą się wolne kartki wyciera gumką niepotrzebne mu informacje i tam zapisuje nowe. Z czasem okazuje się, że pojedyncza lekcja może być zapisana na różnych stronach. Często jest tak, że nawet wyrazy jednego zdania są rozrzucone po całym zeszycie.

Uczeń jest sprytny i na pierwszych stronach prowadzi spis treści, który wskazuje gdzie należy szukać potrzebnych mu informacji. W ten sposób efektywnie wykorzystuje papier swojego zeszytu. Nie musi prowadzić oddzielnych dla każdego z przedmiotów, które w dużej części byłyby niezapisane. Nie marnuje też stron na zbędne informacje.

We współczesnych komputerach jednocześnie wykonuje się wiele zadań. Dlatego, aby ta analogia była dokładna to należy dodać, że z tego jednego zeszytu jednocześnie korzysta tak naprawdę cała klasa!

Uczeń szybko może przeczytać zdanie, które jest zapisane jednym ciągiem. Jeżeli jednak kolejne słowa są na różnych stronach, to czas wykonania tej czynności znacznie się wydłuży. Jeżeli nawet zdanie jest w całości to może się okazać, że ktoś inny jednocześnie chce przeczytać coś innego. Taka jest właśnie różnica między strumieniem sekwencyjnych i losowych danych na HDD. W praktyce okazuje się, że dużo częściej dysk musi obsługiwać losowe operacje.

Przykład z zeszytem jest też dobry do zobrazowania wielkości bloku danych. Znam tylko dwie osoby, które potrafią czytać całymi akapitami (tz. szybkie czytanie). Trochę więcej ludzi opanowało sztukę operowania pełnymi zdaniami. Najwięcej z nas czyta z dokładnością do jednego lub kilku wyrazów, ale bywa też, że ktoś musi jeszcze literować. Mniej więcej podobnie rozkłada się to w przypadku wielkości operacji i/o na dysku."

Cała prawda o wydajności twardych dysków i (część prawdy o) SSD.

Zapraszam do lektury mojego nowego artykułu na storagefocus.pl - Cała prawda o wydajności twardych dysków i SSD. W oryginalnym tytule było "... i część prawdy o SSD". Nie znam jeszcze SSD tak dobrze jak HDD. Jak widać Krzysztof zmienił tytuł - pewnie za długi.

Tekst ten pierwotnie pisałem na zamówienie innego wydawnictwa. Został on jednak oceniony przez redakcję jako nieatrakcyjny dla czytelników. Próbowałem też w innych poczytnych serwisach z równie miernym skutkiem. Szkoda, że z tą wiedzą tak trudno się przebić do rynku masowego. W zamian za to ludzie otrzymują informacje i porady o wątpliwej przydatności.

Czytając to, odniesiecie wrażenie, że uważam mój artykuł za wartościowy materiał. Tak też jest. Na podstawie doświadczeń, dociekań, szperania i podpytywania napisałem tekst, który jest sprzeczny z powszechnie przedstawianą "prawdą" o wydajności pamięci masowej. Niestety wiedza w nim zawarta ciągle dostępna jest tylko dla wąskiego grona specjalistów. Sorry, zazwyczaj jestem bardziej skromny :)

Dzięki Krzysztofie za itfocus.pl, jedno z nielicznych miejsc na obiektywne dziennikarstwo techniczne.

IBM 350 - pierwszy dysk

Nie mogłem się powstrzymać przed wstawieniem tu tego filmu. Jest to materiał reklamowy komputera IBM RAMAC 305, w którym to został użyty pierwszy dysk twardy - IBM 350. Jego pojemność to około 4,4 MB rozłożone na 50 magnetycznych talerzach. Prędkość obrotowa to 1200 RPM. Średni czas dostępu wynosił 600 ms (0,6 sekundy). Łatwo policzyć, że średnie losowe iops tej maszyny to 1,66. Jest to tylko jakieś 100x mniej niż we współczesnych dyskach! W tym samym czasie pojemność HDD wzrosła o 476625 razy! Więcej szczegółów o tym sprzęcie na wikipedii.

HDD Speaker System

Kolejny pomysł na wykorzystanie dysków twardych po tym jak nie będą już potrzebne.

Funkcjonalność tego jest co najmniej dyskusyjna.

Szlifierka - przyszłość dysków twardych :)

Do czego będziemy mogli wykorzystać nasze twardziele, jak SSD zdominuje rynek.

SSD - trzeźwym okiem

Mam problem z tematem SSD. Cała moja wiedza o tym zjawisku jest tylko i wyłącznie teoretyczna. Tak więc z jednej strony jestem podekscytowany możliwościami tej technologii, a z drugiej strony gdzieś w tyle mózgu czuję i wiem, że nie wszystko co czytam jest prawdą. Staram się pozyskiwać wiedzę z różnych źródeł, zarówno od producentów jak i od niezależnych autorów blogów. Niestety nie mogę nigdzie znaleźć informacji od klientów, którzy SSD już mają i wykorzystują.

Brakuje mi wyników niezależnych testów. Te, które są prezentowane przytłaczają wielkimi liczbami. Sugerują, że pamięci Flash są nawet kilkadziesiąt razy wydajniejsze od dysków twardych. Staram się na to patrzeć racjonalnie. No bo przecież w określonych warunkach zwykły dysk też może 'wyciągnąć' kilka tysięcy IOPS. Co z tego, że taki test nie będzie miał nic wspólnego z realnym przetwarzaniem. Myślę, że podobnie jest w przypadku SSD. Jest nawet kilka dowodów na ten fakt. Np. wyniki testu wykonanego przez Sun'a. Baza DB2 na dysku 10k RPM i SSD:

Test oczywiście strasznie subiektywny. Dobrze, że do porównania nie wzięli dysku 5400 RPM :) Ale i tak transfer na SSD tylko 2x lepszy, a czas operacji sortowania jedynie 2.5x. Porównajmy to z publikowanymi osiągami sprzętu. Sun używa SSD Intela, model x-25. Zgodnie ze specyfikacją wydajność tego napędu to:

losowy odczyt - 35000 IOPS

losowy zapis - 3300 IOPS

Tymczasem przykładowy dysk 10k RPM (Seagate Cheetach NS) losowych operacji potrafi wykonać około 167 w ciągu sekundy. Czyli w powyższym teście, nawet jeżeli wykonywane były by tylko zapisy to SSD powinno być jakieś 20x lepsze!!! I co o tym myśleć?

Disk & disk array calculator

Zakładając tego bloga nie zdawałem sobie sprawy jak bardzo przysłuży się on do pogłębienia mojej wiedzy. Jasne jest, że pisząc uporządkowuje sobie różne informacja, ale przy okazji pojawiają się pytania. "Im więcej wiem tym mocniej wiem jak wiem niewiele." - rozumiem to od dawna, ale wcześniej nie czułem potrzeby szukania odpowiedzi na takie pytania. Jednak pisanie i publiczne publikowanie tych tekstów zobowiązuje. Dzięki temu szperam w sieci i wypytuję różnych ludzi o szczegóły, które kiedyś nie miały dla mnie znaczenia. Ogólnie to po prostu zaczęło mi się chcieć.

Ten przydługi wstęp ma wyjaśnić skąd wzięła się u mnie ochota na zrobienie kalkulatora storage'owego. Myślałem już o tym wcześniej, ale dopiero teraz przelałem to w czyn i tak oto jest.

Kalkulator na podstawie podanych informacji o dyskach, macierzy i serwerze wylicza różne parametry. Zamieściłem go w sieci na swojej wskrzeszonej stronie domowej:

http://www.wmarow.com/strcalc/

Jest to pierwsza wersja, zapewne nie pozbawiona błędów - zapraszam do testowania. Będę wdzięczny za uwagi.

Nie krzycz na swoje dyski!

Dziś znalazłem w sieci ciekawy film ilustrujący efekt krzyczenia na dysk. Wydaje się śmieszne, ale ma sens :)

Choinka

Nie mogłem się oprzeć przed pokazaniem tego zdjęcia:

Choinka jest zrobiona z wnętrzności 70 dysków twardych. Pod zdjęciem link do oryginalnego artykułu.

Pierwsze wyniki SPC-1C - dyski SATA 1TB

Storage Performance Council - organizacja, która opracowała i wykonuje testy wydajnościowe systemów pamięci masowej opublikowała niedawno (15 października) pierwsze wyniki SPC-1C i SPC-2C. Testy z C jak component na końcu jak sama nazwa sugeruje zostały opracowane do sprawdzenia wydajności pojedynczych komponentów środowiska storage, takich jak karty HBA, czy też, jak w tym przypadku, dyski HDD. 

Sponsorem akcji był Seagate. Firma ta jednak nie ograniczyła się do udostępnienia tylko swoich dysków. Do testów trafił również sprzęt konkurencji - Hitachi, Samsung i Western Digital. 

Z mojego punktu widzenia, punktu, którym jest biurko admina storage w firmie z niezliczoną ilością baz danych, najciekawszy jest SPC-1C. Oparty na swoim starszym, większym bracie bez C na końcu ma za zadanie zmierzyć wydajność komponentu w warunkach przetwarzania danych w typowej aplikacji biznesowej (baza danych, system pocztowy). Operacje i/o w takim systemie charakteryzują się dużo losowością i małym blokiem danych. Przestrzeń na testowanym sprzęcie dzielona jest na trzy części (ASU). Każda z nich odpowiada różnym typom danych - Data Store, User Store, Log Store. Na każdym z ASU uruchamiane są sesje (i/o stream) realizujące przetwarzanie zgodne z typem ASU. Wynik podawany jest w jednosce określonej jako SPC-1C IOPS™. W dokładną specyfikację SPC nigdy  nie chciało mi się wnikać. Uznaję, że skoro testy opracowały mądre głowy, to ma to sens. Nie rozumiem jednak dlaczego benchmark był wykonywany tylko na  połowie dostępnej powierzchni każdego z urządzeń, co na pewno pozytywnie wpłynęło na osiągnięte rezultaty (mniejsze opóźnienia w związku z krótszym ruchem głowicy). 

SPC nie publikuje wyników w postaci tabelki z konkretnymi liczbami. Dlatego też przygotowałem stosowne  zestawienie.

Wyniki jak widać mocno rozstrzelone. Nie ma też wątpliwości dlaczego to Seagate zdecydował się na sponsorowanie testu. 

Liczymy, liczymy ...

W poprzednim wpisie wspomniałem o average random IOPS dla dysku twardego. Z tego względu, że z oczywistych powodów parametr ten nie jest podawany w żadnych folderach, broszurach itp. warto wiedzieć jak go policzyć samodzielnie. 

Potrzebujemy do tego informacji, które są jawnie publikowane przez producentów: RPM dysku (ilość obrotów na minutę) oraz średniego czasu przesunięcia/pozycjonowania głowicy (seek time). Weźmy dysk Seagate Cheetah 15k.6 - 15000 RPM, 3,65 ms średni seek time. Liczymy ile trwa pół obrotu dysku (o tyle bowiem średnio dysk musi się zakręcić, aby dotrzeć do wskazanego sektora z danymi):

1/(15000/60)/2 = 2ms

Dodajemy do tego średni seek time (jest to wartość średnia bowiem seek time jest różny zależnie od tego czy operacją jest odczyt, czy też zapis):

2 ms + 3,65 ms = 5,65 ms

W ten sposób uzyskujemy czas jaki średnio potrzebuje dysk na obsługę jednej losowej operacji i/o. Teraz wystarczy tylko wyliczyć ile takich operacji jest w stanie wykonać w ciągu sekundy i mamy nasze średnie IOPS dla operacji losowych:

1/5,65 ms =~ 174 IOPS

Niska wartość tego parametru wynika z opóźnień mechanicznych elementów dysku - ruch głowicy i obroty dysku.  I to właśnie jest największą wadą dysków twardych. Nie można jej wyeliminować. Co więcej nie ma pomysłu jak w dysku zmniejszyć opóźnienia mechaniczne. Bez tego ilość IOPS, wartość mająca zasadnicze znaczenia dla wydajności HDD, nie wzrośnie.

Poniżej przykład kilka dysków z wyliczonym IOPS i wielkości transferów w kB dla różnych wielkości bloku.

Wcześniej do przykładów brałem dyski Hitachi. Okazało się jednak, że ta firma cwanie publikuje tylko seek time dla operacji odczytu - krótszy niż dla zapisu.

Dysk vs. macierz dysków

No i znowu. Kolejny raz muszę odpowiedzieć na TO pytanie. Pytanie, które pada zaraz po tym jak wymieniam kwotę, którą musi wyłożyć biznes za przestrzeń dyskową dla ich aplikacji. Brzmi ono mniej więcej tak: Czy nie lepiej kupić do serwera dysk 1TB ? albo tak: Może podłączymy nowy dysk po USB? Pytanie to może przybierać jeszcze różne inne formy, ale zawsze chodzi o to samo - o potrzebę zrozumienia faktu, że przestrzeń w macierzy kosztuje średnio 20x tyle co przestrzeń na dysku twardym i co on (biznes) za te pieniądze tak naprawdę dostaje. 

Kiedyś, w takiej sytuacji opowiadałem o przeróżnych wspaniałych cechach tych wielkich szaf wypakowanych dyskami, o RAID-ach, redundacji, replikacji, snapshotach ... Zainteresowany przy tym potoku nie zawsze zrozumiałych dla niego nazw i pojęć potakiwał głową i w końcu wykładał pieniądze na kolejne terabajty na swój ukochany system. Niestety odchodził nie do końca przekonany. Wiem o tym, bo po kilku tygodniach, czy miesiącach pytanie w lekko zmienionej formie powracało.

Teraz mam inną metodę - metodę szoku opartego na odsłonięciu zakamuflowanego przez producentów najbardziej istotnego parametru dysku - average random IOPS - średniej ilości losowych operacji zapisu/odczytu możliwych do wykonania w ciągu jednej sekundy. Kryje się on za innymi eksponowanymi, wielkimi liczbami: tysiące RPM, dziesiątki i setki megabajtów transferu, terabajty pojemności ... Jak tymczasem wygląda przy tym IOPS? Weźmy dla przykładu jeden z najszybszych dysków SATA na rynku - Hitachi Ultrastar A7K10000 - liczymy, liczymy i wychodzi 81. Słownie: osiemdziesiąt jeden. Dysk FC jest lepszy? Jasne, przecież kosztuje kilka razy więcej, mimo, że pojemność kilka razy mniejsza - Hitachi Ultrastar 15K300 - raptem 185 IOPS. 

I teraz na pytanie o możliwość zastosowania dysku "z giełdy na Batorego" w środowisku produkcyjnym odpowiadam np. tak: Owszem, ale oznacza to dla systemu transfery na poziomie 650 kB/s (81 x średnia wielkość operacji I/O, w tym przykładzie 8kB). Ten argument kończy dyskusję, pieniądze na macierz się pojawiają, a TO pytanie już nie wraca.