200MB/s na dysk - mozliwe?

Marcin Lipinski - 22 Lut 2007, 15:16

Witam grupowiczow,

Zaczynam wgryzac sie w prolem i mam prosbe do Panstwa o wstepne
ukierunkowanie w jaki sposob probowac problem rozwiazac.

Chcialbym zapisywac ciagle dane z predkoscia 200MB/s (200 megabajtów) na
dyski twarde. Chcialbym uzyc do tego jakiegos kontrolera RAID.

Co byloby latwiejsze ... zrobic karte do kompa i probowac pchac to do kompa
poprzez PciExpress i potem RAIDEM, czy moze sa jakies inne sposoby np. fpga
i jakies ipcore, ktore pozwalaloby na wyslanie danych do RAID.

Danych bedzie dosc sporo i nie wchodzi w gre zapisywanie do pamieci a
pozniej na dysk.

Za wszelkie sugestie bylbym bardzo wdzieczny.

pozdrawiam
Marcin

BartekK - 22 Lut 2007, 15:43

Ja uzywam ICH8R (para z czipsetem intela P965):
- 2 dyski 200GB seagate 7200.10 (zapis prostopadly) raid0 - read max
130MB/s, srednio 114MB/s, minimalnie 70MB/s (na koncu pojemnosci
- 4 dyski 80GB seagate 7200.10 raid5 - read max 240MB/s, srednio
200MB/s, minimalnie 160MB/s na koncu pojemnosci.
Tylko ze to sa dane _read_ a ciebie interesuje zapis - bedzie pewnie
conajmniej o 20-30% wolniejszy
Kres możliwości tego czipu to chyba 6 albo 8 dyskow, zapiety jest wprost
do czipsetu wiec wydajnosc raczej nie bedzie problemem.

Exploris - 22 Lut 2007, 16:48

Może ktoś zaproponuje coś innego ....

P.S. Podzielisz się, co tak naprawdę chcesz zapisywać z taką prędkością ...
bo jakoś nic mi do głowy nie przychodzi ... będziemi Ci wdzięczni za
poszerzenie naszej skromnej wiedzy ... 60 sekund - 1,2 GB ------- Matko ....
do czego toto ????????

Exploris.

Wnekus - 22 Lut 2007, 17:10

60 sekund to 12GB .... duzo, bardzo duzo danych, moze je kompresowac w locie
??

Krzysztof Kuźmicki - 22 Lut 2007, 17:17

sieć SAN (lub p-to-p) Fiber Channel, kodowanie 8/10 to z 2Gib/s masz
wlasnie 200MB/s i jakas macierz clariion, fas, xp (hp), shark (ibm).
www.emc.com
www.netapp.com

ivaldir - 23 Lut 2007, 02:46

Kamera do zdjec w zwolnionym tempe?

PAndy - 23 Lut 2007, 03:45

IMO najlepsze bedzie PC jak juz to zostalo wspomniane do tego wydajny
kontroler RAID na PCI-E np HighPoint  RocketRAID 2322 + macierz 6 - 8
dyskow w RAID 0

alternatywne kontrolery to:

http://www.intel.com/design/servers/raid/srcsas18e/index.htm
http://www.promise.com/product/product_detail_eng.asp?segment=RAID%20...
http://www.promise.com/product/product_detail_eng.asp?segment=RAID%20...

musisz pamietac ze jeden lane na PCI-E to 150MB czyli potrzebujesz
kontroler co najmniej z 2 LANE'ami - ale lepiej zainwestowac ciut wiecej
i brac taki na 4 albo 8 - do tego kilka dyskow pamietajace ze na koncu
dysk ma ok 60% wydajnosci z poczatku - powiedzmy ze jednej dysk bedzie
mial pod koniec ok 40MB czyli rozsadnie co najmniej 5 dyskow a by miec
pewnosc ze sie nic nie powali to bralbym 6 - 8

Do tego Linux i za niewielkie pieniadze mozna sie cieszyc przywoita
wydajnoscia...

(naprawde za 3000$ trudno trafic cos taniej i do tego z oprogramowaniem
niezlej jakosci gotowe do odpalenia)

Zygmunt M. Zarzecki - 23 Lut 2007, 04:55

A co jest źródłem danych?

Strip na przynajmniej 6 dysków.
Biblioteka zewnętrzna scsi z dyskami sata.
Wydatek minimum 2000zł za sam kontroler.
Zapytaj na p.c.o.l.sprzet o szczegóły.

zyga

J. F. - 23 Lut 2007, 06:10

To na pewno nie bedzie latwe :-)

To ma byc zewnetrzny strumien ?
Moze jednak niezalezny kontroler/rozdzielacz - czarna skrzynka z
interfejsami do kilku dyskow .. pamieci buforowe obawiam sie beda
musialy byc.

J.

Greg(G.Kasprowicz) - 23 Lut 2007, 08:23

mzoe FPGA i kilka HDD podpietych bezposrednio i ladowac im surowe dane - to
sie da prosto zrobic.
Potem w zwolnionym tepie, np przez USB2.0 czytac porzadkujac w locie.

z daleka te dane trzeba slac?
bo moze karta 10G ethernet jako link

zapis do pamieci moze byc przydatny jako maly bufor gdyby te w HDD sie nie
wyrabialy

wszystko zalezy do czego to ma byc.

Czy wszystkie dane sa interesujace?
moze na poczatku dac tryger, ktory bedzie wstepnie je sortowal, odrzucajac
np 90 % tych co nie niosa uzytecznych informacji

np z detektora czastek wychodzi np. 400,000 kanalow, kazdy nadaje 40 lub 80
MB/s w sposob ciagly, przez kilka miesiecy.
1 stopien redukuje strumien 10x, zaimlementowany jest w ASICu przy samym
detektorze, dalej linkami optycznymi dane leca dalej.
nastepny , majac duzo mniej danych sortuje te poprzednie i szuka w nich
ciekawych zdarzen, redukujac strumien nastepne 100x. Zaimpelementowany jest
w FPGA (kilkaset tys Stratixow) nastepny stopien to klaster 1500 PCtow
polaczonych siecia 10Gbit. Redukuje dane 100...1000-krotnie i zapisuje na
HDD.

A detektorow jest kilkadziesiat :)

Zygmunt M. Zarzecki - 23 Lut 2007, 09:13

Tfu! fibre channel

zyga

Martin Lukasik - 23 Lut 2007, 12:10

Tak, kompresowac 200MB/s. Sun robi takie serwery z 48 procesorami...

m.

Filip Ozimek - 23 Lut 2007, 12:28

        Tak po za tematem: to Ty robiłeś kamery do "Pi of the Sky"? :-)

Marek Lewandowski - 23 Lut 2007, 13:00

po pierwsze: jak oszacowałeś moc obliczeniową nie mając założeń o
złożoności algorytmu?
RLE zrobisz na FPGA dla realnie dowolnej przepustowości, która w nie
wejdzie i wyjdzie, kodowanie Huffmana przy stałym słowniku też. Nie
wiadomo, co jest w danych, może już tyle dać zysk nawet
kilkunastokrotny.

PAndy - 23 Lut 2007, 13:35

albo ujemny ;)

Krzysiek - 23 Lut 2007, 20:15

Ale kto by tak dużo szumu na sekundę zapisywał? :-)

Wojtek Kaniewski - 24 Lut 2007, 06:10

SETI? ;)

w.

Marek Lewandowski - 24 Lut 2007, 13:15

jak projektant fujara :D

PAndy - 24 Lut 2007, 14:11

mowisz ze zawsze zastosowanie kodowania huffmana daje zysk... no
ciekawe...

Marek Lewandowski - 24 Lut 2007, 14:23

czytanie selektywne? Primo, podałem dwa przykłady, nie tylko Huffmana,
secundo, jak kompresowanie strumienia danych daje ujemny zysk, znaczy
stratę, to projektant dupa. Tak samo, jeśli np. koło po posmarowaniu
smarem obraca się ciężej, to mechanik, który ten spar wybrał, jest dupa.
I to nie znaczy, że towot się nada do wszystkiego...

PAndy - 24 Lut 2007, 15:54

"RLE zrobisz na FPGA dla realnie dowolnej przepustowości, która w nie
wejdzie i wyjdzie, kodowanie Huffmana przy stałym słowniku też. Nie
wiadomo, co jest w danych, może już tyle dać zysk nawet
kilkunastokrotny.
"

bo ja wiem czy selektywne - jakby mialo to byc z tak duzym zyskiem to
jednak proste RLE tu nie za duzo da... (nie no pewnei mozemy idealizowac
i przytaczac jakies specyficzne kombinacje gdzie RLE da i ponad 100
krotny zysk ale co mi sie widzi ze trudno bedzie znalezc tak idealne
przypadki)

Marek Lewandowski - 25 Lut 2007, 03:19

ale zauważyłeś, że to był przykład algorytmów nie wymagających

"Tak, kompresowac 200MB/s. Sun robi takie serwery z 48 procesorami..."

48 procesorów?

Czy jednak czytanie selektywne od pół wątku?

PAndy - 25 Lut 2007, 08:42

alez nie - po prostu z pewnymi odpowiedziami mozna polemizowac a z
innymi nie...
co do wspomnainych 48 procesorow - 1920x1080p30 video daje sie bez
klopotu kompresowac do h.264 na 8 procesorowym opteronie - wiec te 200MB
mysle ze daloby zrealziowac na ciut slabszej maszynie - taki huffyuv
jest tego dowodem