Big Data? Ginormous Data!

Share this post:

Tänk dig hur många meddelanden en tonåring kan skicka på en dag. Tänk större, tänk dig alla YouTube-filmer som laddas upp, ca 72 timmar film varje minut, gånger 60, gånger 24. Men stanna inte där, tänk större, tänk dig hela internets trafik under ett dygn, cirka en Exabyte data,  motsvarande ungefär en kvarts miljon hårddiskar av senaste snitt. Känns det som Big Data? Kanske till och med Big Enough Data?

Men, sluta inte. Multiplicera i stället hela internets trafik med fjorton. Det är den mängd rådata som kommer att genereras av det planerade radioteleskopet Square Kilometer Array.

Jakten på att förstå vad världen består av, och hur universum fungerar, driver mänskligheten att ta fram alltmer sofistikerade och storskaliga instrument. Vi har nyligen sett hur man med Large Hadron Collider ur 27 kilometer ring, tusentals ton med detektorer, mycket data och sofistikerad statistik lyckades bevisa förekomsten av Higgs-bosonen.

Ett lika storskaligt instrument vänt mot världsrymden är det planerade radioteleskopet Square Kilometer Array, som skall byggas under ledning av ASTRON, Nederländernas institut för radioastronomi. Det skall delta i jakten på universums struktur och tidiga historia. Som namnet antyder består det av många (små) radioantenner, med en sammanlagd antennarea av cirka en kvadratkilometer, utspridda i relativt mobiltelefon- och radio-fria områden i Sydafrika och Australien. För att det skall fungera som ett teleskop krävs att signalerna från antennerna korreleras med varandra. Efter viss lokal datareduktion i antennmodulerna återstår cirka 14 Exabyte rådata, som skall rensas ner till cirka en Petabyte om dagen för att kunna analyseras och sparas. Här stöter vi på nästa intressanta utmaning: Den beräkningskapacitet som krävs för att göra denna korrelation/reduktion. Om vi tar alla 500 av världens snabbaste superdatorer enligt top500-listan, summerar deras kapacitet, och multiplicerar med 100 börjar vi komma i rätt härad…

Skulle vi använda dagens teknik för att bygga detta system, och gå ut på stan och handla vanliga servrar, så skulle vi stöta på ännu ett storleksproblem – bortom det uppenbara. En uppskattning av energiåtgång per beräkningsenhet indikerar att vi skulle behöva köpa en 5-6 kärnkraftverk också för att ha nog med ström.

Så med 100 gånger maskinerna i dagens top500-lista och 5-6 kärnkraftverk på inköpslistan – bara för datareduktion, vi har inte börjat forskningen på allvar ännu – så känns det som att ”business as usual” inte är rätt väg att gå. Det krävs rejält nytänkande på alla nivåer.

På samma sätt som Jeopardy-utmaningen fokuserade forskningen och gav oss Watson, kommer SKA och dess datorstöd (kallat DOME), att driva fram nya lösningar runt hantering av extremt Big Data på ett sätt som är ekonomiskt och energimässigt gångbart, och som kommer gynna även oss som inte spanar mot världsrymden. Vi får nog anledning att återkomma till detta intressanta område…

Att knäcka svåra nötter, och lösa stora utmaningar ligger alltid varmt om hjärtat för IBM Research. Flera ledande tekniska IBMare har dessutom ett extra intresse för rymden och astronomi, och engagemanget i månlandningsprogrammet var ingen tillfällighet. Att förstå universum, och klara av mycket svåra utmaningar är lockande för oss som individer, men varför skall ett företag som IBM bry sig? Jo, för att, som Ralph Gomery säger, ingen kyckling består bara av kött…

Uppskattningarna över hur mycket data som genereras på internet per dag, och som kommer att genereras av SKA varierar. För SKA någonstans mellan en och fjorton Exabytes per dag. De uppskattningar jag använt här kommer från en presentation gjord av IBM Research.

Ginormous enligt Merriam Webster Online Dictionary: Extremt stort, från gigantic + enormous