Innehåll
Källa: Nmedia /Dreamstime.com
Hämtmat:
Big data är stora affärer överallt, men några specifika områden som utnyttjar denna teknik mest.
När jag började den här artikeln planerade jag att lista de olika typerna av big data-plattformar. Men efter tre dagars försök att korrigera alla de olika stordata-erbjudandena - relationellt mot icke-relationellt, SQL kontra NoSQL och databas kontra ramverk - till viss ordning, bestämde jag mig för att undvika det röran.
För att ge förolämpning mot skada hade jag hoppats att introducera personen som myntade uttrycket "big data" som en del av artikeln. Men jag kan inte ens göra det. Det finns inget avtalat svar. I själva verket finns det ett fullständigt forskningsprojekt som undersöker vem som kom med big data ursprungligen. Istället ska jag ta en titt på några av de viktigaste sätten big data används. Det är mycket viktigare. Och det är mer intressant och överraskande än du kanske tror.
Hur det hände
Analytiker som använder traditionell dataanvinning har manipulerat data i flera år. Samma analytiker har nu svårt att hantera mängden och mängden data som sparas av företag, privata organisationer och myndigheter.
Ange big data, nästa evolutionära steg i data mining. Big data designades för att hantera de massiva databaser och otaliga typer av data som skapas i dagens digitala värld. Om "massiv" har du funderat på Google och all information den samlar in, skulle du vara i bollplatsen. Det som kan överraska dig är att Google bara är fjärde på topplistan över världens största databaser. Från och med januari 2014 toppade World Data Center for klimat listan med 220 terabyte data, och det är vem som helst gissa om storleken på databaser som kontrolleras av vissa myndigheter.
Naturligtvis tog stora data fart eftersom det gör det möjligt att manipulera stora mängder olika data och upptäcka fantastiska - och otroligt detaljerade och personliga saker. John Sumser, HR-branschanalytiker, ger följande exempel:
"Idag skapar vi hypoteser och samlar in data. I morgon gör vi det omvända. Den ständiga, stadiga ansamlingen av data kommer att göra det möjligt för oss att titta på data innan vi bildar frågor. Det betyder att vi får svar på frågor vi inte har gjort". Jag vet inte att fråga. Vi kommer att tänka på en hel del saker som vi antar vara fakta. "
Naturligtvis har vi alla hört talas om några av de läskiga sätten denna information har använts, till exempel målförmågan att urskilja en ung kvinnas graviditet innan hennes familj till och med får reda på det. Men big data används också för mycket mindre olyckliga orsaker. Här är några organisationer som utnyttjar det mest:
Du kan inte förbättra dina programmeringsfärdigheter när ingen bryr sig om mjukvarukvalitet.
Ett uppenbart område som stor data kommer att hjälpa är att hantera elektroniska hälsoregister på ett säkert och korrekt sätt inom medicinska organisationer. Att ha exakta register ger patienter bättre service och minskar fel. Av uppenbara skäl anpassar sjukvårdsfältet stora data i en långsammare takt för att uppfylla myndighetens bestämmelser om patientens konfidentialitet.
Som nämnts tidigare är big data känt för att ge svar på obesvarade frågor. Inom sjukvårdsområdet kan det innebära att man hittar ett nytt läkemedel eller en behandling som inte skulle ha hittats på annat sätt. Enligt McKinsey & Company skulle big data möjliggöra följande i en inte så avlägsen framtid:
- Prediktiv modellering av biologiska processer och läkemedel blir mer sofistikerad och utbredd.
- Patienter identifieras för att delta i kliniska prövningar baserade på fler informationskällor, till exempel sociala medier.
- Försök övervakas i realtid för att snabbt identifiera säkerhets- eller driftsfrågor.
- I stället för styva datasilo som är svåra att utnyttja, fångas data elektroniskt och flyter lätt mellan olika enheter.
Big Data, Big Opportunity
Medan big data utnyttjas inom vissa specifika områden, ger det möjlighet för alla organisationer inom följande områden:
Nästan alla dator- och nätverksenheter loggar data. Mängden data som loggas blir snabbt olämplig. Big data kan enkelt hantera den mängden data, vilket gör att administratörer kan övervaka nätverksaktivitet, diagnostisera problem eller, i exemplet Rubin gav mig, leta efter vissa nätverkstrafikmönster som skulle indikera skadlig aktivitet.
Om du läser den här artikeln är det en ganska säker satsning att du är medveten om Heartbleed-problemet kring OpenSSL. Förutom det tekniska problemet finns det oro för att sårbarheten har funnits i flera år. Rubin nämnde att big data tillåter nätverksadministratörer, som arbetar med dataanalytiker, att skapa ett program som kommer att söka i alla nätverksloggar efter skadliga hjärtslag. Detta EFF-inlägg nämner:
"Alla nätoperatörer som har omfattande paketloggar kan kontrollera om skadliga hjärtslag, som oftast har en TCP-nyttolast på 18 03 02 00 03 01 eller 18 03 01 00 03 01 (eller kanske till och med 18 03 03 00 03 01)."Följande exempel är exempelproduktion från show-revisionskommandot:
Router # visa revision
* 14 september 18: 37: 31.535:% AUDIT-1-RUN_VERSION: Hash:
24D98B13B87D106E7E6A7E5D1B3CE0AD Användare:
* 14 september 18: 37: 31.583:% AUDIT-1-RUN_CONFIG: Hash:
4AC2D776AA6FCA8FD7653CEB8969B695 Användare:
* 14 september 18: 37: 31.595:% AUDIT-1-STARTUP_CONFIG: Hash:
95DD497B1BB61AB33A629124CBFEC0FC Användare:
* 14 september 18: 37: 32.107:% AUDIT-1-FILESYSTEM: Hash:
330E7111F2B526F0B850C24ED5774EDE Användare:
* 14 september 18: 37: 32.107:% AUDIT-1-HARDWARE_CONFIG: Hash:
32F66463DDA802CC9171AF6386663D20 Användare:
Om du följer tidsstämplarna var tidsintervallet för alla dessa poster mindre än en sekund. Jag skulle inte ens vilja extrapolera det under en dag, än mindre två år!
Något att titta på
Om du kontrollerar jobbannonserna, finns det ett stort behov av big data-experter. Jag frågade Rubin om detta. Han gick med och nämnde att hans elever var glada över deras utsikter. Då insåg jag att big data-plattformar, särskilt de som anses vara öppen källkod, följer en tidslinje som mycket liknar hur Linux blev mainstream.
Universitet omfattar öppna källkodsversioner av stordataplattformar, i synnerhet Hadoop, eftersom de är gratis och studenter kan manipulera källkoden. Så de akademiker som fyller alla dessa jobböppningar kommer att föredra att arbeta med öppna källkodsplattformar, eftersom det är vad de vet bäst. Det blir intressant att titta på.