Hämtmat:
Hadoop analysplattform har vissa betydande begränsningar som involverar hastighet och komplexitet, men branschledarna arbetar för att ändra det.
Som det är, säger Cloudera VD Mike Olson, har Hadoop analysplattform några betydande begränsningar som involverar hastighet och komplexitet. Branschledare - inklusive de på hans eget företag - arbetar emellertid för att förändra det, med övertygelse om att detta forskningsverktyg kommer att utvecklas på grundläggande sätt under de kommande åren.Vid Stratskonferensen förra året bad Olson en publik att föreställa sig hur Hadoop, om den skapades idag, skulle utformas på ett annorlunda sätt, med att vissa specifika förändringar skulle kunna öppna nya portar för forskning inom områden som utbildning, energi och jordbruk. Med hänvisning till kosmolog och vetenskaplig författare Carl Sagan betonade Olson vikten av att bryta ner data på hög nivå för en större publik.
"Jag tror att vi är på väg till kanten av stora upptäckter som är viktiga för företag och för samhället," sade Olson.
Ett exempel, konstaterade han, är den vetenskapliga upptäckten som möjliggjordes av vetenskapliga yrkesverksamma vid Large Hadron Collider i Schweiz. Enligt Olson är det den dagliga utvärderingen av 37 terabyte data som har lett till viktiga framsteg som vattendraget Higgs-Boson-upptäckten, som avslöjade viktiga aspekter av materia och energi. Olson tillade att Hadoop hjälper till att hjälpa till i dessa grundläggande forskningsprojekt genom att fånga en enorm mängd data i ett enda arkiv, men att det är svårt att interagera med dessa data i realtid.
Olson tillkännagav också Impala-projektet, något som hans företag har arbetat med i två år, med två fjärdedels betatest i samordning med stora klienter. Impala-projektet, sa Olson, är en "100% open source" -teknologi med Apache-licensiering som fungerar med Hadoop som en "realtidsfrågemotor." Detta, säger Olson, tillåter vad han kallar "hastighet i fråga om tanke", där användare kan ställa en fråga, få svar och formulera en ny fråga för att effektivt använda stora datakluster.
"Det ger dig ett nytt sätt att ta reda på dina uppgifter," sade Olson och beskriver hur denna typ av framsteg kan bryta upp ytterligare möjligheter för att lösa stora problem i USA och utomlands.