Innehåll
- ETL skapar flaskhalsar för Analytics
- Effektivisera ETL med maskininlärning och AI
- Inga buggar, ingen stress - din steg-för-steg-guide för att skapa livsförändrad programvara utan att förstöra ditt liv
Källa: Pop Nukoonrat / Dreamstime.com
Hämtmat:
Data är avgörande för företaget, men för att det ska vara användbart får det inte finnas några fel vid insamling, bearbetning och presentation av dessa data. Konstgjord intelligens kan övervaka ETL-processer för att se till att de är felfria.
ETL (extrahera, transformera och ladda) är en av de viktigaste processerna inom big data-analys - och samtidigt kan det vara en av dess största flaskhalsar. (För mer information om big data, kolla in 5 användbara Big Data-kurser du kan ta online.)
Anledningen till att ETL är så viktigt är att de flesta uppgifter som ett företag samlar in inte är redo, i sin råa form, för en analyslösning att smälta. För att en analyslösning ska skapa insikter måste rådata extraheras från applikationen där den för närvarande finns, omvandlas till ett format som ett analysprogram kan läsa och sedan ladda det i själva analysprogrammet.
Denna process är analog med matlagning. Dina råa ingredienser är dina rådata. De måste extraheras (köpas i en butik), omvandlas (kokas) och laddas sedan (pläteras) innan de kan analyseras (smakas). Svårigheten och utgifterna kan skala oförutsägbart - det är lätt att tillverka mac n 'ost för dig själv, men mycket svårare att skapa en gourmetmeny för 40 personer på en middagsfest. Naturligtvis kan ett misstag när som helst göra din måltid osmältbar.
ETL skapar flaskhalsar för Analytics
ETL är på vissa sätt grunden i analysprocessen, men det har också några nackdelar. Först och främst är det långsamt och beräkningsbart dyrt. Detta innebär att företag ofta bara prioriterar sina viktigaste uppgifter för analys och bara lagrar resten. Detta bidrar till det faktum att upp till 99% av all affärsdata går oanvända för analysändamål.
Dessutom är ETL-processen aldrig säker. Fel i ETL-processen kan skada dina data. Till exempel kan ett kort nätverksfel förhindra att data extraheras. Om dina källdata innehåller flera filtyper kan de omvandlas felaktigt. Skräp in, skräp ut, som de säger - fel under ETL-processen kommer nästan säkert att uttrycka sig i termer av felaktiga analyser.
En skadad ETL-process kan få dåliga konsekvenser. Även i bästa fall kommer du förmodligen att behöva köra ETL igen, vilket betyder en försening av timmar - och under tiden är dina beslutsfattare otåliga. I värsta fall märker du felaktiga analyser förrän du har börjat förlora pengar och kunder.
Effektivisera ETL med maskininlärning och AI
Du kan - och förmodligen göra - tilldela någon att övervaka ETL, men det är ärligt talat inte så enkelt. Dålig data kan vara resultatet av processfel som händer så snabbt att de inte kan märkas i realtid. Resultaten av en skadad ETL-process ser ofta inte annorlunda ut än korrekt inlästa data. Även om fel är uppenbara, är problemet som skapade felet kanske inte så lätt att spåra. (Mer information om analys av data finns i Jobbroll: Dataanalytiker.)
Den goda nyheten är att maskiner kan fånga vad människor inte kan. Det här är bara några sätt på vilka AI och maskininlärning kan fånga ETL-fel innan de förvandlas till felaktiga analyser.
Inga buggar, ingen stress - din steg-för-steg-guide för att skapa livsförändrad programvara utan att förstöra ditt liv
Du kan inte förbättra dina programmeringsfärdigheter när ingen bryr sig om mjukvarukvalitet.
1. Upptäck och varna över ETL-mätvärden
Även om dina data är en ständigt rörlig bild, bör ETL-processen fortfarande producera konsekventa värden med en jämn hastighet. När dessa saker förändras är det orsak till oro. Människor kan se stora gungor i data och känna igen fel, men maskininlärning kan känna igen subtila fel snabbare. Det är möjligt för ett maskininlärningssystem att erbjuda realtidsavviksupptäckt och varna IT-avdelningen direkt, så att de kan pausa processen och åtgärda problemet utan att behöva kasta timmar med beräkningar.
2. Fastställa specifika flaskhalsar
Även om dina resultat är korrekta kan de fortfarande komma ut för långsamt för att kunna användas. Gartner säger det 80% av insikten härledd från analys kommer aldrig att utnyttjas för att skapa monetärt värde, och det kan bero på att en företagsledare inte kan se en inblick i tid för att dra nytta av det. Maskininlärning kan berätta var ditt system bromsar ner och ge dig svar - du får bättre data, snabbare.
3. Kvantifiera effekten av förändringshantering
Systemen som producerar dina data och analyser är inte statiska - de får ständigt korrigeringar och uppgraderingar. Ibland påverkar det hur de producerar eller tolkar data - vilket leder till felaktiga resultat. Maskininlärning kan flagga resultat som har ändrats och spåra dem till den specifika korrigerade maskinen eller applikationen.
4. Sänk kostnaden för verksamheten
Stoppad analysverksamhet lika förlorade pengar. Tiden du spenderar inte bara för att lösa problemet utan också vem är ansvarig för att lösa problemet är det dags att du kan spendera byggnadsvärde. Maskininlärning hjälper dig att komma till hjärtat av saken genom att bara varna de team som kan vara ansvariga för att svara på specifika typer av händelser, vilket gör att resten av IT-avdelningen får fortsätta att utföra grundläggande jobbfunktioner. Dessutom kommer maskininlärning att hjälpa till att eliminera falska positiva effekter, vilket minskar det totala antalet varningar och samtidigt ökar den information de kan ge. Alert trötthet är mycket verklig, så denna förändring kommer att ha en mätbar inverkan på livskvaliteten.
När det gäller att vinna inom affärer är analytik avgörande. En milstolksstudie från Bain Capital visar att företag som använder analys är mer än dubbelt så troligt att de överpresterar ekonomiskt. ETL ger grunden för framgång på denna arena, men förseningar och fel kan också förhindra framgången för ett analysprogram. Maskininlärning blir därför ett ovärderligt verktyg för att lyckas med alla analysprogram, vilket hjälper till att garantera rena data och korrekta resultat.