JobTracker

Författare: Roger Morrison
Skapelsedatum: 19 September 2021
Uppdatera Datum: 21 Juni 2024
Anonim
019 MapReduce Daemons JobTracker and TaskTracker Explained
Video: 019 MapReduce Daemons JobTracker and TaskTracker Explained

Innehåll

Definition - Vad betyder JobTracker?

JobTracker är en daemon som körs på Apache Hadoops MapReduce-motor. JobTracker är en viktig tjänst som utplånar alla MapReduce-uppgifter till de olika noderna i klustret, helst till de noder som redan innehåller data, eller som åtminstone finns i samma rack som noder som innehåller data.


En introduktion till Microsoft Azure och Microsoft Cloud | I hela denna guide kommer du att lära dig vad cloud computing handlar om och hur Microsoft Azure kan hjälpa dig att migrera och driva ditt företag från molnet.

Techopedia förklarar JobTracker

JobTracker är tjänsten inom Hadoop som ansvarar för att ta fram kundförfrågningar. Den tilldelar dem till TaskTrackers på DataNodes där de nödvändiga uppgifterna finns lokalt. Om det inte är möjligt försöker JobTracker tilldela uppgifterna till TaskTrackers inom samma rack där data finns lokalt. Om detta av någon anledning också misslyckas tilldelar JobTracker uppgiften till en TaskTracker där en kopia av data finns. I Hadoop replikeras datablock över DataNodes för att säkerställa redundans, så att om en nod i klustret misslyckas misslyckas inte jobbet också.


JobTracker-processen:

  1. Jobbförfrågningar från klientansökningar tas emot av JobTracker,
  2. JobTracker konsulterar NameNode för att bestämma platsen för önskad data.
  3. JobTracker lokaliserar TaskTracker-noder som innehåller data eller som åtminstone är nära data.
  4. Jobbet skickas till den valda TaskTracker.
  5. TaskTracker utför sina uppgifter medan den övervakas noggrant av JobTracker. Om jobbet misslyckas skickar JobTracker helt enkelt om jobbet till en annan TaskTracker. JobTracker själv är emellertid en enda punkt för misslyckande, vilket betyder att om det misslyckas går hela systemet ner.
  6. JobTracker uppdaterar sin status när jobbet är slutfört.
  7. Klientförfrågan kan nu undersöka information från JobTracker.