JobTracker

ผู้เขียน: Roger Morrison
วันที่สร้าง: 19 กันยายน 2021
วันที่อัปเดต: 21 มิถุนายน 2024
Anonim
019 MapReduce Daemons JobTracker and TaskTracker Explained
วิดีโอ: 019 MapReduce Daemons JobTracker and TaskTracker Explained

เนื้อหา

คำจำกัดความ - JobTracker หมายถึงอะไร?

JobTracker เป็น daemon ซึ่งทำงานบนเอ็นจิน Apache Hadoops MapReduce JobTracker เป็นบริการที่จำเป็นซึ่งจะทำหน้าที่ MapReduce ทั้งหมดให้กับโหนดต่างๆในคลัสเตอร์โดยเฉพาะอย่างยิ่งกับโหนดที่มีข้อมูลอยู่แล้วหรืออย่างน้อยที่สุดจะอยู่ในชั้นวางเดียวกันกับโหนดที่มีข้อมูล


ข้อมูลเบื้องต้นเกี่ยวกับ Microsoft Azure และ Microsoft Cloud | ในคู่มือนี้คุณจะได้เรียนรู้ว่าการประมวลผลแบบคลาวด์คืออะไรและ Microsoft Azure สามารถช่วยคุณในการโยกย้ายและดำเนินธุรกิจจากคลาวด์อย่างไร

Techopedia อธิบาย JobTracker

JobTracker เป็นบริการภายใน Hadoop ที่รับผิดชอบในการรับคำขอของลูกค้า มันกำหนดให้ TaskTrackers บน DataNodes ที่ข้อมูลที่ต้องการอยู่ในพื้นที่ หากเป็นไปไม่ได้ JobTracker จะพยายามมอบหมายงานให้ TaskTrackers ภายในชั้นวางเดียวกันกับที่มีข้อมูลอยู่ในเครื่อง ถ้าด้วยเหตุผลบางอย่างเช่นนี้ก็ล้มเหลว JobTracker จะมอบหมายงานให้กับ TaskTracker ซึ่งมีข้อมูลจำลองอยู่ ใน Hadoop บล็อกข้อมูลจะถูกจำลองแบบข้าม DataNodes เพื่อให้แน่ใจว่ามีความซ้ำซ้อนดังนั้นหากหนึ่งโหนดในคลัสเตอร์ล้มเหลวงานจะไม่ล้มเหลวเช่นกัน

กระบวนการ JobTracker:

  1. JobTracker ได้รับคำของานจากลูกค้า
  2. JobTracker ให้คำปรึกษา NameNode เพื่อกำหนดตำแหน่งของข้อมูลที่ต้องการ
  3. JobTracker หาตำแหน่งโหนด TaskTracker ที่มีข้อมูลหรืออย่างน้อยอยู่ใกล้กับข้อมูล
  4. งานถูกส่งไปยัง TaskTracker ที่เลือก
  5. TaskTracker ทำงานตามที่ได้รับการตรวจสอบอย่างใกล้ชิดโดย JobTracker หากงานล้มเหลว JobTracker เพียงส่งงานนั้นไปที่ TaskTracker อื่น อย่างไรก็ตาม JobTracker เองนั้นเป็นเพียงจุดเดียวของความล้มเหลวซึ่งหมายความว่ามันล้มเหลวทั้งระบบจะล่ม
  6. JobTracker อัพเดตสถานะเมื่องานเสร็จสมบูรณ์
  7. ผู้ร้องขอลูกค้าสามารถสำรวจข้อมูลจาก JobTracker ได้แล้ว