Hadoop ระบบไฟล์แบบกระจาย (HDFS)

ผู้เขียน: Judy Howell
วันที่สร้าง: 28 กรกฎาคม 2021
วันที่อัปเดต: 1 กรกฎาคม 2024
Anonim
How to download/upload files between local and Hadoop distributed filesystem  | Top 10 HDFS commands
วิดีโอ: How to download/upload files between local and Hadoop distributed filesystem | Top 10 HDFS commands

เนื้อหา

คำจำกัดความ - Hadoop Distributed File System (HDFS) หมายถึงอะไร

Hadoop Distributed File System (HDFS) เป็นระบบไฟล์แบบกระจายที่ทำงานบนฮาร์ดแวร์มาตรฐานหรือฮาร์ดแวร์ระดับล่าง พัฒนาโดย Apache Hadoop, HDFS ทำงานเหมือนระบบไฟล์แบบกระจายมาตรฐาน แต่ให้ปริมาณข้อมูลที่ดีขึ้นและการเข้าถึงผ่านอัลกอริทึม MapReduce, การยอมรับข้อบกพร่องสูงและสนับสนุนชุดข้อมูลขนาดใหญ่


ข้อมูลเบื้องต้นเกี่ยวกับ Microsoft Azure และ Microsoft Cloud | ในคู่มือนี้คุณจะได้เรียนรู้ว่าการประมวลผลแบบคลาวด์คืออะไรและ Microsoft Azure สามารถช่วยคุณในการโยกย้ายและดำเนินธุรกิจจากคลาวด์อย่างไร

Techopedia อธิบายระบบไฟล์กระจาย Hadoop (HDFS)

HDFS เก็บข้อมูลจำนวนมากไว้ในเครื่องหลายเครื่องโดยปกติแล้วในหลายร้อยหลายพันโหนดที่เชื่อมต่อพร้อมกันและให้ความน่าเชื่อถือของข้อมูลโดยการทำซ้ำแต่ละอินสแตนซ์ข้อมูลเป็นสำเนาที่แตกต่างกันสามชุด - สองในหนึ่งกลุ่ม สำเนาเหล่านี้อาจถูกแทนที่ในกรณีที่เกิดความล้มเหลว

สถาปัตยกรรม HDFS ประกอบด้วยกลุ่มซึ่งแต่ละรายการสามารถเข้าถึงได้ผ่านเครื่องมือซอฟต์แวร์ NameNode เดียวที่ติดตั้งบนเครื่องที่แยกต่างหากเพื่อตรวจสอบและจัดการระบบไฟล์กลุ่มนั้นและกลไกการเข้าถึงของผู้ใช้ อีกเครื่องหนึ่งติดตั้งอินสแตนซ์หนึ่งของ DataNode เพื่อจัดการที่เก็บข้อมูลของคลัสเตอร์

เนื่องจาก HDFS เขียนขึ้นใน Java จึงมีการสนับสนุนดั้งเดิมสำหรับ Java application programming interfaces (API) สำหรับการรวมแอพพลิเคชั่นและการเข้าถึง นอกจากนี้ยังสามารถเข้าถึงได้ผ่านเว็บเบราว์เซอร์มาตรฐาน