เนื้อหา
- สถาปัตยกรรมข้อมูลยุคถัดไปคืออะไร?
- ความคาดหวังจาก Hadoop ในคอนของสถาปัตยกรรมยุคหน้า
- Hadoop สามารถเพิ่มคุณค่าอะไรให้กับสถาปัตยกรรมข้อมูลยุคใหม่ได้บ้าง?
- ปรับปรุงประสิทธิภาพเป็นสถาปัตยกรรมข้อมูลองค์กร
- ความแตกต่างระหว่าง Hadoop และเทคโนโลยีอื่น ๆ
- ข้อสรุป
ที่มา: Romeo1232 / Dreamstime.com
Takeaway:
Hadoop จะเป็นผู้เล่นหลักในสถาปัตยกรรมข้อมูลยุคใหม่เนื่องจากความสามารถในการจัดการข้อมูลจำนวนมหาศาล
ยูทิลิตี้ของ Hadoop เริ่มต้นเหนือกว่าการประมวลผลและวิเคราะห์ข้อมูลขนาดใหญ่เนื่องจากอุตสาหกรรมต้องการความต้องการมากขึ้น Hadoop รองรับความต้องการที่หลากหลายที่เกี่ยวข้องกับสถาปัตยกรรมข้อมูลองค์กรอย่างต่อเนื่องในขณะที่ยังคงรักษาจุดแข็งดั้งเดิมไว้ รายการสิ่งที่ Hadoop สามารถทำได้และกำลังทำอยู่ในขณะนี้ค่อนข้างยาว Hadoop สามารถประมวลผลปริมาณงานทรานแซคชันจำนวนมากซึ่งเป็นงานที่เคยคาดหวังจากเทคโนโลยีดั้งเดิม ในอนาคตมีความเป็นไปได้มากมายสำหรับ Hadoop ตัวอย่างเช่นระบบธุรกรรมที่อิงกับ SQL สามารถใช้โปรแกรม Hadoop SQL และ Hadoop จะเพิ่มความสามารถ RDBMS จำนวนมาก คุณสามารถพูดได้ว่า Hadoop กลายเป็นลูกผสมของการประมวลผลข้อมูลและความสามารถในการวิเคราะห์ที่มีความสามารถด้านสถาปัตยกรรมขององค์กร
สถาปัตยกรรมข้อมูลยุคถัดไปคืออะไร?
สถาปัตยกรรมข้อมูลรุ่นต่อไปเป็นรูปแบบของสถาปัตยกรรมข้อมูลที่มีวิวัฒนาการ ทุกอย่างรวมถึงแบบจำลองข้อมูลนโยบายข้อมูลกฎและมาตรฐานที่ควบคุมวิธีการรวบรวมจัดเก็บวิเคราะห์หรือประมวลผลผสานรวมใช้และแจกจ่ายนั้นได้รับการพัฒนาภายใต้สถาปัตยกรรมข้อมูลยุคใหม่
ความแตกต่างที่สำคัญระหว่างสถาปัตยกรรมข้อมูลก่อนหน้านี้และสถาปัตยกรรมข้อมูลยุคต่อไปคือความสามารถในการรวบรวมจัดเก็บและประมวลผลปริมาณข้อมูลจำนวนมหาศาลหรือที่เรียกว่าข้อมูลขนาดใหญ่แบบเรียลไทม์ สถาปัตยกรรมดำเนินงานที่ซับซ้อนเหล่านี้โดยไม่กระทบต่อความเป็นส่วนตัวความปลอดภัยและมาตรฐานการกำกับดูแลข้อมูล
สถาปัตยกรรมข้อมูลยุคใหม่ต้องเผชิญกับความท้าทายมากมาย ไม่ใช่เรื่องง่ายที่จะจัดการกับปริมาณความเร็วและความหลากหลายของข้อมูลขนาดใหญ่ เพิ่มไปยังข้อกำหนดของการปรับปริมาณงานของระบบให้เหมาะสมปรับปรุงประสิทธิภาพความเร็วและความแม่นยำและลดต้นทุน สถาปัตยกรรมข้อมูลก่อนหน้าไม่จำเป็นต้องจัดการความต้องการดังกล่าว
ดังนั้นซีไอโอและสถาปนิกข้อมูลต้องการหาทางออกที่ช่วยให้พวกเขาบรรลุเป้าหมาย การปฏิบัติงาน Hadoop ได้รับความสนใจเป็นระยะเวลาหนึ่งในการประชุมนี้ส่วนต่อไปนี้จะกล่าวถึงวิธีการดำเนินงาน Hadoop สามารถแก้ปัญหาได้
ความคาดหวังจาก Hadoop ในคอนของสถาปัตยกรรมยุคหน้า
บริษัท ต่าง ๆ กำลังอยู่ภายใต้แรงกดดันที่เพิ่มขึ้นเพื่อส่งมอบผลลัพธ์ที่ดีขึ้น ดังนั้น Hadoop จึงไม่ได้คาดหวังว่าจะประมวลผลข้อมูลอีกต่อไป ซีไอโอและ CTO ต้องการเพิ่มเติมจาก Hadoop รับด้านล่างเป็นรายการของความคาดหวังจาก Hadoop ในความเป็นจริง Hadoop ได้ส่งมอบความคาดหวังเหล่านี้ไปสองสามอย่างแล้ว
Hadoop คาดว่าจะทำงานกับระบบธุรกรรมที่ยึดตาม SQL และมีความสามารถในการสร้างอ่านอัปเดตและลบ ระบบการทำธุรกรรมจะใช้ประโยชน์จากเครื่องมือ SQL ระบบจะมีการปฏิบัติตาม Portable Operating System Interface (POSIX) เต็มรูปแบบและความสามารถในการประมวลผลปริมาณธุรกรรมสูง
Hadoop คาดว่าจะสนับสนุนคุณสมบัติเช่นการสำรองข้อมูลการยอมรับข้อบกพร่องการกู้คืนและการกู้คืนระบบ สำหรับ Hadoop ที่จะพัฒนาเป็นระบบที่มีความสามารถของ RDBMS นั้นจะต้องเข้ากันได้กับเครื่องมือไอทีที่มีอยู่
Hadoop กำลังทำงานเพื่อตอบสนองความคาดหวังตามที่เห็นได้จากการพัฒนาบางอย่าง Hadoop สามารถให้การวิเคราะห์ตามเวลาจริงและการตอบสนองที่รวดเร็วบนพื้นฐานของการสนับสนุนการจัดการทรัพยากรที่จัดทำโดย YARN YARN เป็นระบบปฏิบัติการขนาดใหญ่และแบบกระจายสำหรับแอปพลิเคชันข้อมูลขนาดใหญ่นอกเหนือจากการเป็นผู้จัดการทรัพยากร การพัฒนาอื่น ๆ เช่นของ Apache Storm ซึ่งกระจายสถาปัตยกรรมในหน่วยความจำเช่น Apache Spark, Apache Hive, Drill และ MapR-FS (การแทนที่ HDFS ประสิทธิภาพสูง) เป็นที่รู้กันว่าทำงานได้เพื่อให้สามารถใช้งานฐานข้อมูลได้เต็มรูปแบบ เช่นการสำรองข้อมูลการกู้คืนจากความเสียหายการยอมรับข้อผิดพลาดและอื่น ๆ (สำหรับข้อมูลเพิ่มเติมเกี่ยวกับเส้นด้ายให้ดูที่กรอบการทำงานของ Hadoop 2.0 (YARN) คืออะไร)
Hadoop สามารถเพิ่มคุณค่าอะไรให้กับสถาปัตยกรรมข้อมูลยุคใหม่ได้บ้าง?
ค่าการดำเนินการ Hadoop สามารถเพิ่มไปยังสถาปัตยกรรมข้อมูลยุคใหม่สามารถดูได้จากสองมุมมอง: หนึ่งไม่ว่าจะเป็นการตอบสนองความคาดหวังตามที่อธิบายไว้ข้างต้นและสองไม่ว่าจะทำอะไรเพิ่มเติมก็ตาม รับด้านล่างเป็นค่าสำคัญที่ Hadoop ปฏิบัติการสามารถนำมา
ขณะนี้ Hadoop สามารถให้ข้อมูลที่ยืดหยุ่นและจัดการได้มากขึ้นในแพลตฟอร์มผ่าน HDFS และระบบปฏิบัติการข้อมูลถูกเปิดใช้งานผ่านแอปพลิเคชัน YARN ของ Hadoop กลยุทธ์นี้แสดงถึงการเปลี่ยนแปลงในสถาปัตยกรรมข้อมูลในระดับพื้นฐาน ตอนนี้ Hadoop สามารถจัดเก็บข้อมูลประเภทต่าง ๆ เช่นฐานข้อมูลเชิงธุรกรรมฐานข้อมูลกราฟและฐานข้อมูลเอกสารและสามารถเข้าถึงข้อมูลเหล่านี้ผ่านแอปพลิเคชัน YARN ไม่จำเป็นต้องทำซ้ำหรือย้ายข้อมูลไปยังตำแหน่งอื่น
ปรับปรุงประสิทธิภาพเป็นสถาปัตยกรรมข้อมูลองค์กร
การปฏิบัติงาน Hadoop กำลังจะกลายเป็นระบบหลักของสถาปัตยกรรมข้อมูลองค์กร เมื่อ Hadoop เข้ามามีส่วนร่วมในสถาปัตยกรรมข้อมูลขององค์กรมากขึ้นไซโลข้อมูลก็จะถูกกำจัดออกไปเนื่องจากเส้นแบ่งระหว่างพวกมันจะถูกกำจัด จะมีการปรับปรุงอย่างรวดเร็วในเกือบทุกด้าน การปรับปรุงจะเกิดขึ้นในรูปแบบของรูปแบบไฟล์ที่มีประสิทธิภาพมากขึ้นประสิทธิภาพของเครื่องยนต์ SQL ที่ดีขึ้นระบบไฟล์ที่ดีขึ้นและความทนทานซึ่งจะตอบสนองความต้องการของแอพพลิเคชั่นระดับองค์กร
ความแตกต่างระหว่าง Hadoop และเทคโนโลยีอื่น ๆ
ในอดีตความแตกต่างที่สำคัญระหว่าง Hadoop และเทคโนโลยีขององค์กรข้อมูลคือการประมวลผลข้อมูลขนาดใหญ่การรายงานและการวิเคราะห์ของ Hadoop ตอนนี้เมื่อ Hadoop ด้านการดำเนินงานกลายเป็นส่วนหนึ่งของสถาปัตยกรรมข้อมูลขององค์กรมากขึ้นเรื่อย ๆ ความแตกต่างระหว่างเอนทิตีจะเริ่มเบลอมากขึ้น ดังนั้นการดำเนินงาน Hadoop จึงเป็นทางเลือกที่ดีกว่าสถาปัตยกรรมข้อมูลองค์กรที่มีอยู่
ข้อสรุป
ด้วยความคาดหวังและความคืบหน้า Hadoop จะเป็นจุดสนใจของอุตสาหกรรมมาระยะหนึ่งแล้ว แต่มันก็สมเหตุสมผลที่จะไม่เน้นที่ Hadoop มากเกินไปและไม่สนใจเทคโนโลยีอื่น ๆ เนื่องจากเทคโนโลยีอื่น ๆ จะมีความก้าวหน้าในพารามิเตอร์เดียวกันและอาจแซง Hadoop มันไม่เคยดีที่จะมีการผูกขาดในตลาด เป็นการดีที่ผู้ผลิตเทคโนโลยีอื่นที่ไม่ใช่ Hadoop อาจมีแรงจูงใจในการส่งมอบผลิตภัณฑ์ที่ดีกว่าและแม้แต่ปลั๊กอินที่ช่วยให้ Hadoop ปรับปรุงประสิทธิภาพของมัน