เนื้อหา
- ETL สร้างคอขวดสำหรับ Analytics
- ปรับปรุง ETL ด้วยการเรียนรู้ของเครื่องและ AI
- ไม่มีข้อบกพร่องไม่มีความเครียด - คู่มือแบบเป็นขั้นตอนเพื่อสร้างซอฟต์แวร์ที่เปลี่ยนแปลงชีวิตโดยไม่ทำลายชีวิตของคุณ
ที่มา: Pop Nukoonrat / Dreamstime.com
Takeaway:
ข้อมูลมีความสำคัญต่อธุรกิจ แต่เพื่อให้มีประโยชน์ต้องไม่มีข้อผิดพลาดใด ๆ ในการรวบรวมประมวลผลและนำเสนอข้อมูลนั้น ปัญญาประดิษฐ์สามารถตรวจสอบกระบวนการ ETL เพื่อให้แน่ใจว่าปราศจากข้อผิดพลาด
ETL (แยกแปลงและโหลด) เป็นหนึ่งในกระบวนการที่สำคัญที่สุดในการวิเคราะห์ข้อมูลขนาดใหญ่ - และในเวลาเดียวกันมันสามารถเป็นหนึ่งในคอขวดที่ใหญ่ที่สุด (สำหรับข้อมูลเพิ่มเติมเกี่ยวกับข้อมูลขนาดใหญ่ลองดู 5 หลักสูตรข้อมูลขนาดใหญ่ที่เป็นประโยชน์ที่คุณสามารถลงเรียนออนไลน์ได้)
เหตุผลที่ ETL มีความสำคัญมากคือข้อมูลส่วนใหญ่ที่ธุรกิจรวบรวมไม่พร้อมในรูปแบบดิบเพื่อให้โซลูชันการวิเคราะห์ย่อย เพื่อให้โซลูชันการวิเคราะห์สร้างข้อมูลเชิงลึกข้อมูลดิบจะต้องถูกแยกออกจากแอปพลิเคชันที่อยู่ในปัจจุบันแปลงเป็นรูปแบบที่โปรแกรมการวิเคราะห์สามารถอ่านและโหลดลงในโปรแกรมการวิเคราะห์เอง
กระบวนการนี้คล้ายคลึงกับการปรุงอาหาร วัตถุดิบของคุณเป็นข้อมูลดิบของคุณ พวกเขาจะต้องสกัด (ซื้อจากร้านค้า) เปลี่ยน (สุก) แล้วโหลด (ชุบ) ก่อนที่จะวิเคราะห์ (ชิม) ความยากและค่าใช้จ่ายสามารถปรับขนาดได้อย่างไม่คาดคิด - เป็นเรื่องง่ายที่จะทำชีสแมคแอนด์เนสสำหรับตัวคุณเอง แต่ยากมากที่จะสร้างเมนูอาหารสำหรับ 40 คนในงานเลี้ยงอาหารค่ำ ความผิดพลาดในทุกจุดสามารถทำให้มื้ออาหารของคุณไม่สามารถย่อยได้
ETL สร้างคอขวดสำหรับ Analytics
ETL นั้นเป็นพื้นฐานของกระบวนการวิเคราะห์ แต่ก็มีข้อเสียอยู่บ้าง ก่อนอื่นมันช้าและมีราคาแพง ซึ่งหมายความว่าธุรกิจมักจะจัดลำดับความสำคัญเฉพาะข้อมูลที่สำคัญที่สุดสำหรับการวิเคราะห์และเก็บข้อมูลที่เหลือ สิ่งนี้ก่อให้เกิดข้อเท็จจริงที่ว่ามากถึง 99% ของข้อมูลธุรกิจทั้งหมดไม่ได้ใช้เพื่อการวิเคราะห์
นอกจากนี้กระบวนการ ETL ยังไม่แน่นอน ข้อผิดพลาดในกระบวนการ ETL อาจทำให้ข้อมูลของคุณเสียหาย ตัวอย่างเช่นข้อผิดพลาดเครือข่ายสั้น ๆ อาจป้องกันไม่ให้มีการดึงข้อมูล หากข้อมูลต้นฉบับของคุณมีไฟล์หลายประเภทไฟล์เหล่านั้นอาจถูกแปลงอย่างไม่ถูกต้อง ขยะมูลฝอยในขณะที่พวกเขาพูด - ข้อผิดพลาดในระหว่างกระบวนการ ETL เกือบจะแน่นอนแสดงออกในแง่ของการวิเคราะห์ที่ไม่ถูกต้อง
กระบวนการ ETL ที่เสียหายอาจมีผลกระทบที่ไม่ดี แม้ในกรณีที่ดีที่สุดคุณอาจต้องเรียกใช้ ETL อีกครั้งซึ่งหมายถึงการล่าช้าเป็นชั่วโมงและในขณะเดียวกันผู้มีอำนาจตัดสินใจของคุณก็ไม่อดทน ในสถานการณ์ที่เลวร้ายที่สุดคุณจะไม่สังเกตเห็นการวิเคราะห์ที่ไม่ถูกต้องจนกว่าคุณจะเริ่มเสียเงินและลูกค้า
ปรับปรุง ETL ด้วยการเรียนรู้ของเครื่องและ AI
คุณสามารถ - และอาจ - มอบหมายให้ใครบางคนติดตาม ETL แต่ก็ไม่ง่ายอย่างนั้น ข้อมูลที่ไม่ถูกต้องอาจเกิดจากข้อผิดพลาดของกระบวนการที่เกิดขึ้นอย่างรวดเร็วจนไม่สามารถสังเกตเห็นได้ในเวลาจริง ผลลัพธ์ของกระบวนการ ETL ที่เสียหายมักจะไม่แตกต่างจากข้อมูลที่โหลดอย่างถูกต้อง แม้ว่าข้อผิดพลาดจะชัดเจนปัญหาที่สร้างข้อผิดพลาดอาจไม่ง่ายในการติดตาม (หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการวิเคราะห์ข้อมูลดูบทบาทหน้าที่: นักวิเคราะห์ข้อมูล)
ข่าวดีก็คือเครื่องจักรสามารถจับสิ่งที่มนุษย์ไม่สามารถทำได้ นี่เป็นเพียงไม่กี่วิธีที่ AI และการเรียนรู้ของเครื่องสามารถจับข้อผิดพลาด ETL ก่อนที่จะกลายเป็นการวิเคราะห์ที่ไม่ถูกต้อง
ไม่มีข้อบกพร่องไม่มีความเครียด - คู่มือแบบเป็นขั้นตอนเพื่อสร้างซอฟต์แวร์ที่เปลี่ยนแปลงชีวิตโดยไม่ทำลายชีวิตของคุณ
คุณไม่สามารถพัฒนาทักษะการเขียนโปรแกรมของคุณเมื่อไม่มีใครใส่ใจคุณภาพของซอฟต์แวร์
1. ตรวจจับและแจ้งเตือนในตัวชี้วัด ETL
แม้ว่าข้อมูลของคุณจะเป็นภาพเคลื่อนไหวอย่างต่อเนื่องกระบวนการ ETL ควรจะยังคงสร้างมูลค่าที่สอดคล้องกันด้วยความเร็วที่สม่ำเสมอ เมื่อสิ่งเหล่านี้เปลี่ยนไปมันเป็นสาเหตุของการเตือนภัย มนุษย์สามารถเห็นการแกว่งของข้อมูลขนาดใหญ่และรับรู้ข้อผิดพลาดได้ แต่การเรียนรู้ของเครื่องสามารถรับรู้ข้อผิดพลาดที่ต่ำกว่าได้เร็วขึ้น เป็นไปได้ที่ระบบการเรียนรู้ของเครื่องจะเสนอการตรวจจับความผิดปกติแบบเรียลไทม์และแจ้งเตือนฝ่ายไอทีโดยตรงทำให้พวกเขาสามารถหยุดกระบวนการและแก้ไขปัญหาได้โดยไม่ต้องทิ้งชั่วโมงของการคำนวณ
2. ระบุคอขวดเฉพาะ
แม้ว่าผลลัพธ์ของคุณจะถูกต้อง แต่ก็อาจออกมาช้าเกินกว่าจะใช้งานได้ การ์ตเนอร์กล่าวว่า 80% ของข้อมูลเชิงลึก มาจากการวิเคราะห์จะไม่ถูกควบคุมเพื่อสร้างมูลค่าทางการเงินและอาจเป็นเพราะผู้นำธุรกิจไม่สามารถมองเห็นข้อมูลเชิงลึกในเวลาที่จะใช้ประโยชน์จากมัน การเรียนรู้ของเครื่องสามารถบอกคุณได้ว่าระบบของคุณทำงานช้าลงอย่างไรและให้คำตอบกับคุณ - รับข้อมูลที่ดีขึ้นเร็วขึ้น
3. ปริมาณผลกระทบของการจัดการการเปลี่ยนแปลง
ระบบที่สร้างข้อมูลและการวิเคราะห์ของคุณไม่คงที่ - พวกเขาได้รับแพตช์และการอัพเกรดอย่างต่อเนื่อง บางครั้งสิ่งเหล่านี้ส่งผลกระทบต่อวิธีการผลิตหรือตีความข้อมูลซึ่งนำไปสู่ผลลัพธ์ที่ไม่ถูกต้อง การเรียนรู้ของเครื่องสามารถตั้งค่าสถานะผลลัพธ์ที่มีการเปลี่ยนแปลงและติดตามพวกเขาไปยังเครื่องที่ได้รับการติดตั้งหรือแอปพลิเคชันที่เฉพาะเจาะจง
4. ลดต้นทุนการดำเนินงาน
การดำเนินการวิเคราะห์ที่จนตรอกเท่ากับเงินที่เสียไป เวลาที่คุณใช้หาไม่ใช่เพียงวิธีการแก้ปัญหา แต่ยังรวมถึง ใครรับผิดชอบ สำหรับการแก้ปัญหาคือเวลาที่คุณอาจใช้จ่ายเพื่อสร้างมูลค่า การเรียนรู้ของเครื่องช่วยให้หัวใจของเรื่องนี้เกิดขึ้นได้โดยการแจ้งเตือนเฉพาะทีมที่อาจรับผิดชอบในการตอบสนองต่อเหตุการณ์ที่เกิดขึ้นโดยเฉพาะปล่อยให้แผนกไอทีที่เหลือปฏิบัติหน้าที่หลักได้อย่างอิสระ นอกจากนี้การเรียนรู้ของเครื่องจะช่วยกำจัดผลบวกปลอมลดจำนวนการแจ้งเตือนโดยรวมในขณะที่เพิ่มความละเอียดของข้อมูลที่สามารถให้ได้ การแจ้งเตือนเมื่อยล้าเป็นเรื่องจริงดังนั้นการเปลี่ยนแปลงนี้จะส่งผลกระทบต่อคุณภาพชีวิตที่วัดได้
เมื่อพูดถึงการได้รับชัยชนะในธุรกิจการวิเคราะห์เป็นสิ่งสำคัญ การศึกษาสถานที่สำคัญจาก Bain Capital แสดงให้เห็นว่า บริษัท ที่ใช้การวิเคราะห์มากกว่าสองเท่ามีแนวโน้มที่จะมีประสิทธิภาพทางการเงินเกิน ETL เป็นรากฐานของความสำเร็จในเวทีนี้ แต่ความล่าช้าและข้อผิดพลาดสามารถป้องกันความสำเร็จของโปรแกรมการวิเคราะห์ การเรียนรู้ของเครื่องจึงกลายเป็นเครื่องมือที่มีค่าสำหรับความสำเร็จของโปรแกรมการวิเคราะห์ใด ๆ ช่วยรับประกันข้อมูลที่สะอาดและผลลัพธ์ที่แม่นยำ