เนื้อหา
Q:
อะไรคือวิธีที่สำคัญในการทำให้กระบวนการด้านข้อมูลเป็นอัตโนมัติ?
A:
กระบวนการข้อมูลวิทยาศาสตร์ในการเรียนรู้ของเครื่องจักรและ AI สามารถแบ่งออกเป็นสี่ขั้นตอนที่แตกต่างกัน:
- การเก็บข้อมูลและการสำรวจ
- การสร้างแบบจำลอง
- การปรับใช้โมเดลและ
- การประเมินและการปรับแต่งออนไลน์
จากประสบการณ์ของฉันขั้นตอนที่ขัดขวางมากที่สุดคือขั้นตอนการเก็บข้อมูลและขั้นตอนการปรับใช้โมเดลในกระบวนการวิทยาศาสตร์ข้อมูลที่ใช้เครื่องเรียนรู้และนี่คือสองวิธีในการปรับให้เหมาะสม:
1. สร้างที่เก็บข้อมูลที่สามารถเข้าถึงได้สูง
ในองค์กรส่วนใหญ่ข้อมูลจะไม่ถูกจัดเก็บในตำแหน่งศูนย์กลางเดียว มารับข้อมูลที่เกี่ยวข้องกับลูกค้ากันเถอะ คุณมีข้อมูลติดต่อลูกค้าฝ่ายสนับสนุนลูกค้าคำติชมจากลูกค้าและประวัติการเรียกดูลูกค้าหากธุรกิจของคุณเป็นเว็บแอปพลิเคชัน ข้อมูลทั้งหมดนี้กระจัดกระจายตามธรรมชาติเนื่องจากมีจุดประสงค์ที่แตกต่างกัน พวกเขาอาจอาศัยอยู่ในฐานข้อมูลที่แตกต่างกันและบางคนอาจมีโครงสร้างที่สมบูรณ์และบางส่วนที่ไม่มีโครงสร้างและอาจถูกเก็บไว้เป็นไฟล์ธรรมดา
น่าเสียดายที่การกระจัดกระจายของชุดข้อมูลเหล่านี้มีข้อ จำกัด อย่างมากต่องานด้านวิทยาศาสตร์ข้อมูลเนื่องจากพื้นฐานของ NLP ทั้งหมดการเรียนรู้ของเครื่องและปัญหา AI คือ ข้อมูล. ดังนั้นการมีข้อมูลทั้งหมดนี้ในที่เดียว - ที่เก็บข้อมูล - เป็นสิ่งสำคัญยิ่งในการเร่งการพัฒนาและปรับใช้โมเดล เนื่องจากนี่เป็นส่วนสำคัญสำหรับกระบวนการด้านข้อมูลทั้งหมดองค์กรควรจ้างวิศวกรข้อมูลที่มีคุณสมบัติเหมาะสมเพื่อช่วยในการสร้างดาต้าสโตร์ของพวกเขา สิ่งนี้สามารถเริ่มต้นได้อย่างง่ายดายเมื่อข้อมูลง่าย ๆ ถูกทิ้งไว้ในที่เดียวและค่อยๆเติบโตไปในที่เก็บข้อมูลที่คิดออกมาอย่างดีจัดทำเป็นเอกสารและสามารถสอบถามได้อย่างรวดเร็วด้วยเครื่องมือยูทิลิตี้เพื่อส่งออกข้อมูลย่อยในรูปแบบต่างๆ
2. เปิดเผยแบบจำลองของคุณเป็นบริการสำหรับการรวมอย่างราบรื่น
นอกเหนือจากการเปิดใช้งานการเข้าถึงข้อมูลสิ่งสำคัญคือการสามารถรวมรุ่นที่พัฒนาโดยนักวิทยาศาสตร์ข้อมูลลงในผลิตภัณฑ์ มันอาจเป็นเรื่องยากอย่างยิ่งที่จะรวมรุ่นที่พัฒนาใน Python เข้ากับเว็บแอปพลิเคชันที่ทำงานบน Ruby นอกจากนี้โมเดลอาจมีการพึ่งพาข้อมูลจำนวนมากที่ผลิตภัณฑ์ของคุณอาจไม่สามารถให้ได้
วิธีหนึ่งในการจัดการกับสิ่งนี้คือการตั้งค่าโครงสร้างพื้นฐานที่แข็งแกร่งรอบตัวแบบของคุณและแสดงฟังก์ชั่นที่เพียงพอที่ผลิตภัณฑ์ของคุณต้องการเพื่อใช้แบบจำลองเป็น“ บริการบนเว็บ” ตัวอย่างเช่นหากแอปพลิเคชันของคุณต้องการการจำแนกประเภท สิ่งที่ควรทำคือเรียกใช้บริการบนเว็บโดยให้บริการที่เกี่ยวข้องและบริการจะให้การจำแนกประเภทความเชื่อมั่นที่เหมาะสมซึ่งผลิตภัณฑ์สามารถใช้งานได้โดยตรง วิธีการรวมนี้เป็นเพียงในรูปแบบของการเรียก API แยกรูปแบบและผลิตภัณฑ์ที่ใช้ทำให้เป็นเรื่องง่ายสำหรับผลิตภัณฑ์ใหม่ที่คุณคิดขึ้นมาเพื่อใช้โมเดลเหล่านี้ด้วยความยุ่งยากเล็กน้อย
ตอนนี้การตั้งค่าโครงสร้างพื้นฐานรอบ ๆ แบบจำลองของคุณเป็นอีกเรื่องหนึ่งและต้องการการลงทุนขั้นต้นจำนวนมากจากทีมวิศวกรรมของคุณ เมื่อมีโครงสร้างพื้นฐานอยู่ที่นั่นมันเป็นเพียงเรื่องของการสร้างแบบจำลองในลักษณะที่เหมาะสมกับโครงสร้างพื้นฐาน