เนื้อหา
- ไม่มีข้อบกพร่องไม่มีความเครียด - คู่มือแบบเป็นขั้นตอนเพื่อสร้างซอฟต์แวร์ที่เปลี่ยนแปลงชีวิตโดยไม่ทำลายชีวิตของคุณ
- ลงเพื่อธุรกิจ
- Kafka จะเปลี่ยนวิธีการจัดการข้อมูลอย่างไร
Takeaway:
Kafka จะทำเพื่อระบบข้อมูลสิ่งที่ LinkedIn ทำเพื่อนักธุรกิจ: เชื่อมต่อพวกเขาในช่วงกว้าง
ด้วยการเชื่อมั่นในบางสิ่งที่ยังไม่มีอยู่เราจึงสร้างมันขึ้นมา ไม่มีอยู่เป็นสิ่งที่เรายังไม่ต้องการอย่างเพียงพอ~ Franz Kafka
ความจำเป็นยังคงเป็นแม่ของการประดิษฐ์ ในฐานะที่ปรึกษาที่ชาญฉลาดเคยบอกฉันว่า "หากมีบางสิ่งที่จำเป็นต้องเกิดขึ้นในองค์กร ประเด็นของเขาคือสองเท่า: 1) บางคนมักจะหาวิธีที่จะทำให้สิ่งต่าง ๆ สำเร็จ; และ 2) ผู้บริหารระดับสูงหรือแม้แต่ผู้บริหารระดับกลางอาจไม่ทราบว่าสิ่งต่าง ๆ เกิดขึ้นได้อย่างไรภายในสถานประกอบการของตนเอง
หากเราขยายคำอุปมานั้นไปสู่จักรวาลทั้งหมดของการจัดการข้อมูลเราจะเห็นการเปลี่ยนแปลงเกิดขึ้นทันที แรงกดดันดิบของข้อมูลขนาดใหญ่รวมกับแกนของการสตรีมข้อมูลสร้างแรงกดดันอย่างมากที่ระบบเดิมกำลังทำการปะที่ขอบหากไม่ยุบตัวลงโดยสิ้นเชิง อย่างไรก็ตามยังมีผู้เชี่ยวชาญอีกนับไม่ถ้วนที่ทำหน้าที่ของตนในขณะนี้ซึ่งส่วนใหญ่ไม่ได้ตระหนักถึงความเป็นจริงนี้
องค์กรที่ขับเคลื่อนด้วยข้อมูลที่ขับเคลื่อนด้วยข้อมูลมีที่นั่งแถวหน้าและมีหลายวิธีที่จะผลักดันการเปลี่ยนแปลงนี้ พิจารณาว่าโรงไฟฟ้าอย่าง Yahoo! .
ผลที่สุดของการเปลี่ยนแปลงนี้คืออะไร? สิ่งที่เป็นพยานในวันนี้คือการจัดประเภทอย่างเป็นหมวดหมู่และการปรับโครงสร้างของการจัดการข้อมูลเอง นี่ไม่ได้หมายความว่าระบบมรดกจะถูกคัดลอกและแทนที่ ทหารผ่านศึกในอุตสาหกรรมใด ๆ จะบอกคุณว่าการล่มสลายของระบบมรดกขายส่งเกิดขึ้นบ่อยเท่าที่ชิคาโกคับส์ชนะเวิลด์ซีรีส์ เป็นเหตุการณ์ที่หายากที่จะพูดน้อยมาก
สิ่งที่เกิดขึ้นจริงคือโครงสร้างที่ยิ่งใหญ่กำลังถูกสร้างขึ้นทั่วทั้งระบบโลกเก่า พิจารณาความคล้ายคลึงกันของทางหลวงระหว่างรัฐซึ่งมักจะสูงกว่าเมืองและเมืองที่พวกเขาให้บริการออกแบบมาเพื่อส่งผู้คนและสินค้าไปยังศูนย์ประชากรเหล่านี้และให้ความสำคัญกับทุกคนและทุกสิ่งที่อยู่ภายใน พวกเขาไม่เปลี่ยนถนนที่มีอยู่มากเท่ากับเพิ่มทางเลือกความเร็วสูง
นั่นคือสิ่งที่ Apache Kafka ทำ: ให้เส้นทางความเร็วสูงสำหรับการเคลื่อนย้ายข้อมูลระหว่างและระหว่างระบบข้อมูล เพื่อติดตามการเปรียบเทียบทางหลวงยังคงมี บริษัท หลายแห่งที่ใช้คิวแบบเส้นตรงหรือมาตรฐานเก่าของ ETL (แยกโหลดเปลี่ยน) แต่เส้นทางเหล่านี้มีข้อ จำกัด ความเร็วต่ำและมีหลุมบ่อจำนวนมาก นอกจากนี้ค่าบำรุงรักษามักจะสูงเกินไป ป้ายไม่ดี
Kafka นำเสนอวิธีการทางเลือกสำหรับการส่งข้อมูลซึ่งเป็นวิธีการแบบเรียลไทม์สามารถปรับขนาดได้และทนทาน ซึ่งหมายความว่า Kafka ไม่ได้เป็นเพียงยานพาหนะเคลื่อนย้ายข้อมูล แต่ยังเป็นตัวจำลองข้อมูล และในระดับหนึ่งเทคโนโลยีฐานข้อมูลแบบกระจาย เราควรระมัดระวังเกี่ยวกับการเปรียบเทียบไกลเกินไปเนื่องจากมีลักษณะของฐานข้อมูลที่สอดคล้องกับกรดที่คาฟคายังไม่เล่น ถึงกระนั้นการเปลี่ยนแปลงก็เป็นจริง
นี่เป็นข่าวดีสำหรับภูมิทัศน์ของข้อมูลเนื่องจากขณะนี้ข้อมูลสามารถเคลื่อนย้ายได้ทั่วประเทศ - และโลกสำหรับเรื่องนั้น สิ่งที่ครั้งหนึ่งเคยเป็นข้อ จำกัด ที่เจ็บปวดคือการกดปุ่มแบตช์สำหรับกระบวนการ ETL ตอนนี้กำลังละลายไปมากเพราะหมอกทำให้ท้องฟ้าปลอดโปร่งภายใต้แสงจ้าของดวงอาทิตย์ที่ร้อนจัด เมื่อการย้ายข้อมูลจากระบบหนึ่งไปสู่อีกระบบหนึ่งกลายเป็นเขตแดนที่ไร้รอยต่อยุคแห่งโอกาสใหม่เริ่มขึ้นแล้ว
ไม่มีข้อบกพร่องไม่มีความเครียด - คู่มือแบบเป็นขั้นตอนเพื่อสร้างซอฟต์แวร์ที่เปลี่ยนแปลงชีวิตโดยไม่ทำลายชีวิตของคุณ
คุณไม่สามารถพัฒนาทักษะการเขียนโปรแกรมของคุณเมื่อไม่มีใครใส่ใจคุณภาพของซอฟต์แวร์
มนุษย์จะเป็นตัวแทนของแรงเสียดทานมากที่สุดบนท้องถนนเพื่อเป็นข้อมูลใหม่ในอนาคต นิสัยเก่าตายยาก Nary CIO รู้สึกตื่นเต้นกับการเปลี่ยนแปลงระบบขององค์กรอย่างมาก ผู้บริหารระดับสูงที่ฉลาดคนหนึ่งกล่าวถึงบทบาท: "เตรียมพร้อมที่จะเหงา" ภายในหนึ่งปีของความคิดเห็นนั้นเขาเป็นที่ปรึกษา มันไม่ใช่เส้นทางที่ง่ายพยายามจัดการโลกแห่งข้อมูลองค์กรที่ไม่น่าเชื่อ
ข่าวดีก็คือว่าคาฟคาจัดเตรียมทางลาดสู่อนาคต เนื่องจากมันทำหน้าที่เป็นบัสที่ขับเคลื่อนด้วยพลังงานสูงและมีหลายแง่มุมจึงสร้างสะพานเชื่อมระหว่างระบบเดิมและรถที่มองไปข้างหน้า ดังนั้นองค์กรที่เปิดรับโอกาสใหม่นี้ด้วยใจที่เปิดกว้างและงบประมาณที่เพียงพอจะสามารถก้าวเข้าสู่โลกใหม่ได้โดยไม่ต้องละทิ้งอดีต นั่นเป็นเรื่องใหญ่อย่างจริงจัง
ลงเพื่อธุรกิจ
ในขณะที่ Apache Kafka เป็นเทคโนโลยีโอเพ่นซอร์สฟรีสำหรับทุกคนในการดาวน์โหลดและใช้งาน แต่ผู้ที่สร้างซอฟต์แวร์นี้สำหรับ LinkedIn ได้แยกกิจการที่เรียกว่า Confluent ซึ่งมุ่งเน้นการนำเสนอการใช้งานขององค์กร เหมือนกับ Cloudera, Hortonworks และ MapR ได้สร้างธุรกิจของพวกเขารอบ ๆ โครงการโอเพนซอร์ซของ Apache Hadoop ดังนั้น Confluent จึงพยายามสร้างรายได้จาก Kafka
ในการสัมภาษณ์ InsideAnalysis ล่าสุด CEO Confluent และผู้ร่วมก่อตั้ง Jay Kreps อธิบายที่มาของ LinkedIn ที่ LinkedIn:
"เราพยายามที่จะแก้ปัญหาที่แตกต่างกันสองสามข้อหนึ่งคือเรามีระบบข้อมูลที่แตกต่างกันทั้งหมดที่มีข้อมูลประเภทต่าง ๆ เรามีฐานข้อมูลและเรามีล็อกไฟล์และเรามีตัวชี้วัดเกี่ยวกับเซิร์ฟเวอร์และเรามีผู้ใช้คลิก การรับข้อมูลทั้งหมดที่อยู่รอบตัว - มันใหญ่มากยากมากพลังของข้อมูลอยู่ที่นั่นก็ต่อเมื่อคุณสามารถนำไปใช้กับแอพพลิเคชั่นหรือการประมวลผลหรือระบบที่ต้องการมันเป็นปัญหาใหญ่
"ปัญหาอื่น ๆ ที่เรามีคือเราได้ใช้ Hadoop และนั่นคือสิ่งที่ฉันมีส่วนร่วมเรามีแพลตฟอร์มการประมวลผลแบบออฟไลน์ที่ยอดเยี่ยมที่เราสามารถปรับขนาดและเราสามารถใส่ข้อมูลทั้งหมดของเราสำหรับ LinkedIn ข้อมูลทั้งหมดของเราเกิดขึ้นจริง เวลามีการสร้างข้อมูลอย่างต่อเนื่องมีความไม่ตรงกันอยู่เสมอในขณะที่เราพยายามสร้างส่วนสำคัญของธุรกิจออกจากข้อมูลของเราระหว่างสิ่งที่วิ่งวันละครั้งอาจเป็นเวลากลางคืนและสร้างผลลัพธ์ในวันถัดไป และข้อมูลต่อเนื่องชนิดนี้ - ระยะเวลาการโต้ตอบสั้น ๆ - ที่คุณต้องติดต่อเราต้องการที่จะทำอะไรบางอย่างที่เคยอยู่ในวงการวิชาการมาระยะหนึ่งแล้ว แต่ก็ไม่ใช่สิ่งที่สำคัญจริงๆ แตะและประมวลผลข้อมูลตามที่สร้างขึ้นแทนที่จะเป็นข้อมูล "
ดี. นั่นคือสิ่งที่ Confluent พยายามที่จะทำกับข้อมูลองค์กรของรูปทรงและขนาดทั้งหมด โอกาสในการเล่น? กรีนฟิลด์ ตรงไปตรงมาในประวัติศาสตร์ทั้งหมดของซอฟต์แวร์ระดับองค์กรหนึ่งอาจแย้งว่าตลาดแอดเดรสสำหรับเทคโนโลยีนี้ต้องใช้เค้กอย่างแน่นอน ไม่มีองค์กรขนาดใหญ่เพียงแห่งเดียวหรือแม้แต่ธุรกิจขนาดเล็กที่มีข้อมูลมากซึ่งไม่สามารถได้รับประโยชน์อย่างมหาศาลจากเทคโนโลยีนี้
นี่เป็นเรื่องจริงโดยเฉพาะอย่างยิ่งเนื่องจากลักษณะทางประสาทวิทยาของเทคโนโลยีนี้ ไม่เพียง แต่จิตใจที่เกี่ยวข้อง แต่ลักษณะของสิ่งที่คาฟคาทำเพื่อระบบข้อมูล เนื่องจากคาฟคาสามารถใช้จัดการการเคลื่อนย้ายข้อมูลทั่วทั้งองค์กรจึงสามารถดูได้มากกว่าแค่ตำรวจจราจร แต่เป็นสมองของการปฏิบัติการ อยู่ในระยะแรกของวิสัยทัศน์นั้น แต่มั่นใจได้ว่าเป็นของจริง
Kafka จะเปลี่ยนวิธีการจัดการข้อมูลอย่างไร
เพื่อให้เข้าใจว่า Kafka จะเปลี่ยนลักษณะของการจัดการข้อมูลได้อย่างไรเพียงคิดวิธีที่ LinkedIn เปลี่ยนเครือข่าย การหาเพื่อนร่วมงานทำได้ง่ายขึ้นมาก การติดต่อกับผู้คนเป็นเรื่องง่าย Kafka จะทำเพื่อระบบข้อมูลที่ LinkedIn ทำเพื่อนักธุรกิจ: เชื่อมต่อพวกเขาในช่วงกว้างที่สุดของโลกนี้
Spinoff of Confluent เป็นสัญลักษณ์ของสิ่งที่เราอาจเรียกว่านวัตกรรมใหม่การเคลื่อนไหวที่เกิดจากการแยกการพัฒนาซอฟต์แวร์และความคิดแบบโอเพ่นซอร์สซึ่งชี้นำโดยผู้สร้างเทคโนโลยีโอเพนซอร์ซซึ่งขับเคลื่อนโดยการร่วมทุนจำนวนมาก บริษัท ที่แสวงหาผลกำไรที่พยายามปฏิวัติวิธีที่องค์กรและผู้คนสร้างรวบรวมวิเคราะห์และใช้ประโยชน์จากข้อมูล
หากต้องการอ้างอิง Franz Kafka "จากจุดหนึ่งไปอีกจุดหนึ่งไม่มีการหันหลังกลับอีกต่อไปนั่นคือจุดที่ต้องไปให้ถึง"
เราผ่านรูบิกส์แล้ว ไม่มีใครหันหลังกลับตอนนี้