เนื้อหา
Q:
ทำไมเครือข่ายประสาทเทียมกำเริบมักจะฝึกยาก?
A:
ความยากลำบากในการฝึกอบรมเครือข่ายประสาทเทียมกำเริบเกี่ยวข้องกับความซับซ้อนของพวกเขา
หนึ่งในวิธีที่ง่ายที่สุดในการอธิบายว่าทำไมเครือข่ายประสาทที่เกิดขึ้นอีกนั้นยากต่อการฝึกอบรมนั่นคือพวกมันไม่ใช่เครือข่ายประสาทที่ส่งต่อ
ในเครือข่ายนิวรัลไปข้างหน้าสัญญาณจะเคลื่อนไปทางเดียวเท่านั้น สัญญาณจะย้ายจากเลเยอร์อินพุทไปยังเลเยอร์ที่ซ่อนอยู่และส่งต่อไปยังเลเยอร์เอาท์พุทของระบบ
ในทางตรงกันข้ามเครือข่ายประสาทที่เกิดขึ้นอีกและเครือข่ายประสาทประเภทอื่นมีการเคลื่อนไหวของสัญญาณที่ซับซ้อนมากขึ้น จัดเป็นเครือข่าย "ความคิดเห็น" เครือข่ายประสาทกำเริบสามารถมีสัญญาณการเดินทางทั้งไปข้างหน้าและกลับและอาจมี "ลูป" ต่าง ๆ ในเครือข่ายที่ตัวเลขหรือค่าจะถูกป้อนกลับเข้าไปในเครือข่าย ผู้เชี่ยวชาญเชื่อมโยงเรื่องนี้กับลักษณะของเครือข่ายประสาทที่เกิดขึ้นซ้ำซึ่งเกี่ยวข้องกับความจำ
นอกจากนี้ยังมีความซับซ้อนอีกประเภทหนึ่งที่มีผลต่อเครือข่ายประสาทที่เกิดขึ้นอีก ตัวอย่างที่ดีอย่างหนึ่งของเรื่องนี้คือในด้านการประมวลผลภาษาธรรมชาติ
ในการประมวลผลภาษาธรรมชาติที่ซับซ้อนเครือข่ายประสาทจำเป็นต้องจำสิ่งต่าง ๆ ได้ มันจำเป็นต้องรับอินพุตด้วยเช่นกัน สมมติว่ามีโปรแกรมที่ต้องการวิเคราะห์หรือทำนายคำภายในประโยคของคำอื่น ๆ เช่นอาจมีความยาวคงที่ห้าคำเพื่อให้ระบบประเมิน นั่นหมายความว่าโครงข่ายประสาทเทียมจะต้องมีอินพุตสำหรับแต่ละคำเหล่านี้พร้อมกับความสามารถในการ "จดจำ" หรือฝึกฝนบนคำพูดเหล่านี้ สำหรับเหตุผลเหล่านั้นและเหตุผลอื่นที่คล้ายคลึงกันเครือข่ายประสาทที่เกิดขึ้นอีกมักจะมีลูปและการตอบกลับที่ซ่อนอยู่ในระบบเล็กน้อย
ผู้เชี่ยวชาญคร่ำครวญว่าภาวะแทรกซ้อนเหล่านี้ทำให้การฝึกอบรมเครือข่ายเป็นเรื่องยาก หนึ่งในวิธีที่พบได้บ่อยที่สุดในการอธิบายสิ่งนี้คือการอ้างถึงปัญหาการระเบิดและการหายไปของการไล่ระดับสี โดยพื้นฐานแล้วน้ำหนักของเครือข่ายจะนำไปสู่การระเบิดหรือการหายตัวไปของค่าที่มีจำนวนมากผ่าน
เจฟฟ์ฮินตันผู้บุกเบิกโครงข่ายประสาทเทียมอธิบายปรากฏการณ์นี้บนเว็บโดยบอกว่าการส่งผ่านแบบย้อนกลับแบบเชิงเส้นจะทำให้น้ำหนักที่เล็กลงลดลงแบบเอกซ์โปเนนเชียลและน้ำหนักมากขึ้นในการระเบิด
ปัญหานี้เขาดำเนินต่อไปแย่ลงด้วยลำดับที่ยาวนานและขั้นตอนเวลาจำนวนมากซึ่งสัญญาณเติบโตหรือสลายตัว การกำหนดน้ำหนักอาจช่วยได้ แต่ความท้าทายเหล่านั้นถูกสร้างขึ้นในรูปแบบโครงข่ายประสาทเทียมที่เกิดขึ้นอีก Theres มักจะเป็นปัญหาที่แนบมากับการออกแบบและการสร้างของพวกเขา โดยพื้นฐานแล้วเครือข่ายประสาทบางประเภทที่ซับซ้อนกว่านี้ท้าทายความสามารถของเราในการจัดการเครือข่ายเหล่านั้นได้อย่างง่ายดาย เราสามารถสร้างความซับซ้อนได้ไม่ จำกัด ในทางปฏิบัติ แต่เรามักจะเห็นความท้าทายในการคาดการณ์และการขยายขีดความสามารถที่เพิ่มขึ้น