เนื้อหา
- คำจำกัดความ - Spider หมายถึงอะไร
- ข้อมูลเบื้องต้นเกี่ยวกับ Microsoft Azure และ Microsoft Cloud | ในคู่มือนี้คุณจะได้เรียนรู้ว่าการประมวลผลแบบคลาวด์คืออะไรและ Microsoft Azure สามารถช่วยคุณในการโยกย้ายและดำเนินธุรกิจจากคลาวด์อย่างไร
- Techopedia อธิบาย Spider
คำจำกัดความ - Spider หมายถึงอะไร
ในช่วงเวลาของอินเทอร์เน็ต spider เป็นซอฟต์แวร์พิเศษที่ออกแบบมาเพื่อรวบรวมข้อมูลอย่างเป็นระบบและเรียกดูเวิลด์ไวด์เว็บโดยทั่วไปเพื่อจุดประสงค์ในการจัดทำดัชนีหน้าเว็บเพื่อให้พวกเขาเป็นผลการค้นหาสำหรับคำค้นหาของผู้ใช้ สไปเดอร์ที่โด่งดังที่สุดคือ Googlebot, โปรแกรมรวบรวมข้อมูลหลักของ Google ซึ่งช่วยให้มั่นใจได้ว่าผลลัพธ์ที่เกี่ยวข้องจะถูกส่งคืนสำหรับคำค้นหา
สไปเดอร์เป็นที่รู้จักกันในชื่อ Web crawler, ค้นหาบอทหรือเพียงบอท
ข้อมูลเบื้องต้นเกี่ยวกับ Microsoft Azure และ Microsoft Cloud | ในคู่มือนี้คุณจะได้เรียนรู้ว่าการประมวลผลแบบคลาวด์คืออะไรและ Microsoft Azure สามารถช่วยคุณในการโยกย้ายและดำเนินธุรกิจจากคลาวด์อย่างไร
Techopedia อธิบาย Spider
แมงมุมเป็นโปรแกรมที่ใช้รวบรวมข้อมูลจากเวิลด์ไวด์เว็บ มันรวบรวมข้อมูลผ่านหน้าต่างๆของเว็บไซต์ที่ดึงข้อมูลและจัดทำดัชนีเพื่อใช้ในภายหลังโดยปกติจะเป็นผลลัพธ์ของเครื่องมือค้นหา สไปเดอร์เข้าชมเว็บไซต์และหน้าเว็บของตนผ่านลิงก์ต่าง ๆ ไปยังและจากหน้าดังนั้นหน้าเว็บที่ไม่มีลิงค์เดียวที่จะไปดัชนีจะทำได้ยากและอาจอยู่ในอันดับที่ต่ำมากในหน้าผลการค้นหา และหากมีลิงค์จำนวนมากที่ชี้ไปยังหน้าเว็บนั่นหมายความว่าหน้าดังกล่าวได้รับความนิยมและจะปรากฏขึ้นสูงกว่าในผลการค้นหา
ขั้นตอนที่เกี่ยวข้องกับการรวบรวมข้อมูลบนเว็บ:
- แมงมุมหาไซต์และเริ่มรวบรวมข้อมูลหน้าเว็บ
- สไปเดอร์จะจัดทำดัชนีคำและเนื้อหาของเว็บไซต์
- แมงมุมไปเยี่ยมลิงค์ที่พบในเว็บไซต์
สไปเดอร์หรือ webcrawlers เป็นเพียงโปรแกรมและเช่นนั้นพวกเขาปฏิบัติตามกฎระเบียบอย่างเป็นระบบที่กำหนดโดยโปรแกรมเมอร์ เจ้าของเว็บไซต์ยังสามารถเข้ามามีส่วนร่วมได้โดยบอกแมงมุมว่าส่วนใดของเว็บไซต์ที่ทำดัชนีและไม่ควรทำ สิ่งนี้ทำได้โดยการสร้างไฟล์ "robots.txt" ที่มีคำแนะนำสำหรับสไปเดอร์เกี่ยวกับส่วนที่จะจัดทำดัชนีและลิงค์ที่จะติดตามและควรจะละเว้นไฟล์ไหน สไปเดอร์ที่สำคัญที่สุดคือผู้ที่เป็นเจ้าของโดยเสิร์ชเอนจิ้นสำคัญ ๆ เช่น Google, Bing และ Yahoo และสไปเดอร์สำหรับการขุดและการวิจัยข้อมูล แต่ก็มีสไปเดอร์อันตรายบางตัว บริษัท หรือเพื่อค้นหาช่องโหว่ในการรักษาความปลอดภัยเว็บ