Isi
- Definisi - Apa yang dimaksud dengan Web Crawler?
- Pengantar Microsoft Azure dan Microsoft Cloud | Sepanjang panduan ini, Anda akan mempelajari tentang apa itu cloud computing dan bagaimana Microsoft Azure dapat membantu Anda untuk bermigrasi dan menjalankan bisnis Anda dari cloud.
- Techopedia menjelaskan Perayap Web
Definisi - Apa yang dimaksud dengan Web Crawler?
Perayap Web adalah bot Internet yang membantu dalam pengindeksan Web. Mereka merayapi satu halaman sekaligus melalui situs web sampai semua halaman telah diindeks. Perayap web membantu mengumpulkan informasi tentang situs web dan tautan yang terkait dengannya, dan juga membantu memvalidasi kode HTML dan hyperlink.
Perayap Web juga dikenal sebagai spider Web, pengindeks otomatis atau hanya perayap.
Pengantar Microsoft Azure dan Microsoft Cloud | Sepanjang panduan ini, Anda akan mempelajari tentang apa itu cloud computing dan bagaimana Microsoft Azure dapat membantu Anda untuk bermigrasi dan menjalankan bisnis Anda dari cloud.
Techopedia menjelaskan Perayap Web
Perayap web mengumpulkan informasi seperti URL situs web, informasi meta tag, konten halaman Web, tautan di halaman web dan tujuan yang mengarah dari tautan itu, judul halaman web, dan informasi terkait lainnya. Mereka melacak URL yang telah diunduh untuk menghindari mengunduh halaman yang sama lagi. Kombinasi kebijakan seperti kebijakan kunjungan ulang, kebijakan pemilihan, kebijakan paralelisasi dan kebijakan kesopanan menentukan perilaku crawler Web. Ada banyak tantangan untuk perayap web, yaitu World Wide Web yang besar dan terus berkembang, pengorbanan pemilihan konten, kewajiban sosial, dan berurusan dengan musuh.
Perayap web adalah komponen utama mesin pencari Web dan sistem yang melihat ke halaman web. Mereka membantu dalam mengindeks entri Web dan memungkinkan pengguna untuk mengajukan permintaan terhadap indeks dan juga menyediakan halaman web yang cocok dengan permintaan. Penggunaan lain dari perayap Web adalah pengarsipan Web, yang melibatkan set besar halaman web untuk dikumpulkan dan diarsipkan secara berkala. Perayap web juga digunakan dalam penambangan data, di mana halaman dianalisis untuk properti yang berbeda seperti statistik, dan analisis data kemudian dilakukan pada mereka.