خزنده های گوگل
ترجمه شده از ویکیپدیا، دانشنامه آزاد
این مقاله در مورد ربات اینترنتی است. برای موتور جستجو، WebCrawler را ببینید.
“عنکبوت وب” اینجا را تغییر می دهد این نباید با وب سایت عنکبوتی اشتباه گرفته شود.
خزنده وب، گاهی اوقات به عنوان عنکبوت یا spiderbot نامیده می شود و اغلب به خزنده کوتاه می شود، یک ربات اینترنتی است که به طور سیستماتیک وب وب را مرور می کند، معمولا به منظور نمایه سازی وب (spidering web).
موتورهای جستجوی وب و برخی از سایت های دیگر از نرم افزار web crawling یا spidering برای به روز رسانی محتوای وب یا شاخص های دیگر وب سایت های سایت خود استفاده می کنند.
خزندگان وب صفحات را برای پردازش توسط یک موتور جستجو کپی می کنند که صفحات دانلود شده را نشان می دهد تا کاربران بتوانند به طور موثر جستجو کنند.
خزنده ها
خزنده ها منابع را در سیستم های بازدید می کنند و اغلب سایت ها را بدون تایید بازدید می کنند.
مسائل برنامه ریزی، بارگذاری و “مشارکت” هنگامی که مجموعه های زیادی از صفحات دسترسی پیدا می شوند، وارد بازی می شوند.
مکانیسم ها برای سایت های عمومی وجود دارد که مایل نیستند خلع سلاح شوند تا این امر به عامل خزنده شناخته شود.
به عنوان مثال، از جمله یک فایل robots.txt می تواند رباتها را برای فهرست بخش های وب سایت یا هیچ چیز دیگری درخواست کند.
تعداد صفحات اینترنتی بسیار بزرگ است. حتی بزرگترین خزنده ها از ایجاد فهرست کامل نیستند.
به همین دلیل، موتورهای جستجو تلاش می کنند نتایج جستجوی مرتبط در سال های اولیه وب جهان را قبل از سال 2000 به دست آورد.
امروز نتایج مربوطه تقریبا بلافاصله به آنها داده می شود.
خزنده ها می توانند لینک ها و کد های HTML را تایید کنند.
آنها همچنین می توانند برای خرد کردن وب مورد استفاده قرار گیرند (همچنین برنامه نویسی داده ها را نیز ببینید).
برای خواند ادامه مطلب به لینک زیر بروید:
جهت تکمیل اطلاعات پست انکر تکست و سئو را هم بخوانید.
No comments:
Post a Comment