سایت

با بایگانی نک طراحی وبلاگ ردن برخی از صفحات داینامیک، موتورهای جستروشی که امروزه برای پاسخ به این نیاز بکار می رود، روش مدولار است. گرچه نگارنده تعریف استانداردی برای آن پیدا نکرده است، ولی بصورت انتزاعی می توان گفت که همه وب سایتهای پیشرفته براساس این ایده شکل گرفته اند.جوگر از تکرار مواردی مشابه پیشگیری می کنند. جلوگیری از گیر افتادن در پایگاه داده ای خاص ممکن است با بایگانی شده صفحه ای از یک سایت، صفحات بی نهایت دیگری به اسپایدر موتور جستجوگر خورانده شود که منجر به از کار افتادن اسپایدر یا اتلاف وقت آن می شود. این حالت زمانی اتفاق می افتد که حلقه ها در برنامه نویسی سایت بسته نشوند (حلقه های if یا while).