اگر به تازگی سایت خود را راه اندازی کرده اید، باید متوجه شده باشید که گوگل به سرعت صفحات شما را ایندکس نمی کند و گاهی ممکن است این کار را هفته ها نیز به تعویق بیاندازد. شاید این مشکل در ابتدای راه اندازی سایت خیلی بد به نظر نرسد اما با گذشت زمان و بزرگ تر شدن سایت این مشکل رفته رفته بیشتر خود را نمایان می سازد. این دیرکرد در ایندکس صفحات برای برخی از سایت های بزرگ بسیار نگران کننده می باشد چراکه می تواند تمام زحماتی که برای سئو کشیده اند را بر باد دهد. البته شما می توانید با بررسی بوجه خزش سایت تان و یافتن راه هایی برای بهبود آن خیال خودتان را از این بابت راحت کنید. پس با ما همراه باشید تا در این مقاله تمام راز هایی که درباره این شاخص وجود دارد را فرا گیریم.

بودجه خزش سایت (Crawl Budget) چیست؟

بودجه خزش به تعداد صفحاتی از سایت که طی یک دوره زمانی مشخص مانند یک روز توسط ربات های گوگل مورد بررسی و خزش قرار می گیرد گفته می شود. در واقع می توان Crawl Budget را معیاری برای توجه گوگل به سایت ها در نظر گرفت و به طبع هر چه این توجه بیشتر باشد تعداد صفحاتی که کراول می شوند نیز بیشتر است. همانطور که می توانید حدس بزنید هر چه این تعداد بیشتر باشد به نفع سایت شماست و زودتر به صفحه نتایج گوگل افزوده می شوید. بهبود این شاخص زمان رسیدن شما به اهداف سئویی تان را کاهش می دهد. پس با ما همراه باشید تا راه های بهبود بوجه خزش سایت را بررسی کنیم.

اهمیت Crawl Budget در سئو سایت

مهم نیست چه قدر برای سئو سایت خود تلاش کرده باشید، اگر گوگل آن را ایندکس نکند ارزشی ندارد! چراکه در صفحه نتایج گوگل قرار نمی گیرد و کاربری از سایت تان بازدید نخواهد کرد. پس می توان گفت این معیار از اهمیت بالایی در سئو برخوردارست چون تعداد صفحاتی که در یک روز کراول می شوند را مشخص می کند و می گوید که آیا نیاز است نگران باشید یا خیر.

تمامی سایت ها نیاز به نگرانی درباره Crawl Budget خود ندارند، اما اگر سایت شما شامل موارد زیر می باشد، باید به دنبال راهی برای افزایش بودجه خزش خود باشید:

• اضافه کردن قسمت جدید به سایت: اگر به تازگی بخشی به سایت تان افزوده اید که دارای صفحات زیادی  است، ممکن است بوجه خزش تان برای ایندکس تمامی آنها کافی نباشد.
• بزرگ بودن سایت: اگر سایت تان صفحات زیادی داشته باشد، ممکن است گوگل در یافتن و ایندکس تمامی صفحات آن به مشکل بر بخورد.
• زیاده روی در ریدایرکت: اگر ریدایرکت های بسیاری بر روی سایت خود اعمال کرده باشید، می تواند به هدر رفتن بودجه خزش تان منجر شود.

نظر گوگل در مورد بودجه کراول

گوگل همواره تاکید بر این دارد که سئو کاران و وب مستران نیازی به نگرانی درباره بودجه خزش خود ندارند، چراکه آنها اختیار زیادی برای تعیین این بودجه در سایت شان ندارند. این طبیعی است که وب مستران دلشان بخواهد صفحات منتشر شده در سایت شان به همان سرعت که منتشر می شوند، ایندکس شوند، اما گوگل معیارهای مخصوص به خود را برای تخصیص این بودجه دارد.

اگر صفحات سایت شما چند هزار صفحه ای بوده نیازی به نگرانی در مورد Crawl Budget سایت خود ندارید، اما اگر سایتی که مدیریت می کنید بزرگ بوده و بالای 10 هزار صفحه را شامل می شود اینجاست که بودجه خزش اهمیت خود را نشان می دهد.

 

معیارهای تعیین بودجه برای سایت ها

گوگل برای تعیین این شاخص دو فاکتور را معرفی کرده است: Crawl Limit و Crawl Demand

Crawl Limit یا سرعت خزش

برای گوگل ایندکس کردن صفحات در اولویت قرار داد اما در کنار آن باید مراقب باشد که تجربه کاربری در هنگام خزش ربات هایش را تحت تاثیر قرار ندهد. از این رو شاخصی تعیین کرده که به آن سرعت خزش گفته می شود و بیشترین سرعتی که ربات های گوگل می توانند در سایتی خزش کنند را مشخص می کند.

مقدار سرعت خزش به دو عامل سلامت خزش و تنظیم محدودیت در سرچ کنسول بستگی دارد.

اما این دو مفهوم چه هستند؟ سلامت خزش به پاسخ سرور سایت شما به درخواست های ربات های گوگل گفته می شود. هر چه سریع تر منابع سرور شما به این درخواست ها پاسخ دهند به طبع سرعت خزش سایت تان نیز افزایش خواهد یافت.

و تنظیم محدودیت خزش در سرچ کنسول به زمانی گفته می شود که مدیران در سرچ کنسول سایت شان اقدام به ایجاد محدودیت هایی برای ایندکس صفحات می کنند.

Crawl Demand یا تقاضای خزش

درخواست هایی که خودتان در گوگل سرچ کنسول سایت تان برای ایندکس صفحات می دهید بر روی بودجه خزش سایت تاثیر گذار است. اگر درخواستی برای ایندکس صفحات صورت نگیرد به طبع خزش سایت تان هم کم می شود.

اما به طور کلی می توان گفت صفحاتی که از محبوبیت بالایی در میان کاربران برخوردارند ببیشتر مورد توجه گوگل قرار گرفته و زودتر ایندکس می شود.

راه های افزایش بودجه خزش سایت

بهینه سازی کراول باجت مجموعه ای از مراحل است که به طور خاص برای افزایش بازدید ربات های گوگل از صفحات سایت مان باید انجام دهیم.

به صفحات مهم خود در Robots.Txt اجازه خزش دهید

اولین و مهم ترین قدمی که برای بهبود بودجه خزش خود باید بردارید این است که اجازه خزیدن صفحات مهم خود را در Robots.Txt صادر کنید. مدیریت Robots.Txt را می توان با دست یا ابزارهای حسابرسی موجود انجام داد. که پیشنهاد ما این است اگر سایت بزرگی دارید با یک ابزار کار خود را راحت تر و سریع تر کنید. برای این کار کافی است Robots.Txt خود را به ابزار انتخابی بیافزاید. الان می توانید به هر صفحه که می خواهید در چند ثانیه اجازه خزیدن داده یا آن را مسدود کنید.

سرعت سایت خود را افزایش دهید

همانطور که می دانید که سرعت صفحات تاثیر بسزایی بر روی رضایت کاربران و زمان ماندگاری آنها دارد. حال جالب است بدانید که علاوه بر کاربران، ربات های گوگل نیز به سرعت لود صفحات اهمیت می دهند. چراکه هر چه لود یک صفحه بیشتر طول بکشد باعث به هدر رفتن زمانی که گوگل برای خزش در سایت شما در نظر داشته، می شود. (راه های جلوگیری از این مشکل را در مقاله افزایش سرعت صفحات مطالعه نمایید)

ریدایرکت ها را کاهش دهید

صفحه‌ای که ریدایرکت 301 شده است زمانی که ربات های گوگل برای خزش در آن می آیند، URL مقصد آن را برداشته تا در نوبت بعدی آن را ایندکس کند. و این به معنی هدر رفت بودجه خزش سایت تان است.

در صفحات خود لینک سازی انجام دهید

هر چه از اهمیت لینک بیلدینگ در سئو بگوییم کم است! شاید این کار ساده نباشد، اما تاثیر فوق العاده ای بر روی رتبه بندی و همچنین بودجه خزش سایت شما دارد. چراکه گوگل صفحاتی را که به آن لینک های خارجی بیشتری ارجاع شده باشد در اولویت خزش خود قرار می دهد. حتی اگر تمامی صفحات تان لینک خارجی ارزشمندی نداشته باشند که ربات ها را به آن صفحه برسانند، حداقل با لینک سازی داخلی این کار را انجام دهید.

نقشه سایت خود را بروز‌رسانی کنید

بروزرسانی نقشه سایت یکی دیگر از موارد تاثیر گذار بر روی بهینه سازی بودجه خزش سایت است. با استفاده از سایت مپ ربات ها درک بهتری از محلی که لینک های داخلی به آن منتهی می شوند خواهند داشت. در اینجا بهتر است از URLهای متعارف برای نقشه سایت خود استفاده کنید.

محتوای با کیفیت در سایت خود قرار دهید

محتوایی که بی کیفیت باشد، نه تنها ارزشی به سایت تان اضافه نمی کند بلکه می تواند بودجه خزش سایت تان را هم هدر دهد. چراکه ممکن است ربات های گوگل به جای توجه به صفحات با ارزش در این صفحات خزش کرده و بودجه تان تمام شود. شاید تولید محتوای با کیفیت و ارزشمند کار سختی باشد اما به شما تضمین می دهیم ارزشش را دارد.

محتواهای تکراری را حذف کنید

به صفحاتی که محتواهای یکسان و شبیه به هم دارند محتوای تکراری می گویند. این صفحات می توانند صفحات کپی شده، تگ پیج ها و صفحات با عنوان یکسان باشند. صفحات تکراری از اولویت پایینی برای ایندکس برخوردارند و با انتشار آنها در سایت تان به هدر رفتن بودجه خزش سایت تان کمک می کنید. پیشنهاد می شود از میان محتواهای تکراری کامل ترین صفحه را انتخاب کرده و دیگر صفحات را حذف کنید.

از سرور اختصاصی استفاده کنید

در بخش معیارهای تعیین گفتیم مدت زمانی که طول می کشد سرور به درخواست ربات ها جواب دهد در بودجه خزش سایت تاثیر گذار است. از این رو پیشنهاد می شود برای پیشگیری از کاهش crawl budget سایت تان از سرور های اختصاصی استفاده نمایید.

جمع بندی

در این مقاله به معرفی و بررسی شاخص بودجه خزش و پاسخ به تمامی سوالاتی که از آن ممکن است در ذهن تان شکل گرفته باشد پرداختیم. همانطور که گفتیم کراول باجت از آنجا که مدت زمان حضور ربات های گوگل برای ایندکس صفحات و رتبه بندی آنها در صفحه نتایج است از اهمیت بالایی برخوردار است و افزایش این معیار می تواند شما را هر چه سریع تر به خواسته های تان برساند.

منبع: backlinko.com