پشتیبانی برای حل ارور robots.txt

یکی از ارور های رایج این روزها خطای robots.txt است که اکثر وب مستر ها با آن مواجه شده اند ، سوال کاربران رایانه کمک که برای پشتیبانی سایت خود با ما تماس گرفته اند این است که ، چرا صفحات سایت در گوگل نمایش داده نمیشود؟ بنابراین در این مقاله تصمیم گرفتیم شما را با ارور robot.txt آشنا کنیم اگر شما هم با ارور url blocked by robots.txt  در سرچ کنسول خود رو به رو شدین و صفحات سایت شما از سرچ گوگل حذف شده است کافیه از تلفن های ثابت سراسر کشور با شماره 9099071540 و از طریق موبایل با شماره 0217129 با رایانه کمک در ارتباط باشید، کارشناسان ما در زمانی کوتاه این مشکل را برطرف خواهند کرد.

حذف شدن صفحات سایت از گوگل و خطای فایل robot.txt

دلیل این امر که صفحات سایت شما از گوگل حذف شده است این است که ربات های گوگل به سایت شما دسترسی ندارند بنابراین با خطای فایل robot.txt  رو به رو میشوید، به نوعی شما دسترسی ربات های گوگل به سایت خود را بسته اید ، معمولا در گوگل سرچ کنسول خطای though blocked by robots.txt را مشاهده میکنید و زمانی که به بخش coverage گوگل میروید با حجم بسیاری صفحه رو به رو میشوید که ایندکس نشده نمایش داده میشود، ایندکس نشدن این صفحات سایت در حقیقت به این معنی است که صفحاتی هم که ایندکس شده اند از قبل ایندکس بوده اند،  اگر ربات گوگل دوباره به این صفحات سر بزند حتما با ارور ایندکس نشدن صفحه رو به رو میشوید، راه حل این است که شما درستی گوگل را به صفحات سایت خود باز کنید ما در رایانه کمک راه کار حل مشکل ارور url blocked by robots.txt  را با تست و آزمون های بسیار پیدا کرده ایم بنابراین اگر شما هم با این مشکل رو به رو شدین کافیه تلفن رو بردارید با شماره 9099071540 از طریق تلفن های ثابت سراسر  کشور تماس بگیرید.

در ادامه بهتر است با خطاهایی که در سرچ کنسول مشاهده میکنیم آشنا شویم

🟡میدونی پیغام  Your Windows license will expire soon چیه و چطوری میشه برطرفش کرد؟

مشکل ایندکس نشدن صفحات در گوگل

همانطور که در بالا گفتیم وارد صفحه گوگل سرچ کنسول میشوید و با ارور ایندکس نشدن صفحات سایت رو به رو میشوید، برای حل این مشکل لازم است ابتدا فایل robots.txt سایت را بررسی کنید در این فایل لازمه تمام دسترسی هایی که ربات های گوگل نیاز دارند را صادر کنید تا به گوگل به صفحاتی که مد نظر شما هست دسترسی داشته باشد وگرنه با ارور robot.txt رو به رو خواهید شد، اما نکته ای بسیار مهم که لازم است به آن توجه کنید و اکثر افرادی که پشتیبانی از سایت ها انجام میدهند این مورد را نمیدانند این است که ، در بیشتر مواقع ما نیازی به این فایل بر روی سایت های کوچک نداریم اگر صفحاتی ندارید که بخواهید از ایندکس شدن این صفحات جلوگیری کنید اصلا نیازی نیست که فایل روبات را در هاست خود قرار دهید چرا که به صورت دیفالت تمامی صفحات سایت شما توسط ربات های گوگل بررسی میشود، اما اگر صفحاتی دارید که جلوگیری کردن از ایندکس این صفحات سایت مد نظر شماست بهتر است این فایل را ایجاد کنید و آدرس صفحاتی را که نمیخواهید ایندکس شود را در این فایل قرار دهید.

پشنهاد مطلب : ایا میخواهید برخی صفحات ایندکس شده خود را از گوگل حذف کنید ؟ برای اینکار اینجا کلیک کنید : حذف صفحات ایندکس شده سایت از گوگل

حل ارور robot.txt با ساخت فایل robots.txt

ساخت این فایل کار سختی نیست فقط کافیه دو خط کد داخل این فایل بنویسید و کار تمام است با اینکار ما دسترسی سایت را برای ربات های گوگل باز نگه میداریم، مگر اینکه بخواهید صفحات خاصی را از دسترس گوگل خارج کنید که لازم است تمامی این صفحات را در اختیار گوگل قرار دهید و در این فایل بنویسید، ما در این مقاله به صورت کامل این فایل را به شما آموزش داده ایم و کد های داخل فایل robot.txt را بررسی کردیم، کافیه مراحل کار را در این بخش مشاهده کنید : فایل robots.txt چیست و چگونه آن را بسازیم؟

خطای Submitted url blocked by robots.txt  در سرچ کنسول

ارور Submitted url blocked by robots.txt  یکی از ارور های رایجی است که زمانی که ربات گوگل نمیتواند به سایت ما دسترسی داشته باشد با آن رو به رو میشویم ، حالا میدانیم که باز کردن دسترسی های ربات گوگل در فایل robots.txt میتواند مشکل شما را برطرف کند البته که گاهی استفاده کردن از میزبانی های داخلی شما را با این خطا رو به رو میکند که لازم است بررسی های لازم انجام شود، بنابراین پیشنهاد میکنم برای بررسی بیشتر سایت خود با کارشناسان پشتیبان سایت رایانه کمک در ارتباط باشید، کافیه از تلفن های ثابت سراسر کشور با شماره 9099071540 و از طریق موبایل با شماره 0217129 با رایانه کمک در ارتباط باشید، کارشناسان ما در زمانی کوتاه این مشکل را برطرف خواهند کرد.

خطای Indexed, though blocked by robots.txt

به سراغ سرچ کنسول میروم ، بخش coverage را باز میکنم و به سراغ vaild میروم تا ببینم در در این بخش گوگل چه پیغام هایی برای من قرار داده است، با ارور Indexed, though blocked by robots.txt مواجه میشوم ، از معنی این ارور مشخص است که ایندکس شده اما صفحه با فایل robots.txt بلاک شده است! به سراغ فایل روبوت میروم ، تغییرات لازم را اعمال میکنم و همانطور که به شما یاد دادم کد های داخل این فایل را وارد میکنم ، به نظر شما این موضوع میتواند مشکل را حل کند؟

بله در بیشتر مواقع با بهینه سازی این فایل مشکل برطرف میشود اما اگر همچنان این مشکل وجود داشته باشد لازم است بررسی هایی روی هاست سایت شما انجام شود ، هر چیزی مانند حتی یک ویروس میتواند باعث شود که گوگل به شما بگویید : صفحات سایت شما توسط فایل روبات بلاک شده است! و شما با نمایش ندادن صفحات سایت در گوگل رو به رو شوید! برای این امر کافیه با کارشناسان پشتیبان سئو رایانه کمک مشورت کنید ، ما در زمانی کوتاه مشکل شما را بررسی و حل خواهیم کرد.

خطای Indexed, not submitted in sitemap در سرچ کنسول

در حقیقت میتوانم بگویم این یک خطا نیست بلکه یک هشدار است، همانطور که از متن ارور میخوانیم Indexed, not submitted in sitemap گوگل میگوید من صفحه هات سایت شما را شناسایی کردم و ایندکس کردم اما شما کمکی نکردی! خودم صفحات سایت شما را پیدا کردم !

حتما تا به حال نام sitemap را شنیده اید ، یک نقشه از سایت است که شما برای راهنمایی ربات های گوگل استفاده میکنید، گوگل هم ترجیح میدهد که شما از طریق این فایل او را راهنمایی کنید تا راحت تر به صفحات سایت شما دسترسی داشته باشد اما در برخی مواقع با توجه به تجربه ای که در رایانه کمک داشته ایم ، ایجاد سایت مپ و یا نقشه سایت میتواند مشکل ساز شود، بنابراین بهتر است در این زمینه ابتدا سایت شما بررسی و سپس این فایل ایجاد شود و یا اگر کارشناسان تشخیص داده اند که این فایل بهتر است در این سایت وجود نداشته باشد از این هشدار گوگل چشم پوشی کنید.

اما اگر با این ارور در تعداد صفحات بسیاری رو به رو میشوید به این معنی است که گوگل به سایت مپ شما توجهی نمیکند و از طریق لینک سازی های داخلی که انجام داده اید صفحات سایت شما را بررسی میکند ، به طور کلی دلایل زیر میتواند منجر به خطای Indexed, not submitted in sitemap در سرچ کنسول شوید :

ویژگی کش روی سایت مپ سایت فعال است

Site map در دسترس گوگل نیست !

در تنظیماتی که برای سایت مپ سایت خود انجام داده اید صفحاتی که لیست شده اند را به نوعی exclude کرده اید که جلو دسترسی را گرفته است.

ممکن است آخرین باری که گوگل site map سایت را بررسی کرده است صفحاتی که ارور دارند در سایت مپ ایجاد نشده اند برای این امر به تاریخ last read در بخش sitemap توجه کنید.

اما در نهایت میخواهم به شما بگوییم که این ارور نشان گر این موضوع نیست که صفحات سایت شما ایندکس نشده و یا در گوگل نیست صرفا به این معنی است که از طریق site map گوگل این صفحات را پیدا نکرده است بلکه خودنش آنها را از طریق لینک سازی های مختلف یافته است.

 خطای Submitted URL marked noindex

این ارور که در سرچ کنسول سایت خود مشاهده میکنید به این معنی است که شما یک درخواسته داشته اید مبنی بر اینکه صفحه یا صفحاتی از سایت شما ایندکس شود اما ، در تگ متای صفحه مورد نظر یک HTTP Response ، دستور no index وجود دارد، در حقیقت زمانی که پیغام متناقضی برای گوگل ارسال میشود شما با این خطا در گوگل سرچ کنسول رو به رو میشوید، گوگل به شما میگوید شما از من خواسته ای که این صفحه را ایندکس کنم اما دسترسی رباط های من را با متا تگ noinbdex بسته ای! اما همانطور که بالاتر گفتیم شما ممکن است این کار با فایل robots.txt انجام داده باشد  اما به جای ارور فایل robots شما با ارور Submitted URL marked noindex رو به رو شده اید و گوگل به نوعی دیگر در حال مکالمه با شماست ، بنابراین در قدم اول این فایل را بررسی کنید اگر تنظیمات درست بود و یا اصلا این فایل را نداشتید میتوانید با رایانه کمک تماس بگیرید تا پشتیبان سئو رایانه کمک بررسی های لازم را بر روی سایت شما انجام دهد، برای تماس با رایانه کمک ، کافیه از تلفن های ثابت سراسر کشور با شماره 9099071540 و از طریق موبایل با شماره 0217129 با رایانه کمک در ارتباط باشید، کارشناسان ما در زمانی کوتاه این مشکل را برطرف خواهند کرد.

برای آشنایی بیشتر با ارور هایی که در وب مستر مشاهده میکنید بخوانید : آموزش حل ارور های ‏Coverage issue در وب مستر