بزرگترین مرجع تخصصی مقالات آموزش سئو در مشهد

آزمایش پوشه robots.txt در سرچ کنسول گوگل
در غایت پس از ساختن فولدر robots.txt دفعه به آزمایش و درستی کارکرد آن میرسد.
[box type=”warning” align=”” width=””]به روز 2020: اعتنا داشته باشید در نسخه نو سرچ کنسول قابلیت آزمایش فولدر robots.txt نیست. برای آزمایش این فولدر از این لینک و پیوند وارد گردید. در شرایطی‌که با خطایی مواجه شدید URL تارنما (برای مثال http://mizfa.com) را در سرچ کنسول تحت عنوان property تازه اضافه فرمائید و دوباره تست فرمایید.[/box] گوگل در قسمتی از سرچ کنسول خویش وضعیت رایگانی برای آزمایش پوشه robotx.txt مهیا نموده است. بدین خواسته وارد سرچ کنسول آموزش سئو مشهد (وبمسترتولز) گردید.
چندین نکته آخری درباره فولدر robots.txt
ربات‌های خزنده و یا این که برخی ربات‌های موتورهای کاوش ممکن میباشد به امرها جانور در فولدر robots.txt که درج‌گردیده را نادیده بگیرند. مخصوصاً ربات‌های اسپم یا این که مالور (malware robots) که برای زخم‌پذیری، وب سایت‌ها را فارغ از دقت به‌این مسائل نسخه برداری می‌نمایند. و به‌دنبال پست الکترونیک یوزرها یا این که مورد ها آموزش سئو در مشهد دیگر می باشند.
ممکن میباشد متدهای فولدر robots.txt را با متاتگ robots به غلط بگیرید برای همین توصیه میگردد که مطلقا نوشته ی علمی کوتاه و اثرگذار تفاوت فولدر robots.txt با متاتگ robots را بخوانید.
موتورهای کاوش محتوای پوشه robots.txt را کَش می‌نمایند البته معمولا محتوای کش گردیده را روزی دست‌کم یک توشه آپدیت رسانی می‌نمایند. با این اکنون شما در حالتی که رغبت دارید بعداز تغییرات در‌این پوشه، موتورهای کاوش سریع‌خیس کش را آپ دیت نمایند پوشه خویش را درین نشانی گوگل ارسال نمایید. حرف از Cache شد، آیا می‌دانستید که کش کردن وبسایت تأثیرات فوق‌العاده‌ای روی سرعت تارنما‌هایی با ترافیک بالا داراست؟ رویه و چاهش در نوشته‌ی علمی شایسته ترین پلاگین کش وردپرس!
خب امیدوارم از فراگیری ایجاد کرد فولدر robots.txt و نکات در پی آن استعمال کرده‌باشید و صرف لحاظ از اینکه از وردپرس، جوملا یا این که هر CMS دیگری به کار گیری می کنید بتوانید براحتی robots.txt بسازید. هرچند برای ساخت‌و‌ساز پوشه robots.txt برای وردپرس و دیگر سی ام اس ها مثل جوملا نمونه‌هایی ارائه دادیم؛ البته فراموش نکنید که قابلیت ندارد یک فولدر را تحت عنوان شایسته ترین فولدر robots.txt مطلوب وردپرس یا این که CMSهای دیگر درنظر گرفت و برای همگی‌ی وبسایت‌ها از به عبارتی یک فولدر استفاده نمود.
فرق متاتگ Robots با پوشه Robots.txt
در صورتی‌که یک ربات بخواهد کاغذ‌ای از یک تارنما را ایندکس نماید پیش از این کار robots.txt را مشاهده کرده و امرها آن را تبعیت می‌نماید. به طور طبیعیً حق تقدم فولدر robots.txt نیز از متاتگ robots بیشتر میباشد.
پوشه robots.txt به صورت یک پوشه حقیقی در اینگونه نشانی‌هایی www.domain.com/robots.txt قرار دارا‌هستند. البته متاتگ robots به صورت تگ و پیش از head نیز وجود دارا هستند همچون نمونه ذیل.

با یک امر robots.txt شما میتوانید صفحه ها بخش اعظمی را برای ربات‌ها و موتورهای کاوش مسدود فرمائید اما در‌صورتی‌که قصد داشته باشید با متاتگ robots اینگونه عملی را جاری ساختن دهید بایستی در تک‌تک آن صفحه ها نیز متاتگ را درج نمائید.
در پوشه robots.txt شما می توانید وبسایت مپ وب سایت را به ربات‌ها و موتورهای کاوش معرفی فرمائید اما با متاتگ قابلیت و امکان‌پذیر وجود ندارد.
اوامر متاتگ robots انعطاف‌پذیری بیشتری نسبت به پوشه robots.txt نیز داراست.
اساسی: در فولدر robots.txt به ربات می گوییم خزش نکند البته گاهی ایندکس می گردد درحالی که برای ایندکس نشدن عالی میباشد از متاتگ robots هم استعمال فرمائید.
[gap] [icon type=”vector” icon=”momizat-icon-question” align=”right” size=”32″ icon_color=”#ffbd23″ hover_animation=”border_increase” ]سؤال: آیا مشکلی در بهینه سازی پیش می آید درصورتی که از هر دو مشی یعنی متاتگ Robots با فولدر robots.txt برای خودداری از ایندکس شدن یک‌ورقه‌ای از وبسایت به کارگیری کنیم؟
مسلماً نه، گوگل هم متنی درباره این قضیه نوشته میباشد و اشاره می‌نماید که:

ربات گوگل محتوایی که از روش robots.txt مسدود گردیده باشد را خزش یا این که ایندکس نمی‌نماید البته ممکن میباشد ما لینک و پیوند آن محتوا را در مکانی دیگر از اینترنت پیدا کنیم و درنتیجه محتوای مو جود در آن نشانی در دسترس مردم قرار بگیرد و در نتیجه ها جستجوی گوگل ظواهر گردد. شما می توانید برای خودداری از این شغل که محتوا در نتیجه ها گوگل اکران ندهد از متدهای دیگر برای مسدود کردن نشانی‌ها استعمال نمایید. به‌تیتر‌نمونه دایرکتوری آن نشانی را از روش سرور خویش رمزگذاری فرمائید یا این که از متاتگ robotx با فرمان noindex به کار گیری نمایید.
ارور Temporarily unreachable در گوگل وبمستر (سرچ کنسول)
یک کدام از خطاهای رایج در سرچ کنسول گوگل در Fetch as Google خطای Temporarily unreachable است که گاهی مشاهده کردیم نگرانی متعددی برای مدیران وب سایت‌ها ساخت‌و‌ساز میکند، درحالی که ارور Temporarily unreachable بعداز فچ کردن خیلی وقت‌ها موقت می‌باشد و به راحتی قابل رفع میباشد. انگیزه‌هایی که ممکنه منجر ساخت این غلط بشود را پژوهش می کنیم.
دلایل خطای Temporarily unreachable
تنظیمات خطا پیکربندی DNS
DNS به IP سرورهای صاحبخانه هاستینگ وصل میگردند در شرایطی‌که شما یک هاست از هاستینگ مدنظر خویش خریداری می کنید برای دامنه شما در سرور صاحب خانه یک دسترسی با اسم A record تولید میشود. زمانی شما dns های هاست ( نیم سرورها) را بر روی دامنه تنظیمات میکنید در واقع دامنه خویش را به سرور هاست خریداری گردیده متصل می کنید تا بتوانید از روش نشانی به هاست خویش دسترسی داشته باشید. هنگامی فردی وارد نشانی وبسایت شما می‌گردد در واقع از روش دامنه شما به IP های سرور دسترسی پیدا می نماید و در شکل صحیح ست شدن dns بر روی دامنه میتواند تارنما شما‌را مشاهده نماید. البته در حالتی‌که ای پی ها به صحت تهیه نشده باشد و شما عکل Fetch را در سرچ کنسول جاری ساختن دهید با ارور Temporarily unreachable بخورد خواهید کرد.

کش سرورهای ISP
ممکن میباشد شما پس از اصلاح درست DNSهای هاست خویش مجدد با خطای Temporarily unreachable واکنش بکنید، هم اکنون انگیزه بروز این غلط چیست؟ یکی ایرادات اصلی که منجر دیر تنظیمات شدن (ست شدن) DNS می گردد ، کش سرورهای کمپانی‌های ارائه دهنده وب یعنی ISPها است. ISPها با به کارگیری از کش سرورهایشان سبب ساز میشوند که سرعت مشاهده و لود تارنما‌ها بیشتر گردد و شما وب سایت‌ها را سریع‌خیس از وقتی که به کش سرور متصل نیستید ببینید. پروسه فعالیت کش سرورها به‌این سیرتکامل میباشد که یک وبسایت را در خویش ذخیره می‌نمایند و زمانی استفاده کننده تارنما را درخواست میدهد داده ها آغاز از کش سرور ISP فراخوانی می‌شود به همین برهان سرعت لود وب سایت بیشتر میباشد .

متاسفانه در اکثر کمپانی‌ها ی ISP کش سرورها دیر بروز رسانی میگردند و این بروز رسانی در میان 24 الی 72 ساعت متغیر است به همین ادله هنگامی شما یک DNS نو به دامنه خویش متصل می کنید یا این که آن را تغییر‌و تحول می‌دهید ممکن میباشد به مقطع 24 الی 72 ساعت محتویات وبسایت و هاست قبل را مشاهده فرمایید و تغییرات را مشاهده نکنید و یااینکه ابدا تارنما شما مشاهده نگردد، پس شکیبا باشید.

بالا نبودن سرور
خیلی مواقع خلل از DNS وجود ندارد بلکه از هاستینگ خریداری شد‌ه‌است، قطعی‌ها و یا این که در دسترس نبودن در آن لحظه یا این که به خیر و خوبی کانفیک نکردن هاست شما بوسیله هاستینگ و … می تواند سبب ساز این ارور گردد.
پس درصورتی که مطمئن می باشید که Name Server های شما به خیر و خوبی تهیه و تنظیم میباشد به هاستینگ خویش تیکت بزنید و خطای Temporarily unreachable به وجود آمده را با آن ها در بین بگذارید.

موقت بودن ارور Temporarily unreachable
برخی اوقات هیچ کدام از ایرادات را تارنما ما نداشته اما به صورت عجیبی و سازه به دلایل نامعلومی با خطای Temporarily unreachable روبه‌رو می‌شویم، در اکثر این مواقع اتفاق این غلط به صورت موقتا بوده و عالی میباشد دفعات آتی فعالیت فچ را در سرچ کنسول گوگل جاری ساختن دهید.
برای مثال ما چندین وقت پیش فارغ از تغییرات خاصی در هاست خویش به اینگونه مشکلی برخوردیم و فورا پس از این نادرست مجدد کار فچ را جاری ساختن کردیم و برگه متبوع index شد.

آزمایش پوشه robots.txt در سرچ کنسول گوگل
در غایت پس از ساختن فولدر robots.txt دفعه به آزمایش و درستی کارکرد آن میرسد.
[box type=”warning” align=”” width=””]به روز 2020: اعتنا داشته باشید در نسخه نو سرچ کنسول قابلیت آزمایش فولدر robots.txt نیست. برای آزمایش این فولدر از این لینک و پیوند وارد گردید. در شرایطی‌که با خطایی مواجه شدید URL تارنما (برای مثال http://mizfa.com) را در سرچ کنسول تحت عنوان property تازه اضافه فرمائید و دوباره تست فرمایید.[/box] گوگل در قسمتی از سرچ کنسول خویش وضعیت رایگانی برای آزمایش پوشه robotx.txt مهیا نموده است. بدین خواسته وارد سرچ کنسول آموزش سئو مشهد (وبمسترتولز) گردید.
چندین نکته آخری درباره فولدر robots.txt
ربات‌های خزنده و یا این که برخی ربات‌های موتورهای کاوش ممکن میباشد به امرها جانور در فولدر robots.txt که درج‌گردیده را نادیده بگیرند. مخصوصاً ربات‌های اسپم یا این که مالور (malware robots) که برای زخم‌پذیری، وب سایت‌ها را فارغ از دقت به‌این مسائل نسخه برداری می‌نمایند. و به‌دنبال پست الکترونیک یوزرها یا این که مورد ها آموزش سئو در مشهد دیگر می باشند.
ممکن میباشد متدهای فولدر robots.txt را با متاتگ robots به غلط بگیرید برای همین توصیه میگردد که مطلقا نوشته ی علمی کوتاه و اثرگذار تفاوت فولدر robots.txt با متاتگ robots را بخوانید.
موتورهای کاوش محتوای پوشه robots.txt را کَش می‌نمایند البته معمولا محتوای کش گردیده را روزی دست‌کم یک توشه آپدیت رسانی می‌نمایند. با این اکنون شما در حالتی که رغبت دارید بعداز تغییرات در‌این پوشه، موتورهای کاوش سریع‌خیس کش را آپ دیت نمایند پوشه خویش را درین نشانی گوگل ارسال نمایید. حرف از Cache شد، آیا می‌دانستید که کش کردن وبسایت تأثیرات فوق‌العاده‌ای روی سرعت تارنما‌هایی با ترافیک بالا داراست؟ رویه و چاهش در نوشته‌ی علمی شایسته ترین پلاگین کش وردپرس!
خب امیدوارم از فراگیری ایجاد کرد فولدر robots.txt و نکات در پی آن استعمال کرده‌باشید و صرف لحاظ از اینکه از وردپرس، جوملا یا این که هر CMS دیگری به کار گیری می کنید بتوانید براحتی robots.txt بسازید. هرچند برای ساخت‌و‌ساز پوشه robots.txt برای وردپرس و دیگر سی ام اس ها مثل جوملا نمونه‌هایی ارائه دادیم؛ البته فراموش نکنید که قابلیت ندارد یک فولدر را تحت عنوان شایسته ترین فولدر robots.txt مطلوب وردپرس یا این که CMSهای دیگر درنظر گرفت و برای همگی‌ی وبسایت‌ها از به عبارتی یک فولدر استفاده نمود.
فرق متاتگ Robots با پوشه Robots.txt
در صورتی‌که یک ربات بخواهد کاغذ‌ای از یک تارنما را ایندکس نماید پیش از این کار robots.txt را مشاهده کرده و امرها آن را تبعیت می‌نماید. به طور طبیعیً حق تقدم فولدر robots.txt نیز از متاتگ robots بیشتر میباشد.
پوشه robots.txt به صورت یک پوشه حقیقی در اینگونه نشانی‌هایی www.domain.com/robots.txt قرار دارا‌هستند. البته متاتگ robots به صورت تگ و پیش از head نیز وجود دارا هستند همچون نمونه ذیل.

با یک امر robots.txt شما میتوانید صفحه ها بخش اعظمی را برای ربات‌ها و موتورهای کاوش مسدود فرمائید اما در‌صورتی‌که قصد داشته باشید با متاتگ robots اینگونه عملی را جاری ساختن دهید بایستی در تک‌تک آن صفحه ها نیز متاتگ را درج نمائید.
در پوشه robots.txt شما می توانید وبسایت مپ وب سایت را به ربات‌ها و موتورهای کاوش معرفی فرمائید اما با متاتگ قابلیت و امکان‌پذیر وجود ندارد.
اوامر متاتگ robots انعطاف‌پذیری بیشتری نسبت به پوشه robots.txt نیز داراست.
اساسی: در فولدر robots.txt به ربات می گوییم خزش نکند البته گاهی ایندکس می گردد درحالی که برای ایندکس نشدن عالی میباشد از متاتگ robots هم استعمال فرمائید.
[gap] [icon type=”vector” icon=”momizat-icon-question” align=”right” size=”32″ icon_color=”#ffbd23″ hover_animation=”border_increase” ]سؤال: آیا مشکلی در بهینه سازی پیش می آید درصورتی که از هر دو مشی یعنی متاتگ Robots با فولدر robots.txt برای خودداری از ایندکس شدن یک‌ورقه‌ای از وبسایت به کارگیری کنیم؟
مسلماً نه، گوگل هم متنی درباره این قضیه نوشته میباشد و اشاره می‌نماید که:

ربات گوگل محتوایی که از روش robots.txt مسدود گردیده باشد را خزش یا این که ایندکس نمی‌نماید البته ممکن میباشد ما لینک و پیوند آن محتوا را در مکانی دیگر از اینترنت پیدا کنیم و درنتیجه محتوای مو جود در آن نشانی در دسترس مردم قرار بگیرد و در نتیجه ها جستجوی گوگل ظواهر گردد. شما می توانید برای خودداری از این شغل که محتوا در نتیجه ها گوگل اکران ندهد از متدهای دیگر برای مسدود کردن نشانی‌ها استعمال نمایید. به‌تیتر‌نمونه دایرکتوری آن نشانی را از روش سرور خویش رمزگذاری فرمائید یا این که از متاتگ robotx با فرمان noindex به کار گیری نمایید.
ارور Temporarily unreachable در گوگل وبمستر (سرچ کنسول)
یک کدام از خطاهای رایج در سرچ کنسول گوگل در Fetch as Google خطای Temporarily unreachable است که گاهی مشاهده کردیم نگرانی متعددی برای مدیران وب سایت‌ها ساخت‌و‌ساز میکند، درحالی که ارور Temporarily unreachable بعداز فچ کردن خیلی وقت‌ها موقت می‌باشد و به راحتی قابل رفع میباشد. انگیزه‌هایی که ممکنه منجر ساخت این غلط بشود را پژوهش می کنیم.
دلایل خطای Temporarily unreachable
تنظیمات خطا پیکربندی DNS
DNS به IP سرورهای صاحبخانه هاستینگ وصل میگردند در شرایطی‌که شما یک هاست از هاستینگ مدنظر خویش خریداری می کنید برای دامنه شما در سرور صاحب خانه یک دسترسی با اسم A record تولید میشود. زمانی شما dns های هاست ( نیم سرورها) را بر روی دامنه تنظیمات میکنید در واقع دامنه خویش را به سرور هاست خریداری گردیده متصل می کنید تا بتوانید از روش نشانی به هاست خویش دسترسی داشته باشید. هنگامی فردی وارد نشانی وبسایت شما می‌گردد در واقع از روش دامنه شما به IP های سرور دسترسی پیدا می نماید و در شکل صحیح ست شدن dns بر روی دامنه میتواند تارنما شما‌را مشاهده نماید. البته در حالتی‌که ای پی ها به صحت تهیه نشده باشد و شما عکل Fetch را در سرچ کنسول جاری ساختن دهید با ارور Temporarily unreachable بخورد خواهید کرد.

کش سرورهای ISP
ممکن میباشد شما پس از اصلاح درست DNSهای هاست خویش مجدد با خطای Temporarily unreachable واکنش بکنید، هم اکنون انگیزه بروز این غلط چیست؟ یکی ایرادات اصلی که منجر دیر تنظیمات شدن (ست شدن) DNS می گردد ، کش سرورهای کمپانی‌های ارائه دهنده وب یعنی ISPها است. ISPها با به کارگیری از کش سرورهایشان سبب ساز میشوند که سرعت مشاهده و لود تارنما‌ها بیشتر گردد و شما وب سایت‌ها را سریع‌خیس از وقتی که به کش سرور متصل نیستید ببینید. پروسه فعالیت کش سرورها به‌این سیرتکامل میباشد که یک وبسایت را در خویش ذخیره می‌نمایند و زمانی استفاده کننده تارنما را درخواست میدهد داده ها آغاز از کش سرور ISP فراخوانی می‌شود به همین برهان سرعت لود وب سایت بیشتر میباشد .

متاسفانه در اکثر کمپانی‌ها ی ISP کش سرورها دیر بروز رسانی میگردند و این بروز رسانی در میان 24 الی 72 ساعت متغیر است به همین ادله هنگامی شما یک DNS نو به دامنه خویش متصل می کنید یا این که آن را تغییر‌و تحول می‌دهید ممکن میباشد به مقطع 24 الی 72 ساعت محتویات وبسایت و هاست قبل را مشاهده فرمایید و تغییرات را مشاهده نکنید و یااینکه ابدا تارنما شما مشاهده نگردد، پس شکیبا باشید.

بالا نبودن سرور
خیلی مواقع خلل از DNS وجود ندارد بلکه از هاستینگ خریداری شد‌ه‌است، قطعی‌ها و یا این که در دسترس نبودن در آن لحظه یا این که به خیر و خوبی کانفیک نکردن هاست شما بوسیله هاستینگ و … می تواند سبب ساز این ارور گردد.
پس درصورتی که مطمئن می باشید که Name Server های شما به خیر و خوبی تهیه و تنظیم میباشد به هاستینگ خویش تیکت بزنید و خطای Temporarily unreachable به وجود آمده را با آن ها در بین بگذارید.

موقت بودن ارور Temporarily unreachable
برخی اوقات هیچ کدام از ایرادات را تارنما ما نداشته اما به صورت عجیبی و سازه به دلایل نامعلومی با خطای Temporarily unreachable روبه‌رو می‌شویم، در اکثر این مواقع اتفاق این غلط به صورت موقتا بوده و عالی میباشد دفعات آتی فعالیت فچ را در سرچ کنسول گوگل جاری ساختن دهید.
برای مثال ما چندین وقت پیش فارغ از تغییرات خاصی در هاست خویش به اینگونه مشکلی برخوردیم و فورا پس از این نادرست مجدد کار فچ را جاری ساختن کردیم و برگه متبوع index شد.