در این مقاله قصد داریم موارد زیر را مورد بررسی قرار دهیم :
فایل Robots.txt
یکی از مهمترین موارد تکنیک های سئو که در سری مقالات آموزش سئو و بهینه سازی اشاره شد، فایل Robots.txt است که می توان از طریق آن نرخ بودجه ی سایت را تنظیم کرد، اگر می خواهید بدانید فایل Robots.txt چیست و چه کاربردی دارد؟ با ما همراه باشید .
برای تعیین رتبه بندی سایت های مختلف ربات های گوگل فعالیت های سایت ها را بررسی و ایندکس می کنند و از طریق نتایج به دست آمده از بررسی این ربات ها رتبه بندی سایت شما مشخص می شود، اگر سایت شما تمام قوانین و استانداردهای سئو را رعایت کرده باشد و الگوریتم های مشخص شده ی گوگل را در مراحل کار خود به کار برده باشد بهترین رتبه بندی گوگل را نصیب خود می کنید .
فایل Robots.txt چیست؟
فایل Robots.txt یک فایل متنی است که موتورهای جستجو را راهنمایی می کند که چگونه از ایندکس صفحات وب استفاده کنند .
فایل Robots.txt می تواند از ایندکس شدن بسیاری از صفحات جلوگیری کند، بعضی از این صفحات را به اختصار برای شما ذکر می کنیم.
صفحات و وبلاگ هایی که متن ها و اطلاعات تکراری دارند و از سایت های دیگر کپی برداری کرده اند، برچسب ها و تگ هایی که در سایت اضافی هستند و باعث به وجود آمدن محتوای تکراری و اضافی در سایت می شوند، استفده از فیلتر بندی قیمت و رنگ محصولات در وبسایت ها، لاگین شدن صفحاتی که با لینک در خود سایت، صفحات اختصاصی ادمین و پنل اصلی سایت، صفحات پروفایل و چت تمامی کاربران عضو در سایت و برخی از قالب ها که برای دیده شدن نیازی به گوگل ندارند.
فایل Robots.txt از ایندکس شدن صفحات مذکور جلوگیری می کند، شما می توانید با سرچ نام فایل Robots.txt در وب به راحتی به این فایل دسترسی داشته باشید اما نمی توانید هیچ محتوا و فایلی را در آن ایمن سازی و مخفی کنید و باید مراقب باشید که ربات های مخرب از این فایل به عنوان راهنما برای حرکت در سایت شما استفاده نکنند.
خوشبختانه موتورهای جستجو مانند گوگل و یاهو و… از فایل Robots.txt پشتیبانی می کنند و به آن احترام می گذارند.
روش استفاده از فایل Robots.txt
فایل Robots.txt قابلیت ها و کاربردهای زیادی دارد که مهمترین و بهترین استفاده از آن این است که متخصصان سئو می توانند به راحتی چندین صفحه را بدون نیاز به دسترسی به کدهای آن ها از ایندکس شدن جلوگیری کنند .
برای ایجاد فایل Robots.txt می توانید یک فایل متنی ساده ایجاد کنید و طبق سه دستور زیر آن را طراحی کنید.
-
دستور User-agent
در ابتدای فایل Robots.txt و هر فایل و محتوایی که قرار است در این فایل قرار گیرد باید عبارت User-agent تایپ شود، معنی این عبارت و دستور آن است که شما کدام یک از ربات های خزنده در وبرا دنبال می کنید و مورد هدف قرار داده اید .
برای استفاده از این دستور شما می توانید عبارت User-agent را تایپ کنید و در مقابل آن دو نقطه بگذارید سپس نام رباتی که می خواهید آن را مورد هدف قرار دهید و به آن دستور دهید تایپ می کنید اما اگر بخواهید فراخوانی تمامی ربات های موجود در وب را انجام دهید، کافی است در مقابل دستور User-agent یک ستاره * قرار دهید تا تمامی ربات ها برای شما فعال شوند.
-
دستور Allow و دستور Disallow
پس از آنکه دستورها برای شما اوکی شد باید به ربات هایی که فراخوانی کرده اید دستور دهید که چه صفحاتی را ایندکس کنند و چه صفحاتی را ایندکس نکنند، برای ایندکس کردن صفحات از دستور Allow و برای جلوگیری از خزش و ایندکس شدن از دستور Disallow استفاده می کنند، پس از تایپ این دستورات می بایست در مقابل آن ها دو نقطه بگذارید و صفحاتی را که می خواهید دستورات بر آن ها اعمال شوند را تایپ می کنید.
برای آدرس سایت ها لازم نیست تمامی دستور url آن ها را تایپ کنید اسم بعد از / کافی می باشد.
تمامی متن ها و دستورات گفته شده را در قالب یک فایل متنی ذخیره کنید و در سایت خود آپلود کنید.
فایل Robots.txt را چگونه در سرچ کنسول گوگل قرار دهیم؟
پس از قرار دادن فایل در سایت خود می بایست تغییرات را از طریق سرچ کنسول گوگل اعمال کنید و برای این کار بخش Robots.txt را پیدا کنید و تغییرات را اعمال و ثبت کنید. اما اگر این صفحه را پیدا نکردید می توانید با سرچ کردن همین عنوان در وب به آن دسترسی پیدا کنید.
در بخش تست می توانید url ها را تست کنید و ببینید کدام یک از سایت ها بسته شده است یا غیر فعال است .
فایل Robots.txt یکی از مهمترین عوامل تأثیرگذار بر سئوی سایت شما است بنابراین در انتقال دادن محتوای خود به این فایل دقت کافی را داشته باشید چرا که کوچکترین اشتباه در این فایل ها می تواند تمامی زحمات شما را برای به کار بردن قوانین سئو هدر دهد و شما رتبه بندی خود را در گوگل از دست بدهید .
جمع بندی
همانطور که می دانید به کارگیری قوانین سئو در طراحی سایت بسیار مهم و حائز اهمیت است و تمام متخصصان سئو و محتوا نویسان سعی می کنند تمام قوانین را اعمال کنند و یک سایت با بهترین رتبه بندی را تحویل مدیر سایت دهند .
شاید گفتن به کاربردن قوانین سئو خیلی کلی باشد زیرا این قوانین دنیای بزرگ و قدرتمند خود را دارد و باید به تمامی بخش های آن توجه کرد. موتورهای جستجو به خصوص گوگل روز به روز آپدیت و به روز می شوند و هیچ گونه تقلب و دور زدنی را نمی توانید انجام دهید زیرا به سرعت جریمه می شوید و پنالتی دریافت می کنید .
دنیای امروز دنیای پیشرفت در اطلاعات و تخصص در حوزه ی مربوطه می باشد و دیگر زمان تقلب کردن و رعایت نکردن قوانین به سر رسیده است، افرادی که زحمت بیشتری برای طراحی سایت خود می کشند و تمامی استانداردها را رعایت می کنند همیشه موفق و سربلند هستند .
نوبشو مارکتینگ با هدف رونق کسب و کارهای اینترنتی با در اختیار داشتن تیم نویسندگان مجرب می تواند با تولید محتوای سئو شده و یکتا باعث رشد کسب و کار و ارتقای رتبه سایت در موتورهای جستجو شود . برای سفارش تولید محتوا می توانید اینجا کلیک کنید !
