- - - --

Saturday, September 24, 2011

DverLeech | دانلود مستقیم از رپید شیر و هات فایل

DverLeech | دانلود مستقیم از رپید شیر و هات فایل


فایل‌های robots.txt پیشنهادی برای مدیریت محتوی‌های مختلف

Posted: 24 Sep 2011 03:48 AM PDT

robots.txt

در ارتیکل قبلی در مورد  فایل robots.txt توضیحات جامع و مفصلی دادیم.همانطور که میدونید مدیریت‌های محتوی متفاوت فایل‌های robots.txt‌های مختلفی دارند که نسخه بهبود یافته اونها رو میتونید از سر تا سر وب با جست وجو پیدا کنید. در این قسمت سعی کردم برای مدیریت‌های محتوی مشهور مانند  جوملا- وردپرس- وی بولوتین و… فایل‌های robots.txt مناسب و بهینه شده رو جمع اوری کنم و براتون قرار بدم.

نکته : سعی کردم در مورد اون مدیریت محتوی‌هایی که کمی‌اطلاعات دارم دستورات رو به طور کلی بهینه و ویرایش کنم و سعی کردم بهترین و دقیق ترین کد‌ها رو براتون قرار بدم

شما میتوانید با توجه به نیاز خودتون در فایل‌ها تغییرات ایجاد کنید

مشاهده robots.txt سایت ما برای نمونه

  • نکته : برای مشاهده و چک کردن سینتکس‌های کد‌های خود از ادرس زیر استفاده کنید

Robots Syntax Checker

  • نکته : ادرس نقشه‌های سایت خودتون رو در پایان فایل به جای ادرس نقشه سایت ما قرار بدید

(دانلود فایل‌های robots.txt در ادامه مطلب)

یکی از کاملترین فایل‌هایی که تو این بررسی دیدم مطعلق به مدیریت محتوی دروپال میباشد و بسیار کامل و مفید است .

robots.txt چیست؟نحوه تاثیر ان در افزایش رنک

Posted: 24 Sep 2011 02:03 AM PDT

robots-txt

English Article OF Robot.txt Is At The Bottem OF This Content

توی اینترنت داشتم بین سایت‌های فارسی جست و جو میکردم  که یک توضیح جامع و کاملی برای این مقوله از SEO پیدا کنم. اما متاسفانه نمیدونم چرا هیچ جا یک اموزش و توضیح کامل از Robots.txt وجود نداشت  و همه جا فقط  چند تا فایل اماده قرار داده بودن.

رفتم سراغ وب سایت‌های خارجی و یک Article (مقاله ) خیلی خوب گیر اوردم. تصمیم گرفتم فارسیش کنم و براتون قرار بدم.

لطفا بدون ذکر منبع کپی نکنید.

چرا Robots.txt (دلایل استفاده از Robots.txt):

این که یک موتور جست و جو مرتبا به سایت شما سر بزنه و بات‌ها و اسپایدر‌های اون سایت شما رو ترک کنه یک ایده خوب هست و باعث افزایش رنک سایت شما میشه. اما باید ذکر کنم که یه مشکل کوچیک که این وسط وجود داره اینه که …گاهی اون چیزی که شما میخواید ایندکس نمیشه و همین در اینده نه چندان دور مشکل ساز میشه و اینجاس که فایل Robots.txt لزومش اشکار میشه و…

حالت بارز این موضوع برای سایت‌هایی هست که برای هر پیج خودشون یا هر موضوع خودشون دو نسخه دارند. یکی نسخه ارائه شده در وب سایتشون و دیگری نسخه چاپی که قابل پرینت گرفتن هست. خوب این وسط یک مورد کاملا اشکاره که اگه شما نسخه چاپی رو از دسترس اسپایدر‌های موتور جست وجو خارج نکنید و اون‌ها ایندکس بشن… عملا یک عنوان ایندکس  میشه و صفحه خالی و بدون محتوی برای اسپایدر دسترسی داده میشه و این یعنی کاهش رنک … پس در این مورد عاقلانه ترین کار اینه که قسمت پرنیتی رو از دسترس اسپایدر‌ها خارج کنید.

مورد بعد زمانی اتفاق میوفته که شما میخواید قسمتی از سایت برای کسی دیده نشه. بنا بر این اولین راه جلوگیری از ایندکس شدن در موتور‌های جست و جو میباشد.

  • نکته مهم: البته باید همینجا ذکر کنم.اگر چه شما مثلا با زدن ادرس wp-admin برای جلوگیری از ایندکس شدن …از رفتن این قسمت به موتور‌های جست وجو جلوگیری میکنید. اما چون فایل robots.txt در سایت به راحتی قابل دستیابی هست این ادرس خیلی راحت از این قسمت بازیابی میشه .پس بهتره اگر میخواهید  قسمتی به هیچ وجه توسط کسی دیده نشه. بهتره در این فایل ادرسش رو وارد نکنید .

مورد بعدی استفاده از این فایل هنگامی‌اتفاق میوفته که برای شما حفظ پهنای باند  سرورتون مهمه.بعضی از فایل‌های خارجی و یا داخلی سایت مانند تصاویر,فایل‌های جاوا,فایل‌های استایل و… نیازی به پخش شدن در موتور‌های جست و جو ندارند و خارج کردن ان‌ها از دسترس موتور‌های جست و جو کمک بزرگی به افزایش سرعت و کاهش پهنای باند سایت میکنه.

خوب حالا یکی از راه‌هایی که قبلا برای موارد ذکر شده استفاده میشده استفاده از Robots meta tag هست . امابه دلیل این که برخی از موتور‌های جست وجو قابلیت بازیابی این توضیح نیستند. استفاده از Robots.txt بهترین روش میباشد.

فایل Robots.txt چیست ؟

فایل robots.txt فایل متنی (Html نیست) است که در روت سایت شما قرار میگیرد تا به  موتورهای جست و جو اعلام کنید که چه قسمت‌هایی از سایت شما نباید توسط ان‌ها جست و جو و یا ایندکس شوند. این فایل اگرچه برای موتور‌های جست وجو یک فایل الزامی‌برای موتور‌های جست و جو نمیباشد ولی وجود این فایل باعث افزایش و بهبود وضعیت جست وجو گر‌ها در سایت شما میشود.

نکته مهم در این قسمت همانطور که در نکته اولیه ذکر کردم اینه که این فایل چیزی مثل یک فایروال یا پسورد گذار بر روی پوشه‌ها و یا قسمت‌های سایت شما نیست. بلکه بیشتر جنبه ای مانند خواهش دارد. مثل این که (( لطفا وارد این قسمت نشوید)) . و این بدین معنا است که دزد‌ها,هکر‌ها و… به راحتی باز هم مثل قبل به سایت دسترسی دارند. تنها تفاوت این هست که افراد فهمیده وارد قسمت‌های منع شده نمیشوند چرا که به انها موضوع مربوطی در این قسمت‌ها وجود ندارد.

و مورد ذکر شده بالا دلیل اصلی همان نکته ذکر شده در قسمت اول میباشد.

با مشاهده تصویر زیر این قسمت برای شما مشهود تر خواهد بود

robots_txt

تفاوت بین سایت دارای فایل robots و بدون این فایل.

محل قرارگیری فایل robots.txt یکی از مهمترین قسمت‌های این مقوله میباشد. فایل robots.txt باید در روت اصلی سایت قرار بگیرد. چرا که موتور جست و جو در بررسی اولیه فقط و فقط صفحه اصلی سایت را بررسی میکند و اگر فایل مورد نظر را در روت پیدا نکند کل محتوی فایل شما را ایندکس میکند. 

ساختار کلی فایل Robots.txt چیست ؟ ( توضیحات تکمیلی در ادامه مطلب)

ساختار این فایل خیلی ساده و سهل میباشد. و به راحتی قابل تغییر میباشد. و معمولا تعداد محدودیت‌های ایجاد شده توسط این فایل به راحتی قابل تغییر برای قسمت‌های مختلف میباشد.

دستور کلی این فایل به شکل زیر میباشد:

User-agent:

Disallow: /

قسمت "User-agent" معرف اسپایدر‌های موتور‌های جست وجو مختلف میباشد و قسمت "disallow:" قسمتی هست که شما توسط ان بخش‌های متفاوت دلبخواه خود را از دسترس موتورد جست وجو خارج میکنید.

برای مثال در دستور زیر کلیه ی موتور‌های سرچ از جست وجو در فولدر Temp منع میشوند.

User-agent: *

Disallow: /temp/

تله فایل robots.txt چیست ؟

هنگامی‌که شما شروع به ساختن فایل robots.txt گیج کننده میکنید. برای مثال … میخواهید برخی از موتور‌های جست وجو خواص برخی از قسمت‌های خواص را مشاهده کنند و یا برخی قسمتی را به راحتی مشاهده نکنند. مشکلاتی رخ میدهد.

مشکلات عمومی‌و رایجی مانند غلط‌های املایی و دایرکتوری‌های متناقض از جمله این مسائل میباشد.و این گاها باعث قرار گرفتن سایت در بلکس لیست‌ها میشود و باعث افت رنک شدید سایت میشود.

مشکل بزگتر و مهم تر هنگامی‌است که اشتباهات منطقی رخ میدهد… (به مثال زیر توجه نمایید )

User-agent: *

Disallow: /temp/

User-agent: Googlebot

Disallow: /images/

Disallow: /temp/

Disallow: /cgi-bin/

کد بالا در قسمت اولیه به همه موتور‌ها اجازه دسترسی به همه قسمت‌ها به جز Temp را میدهد. تا این قسمت مشکلی نیست. اما درقسمت بعدی موتور جست وجوی گوگل را برای محدودیت گذاری انتخاب کرده و  گفته شده فولدر‌های دیگری ماننده cgi-bin نیز توسط این موتور بررسی نشود. اما مشکل بوجود امده این است که هنگامی‌که اسپایدر گوگل فایل robots.txt را از ابتدا میخواند… درقسمت اول گفته شده همه موتور‌ها (از جمله گوگل ) اجازه دسترسی به همه قسمت‌ها به جز temp را دارند. بنابر این گوگل این دستور را اجرا کرده و به ادامه فایل توجهی نمیکند.

robots-txt

نمونه ای از محدودیت ایجاد کردن برای موتور‌های جست و جو

ابزار‌ها و راه‌های سازنده فایل Robots.txt

ابزار‌های مختلفی برای تولید این فایل وجود دارد. ابزار‌های افلاین و یا اسکریپت‌های انلاین زیادی برای این مقوله وجود دارند که در پست‌های بعدی برای شما قرار داده میشوند.

همچنین سایت‌های زیادی به صورت بهینه سازی شده برای مدیریت‌های محتوی مختلف فایل‌های Robots.txt  خود را ارائه میدهند که در پست بعد برای مدیریت‌های محتوی مختلف فایل‌های مربوطه را برای شما قرار میدهیم.

 

0 comments:

Post a Comment