معرفی و مفاهیم سئو

موتورهای جستجو چگونه کار می‌کنند؟

موتورهای جستجو چگونه کار می‌کنند؟

موتورهای جستجو چگونه کار می‌کنند؟

موتورهای جستجو از سه عملکرد اصلی استفاده می‌کنند:

۱. کراولینگ (Crawling): این عملکرد شامل پویش اینترنت برای یافتن محتوا می‌شود، موتورها به دنبال کدها و محتوای هر آدرس (URL) می‌گردند.

۲. ایندکس‌گذاری (Indexing): محتوای یافته شده در فرآیند کراولینگ ذخیره و سازماندهی می‌شود. هرگاه یک صفحه در ایندکس قرار بگیرد، این به این معناست که احتمال نمایش آن به عنوان نتیجه‌ای درخور برای جستجوهای مرتبط وجود دارد.

۳. رتبه‌بندی (Ranking): این عملکرد مربوط به ارائه قطعات محتواست که بهترین پاسخ به پرسش کننده را فراهم می‌کند. این بدان معناست که نتایج بر اساس مرتب‌سازی از مهم به کم ارائه می‌شوند تا بهترین پاسخ‌ها به جستجوهای مرتبط نمایش داده شوند.

چیستی کراولینگ موتور جستجو؟

کراولینگ فرآیند کشف است که در آن موتورهای جستجو یک تیم از ربات‌ها (که به نام کراولر یا اسپایدرها نیز شناخته می‌شوند) را ارسال می‌کنند تا محتوای جدید و به‌روز شده را پیدا کنند. محتوا می‌تواند متنی وب، تصویر، ویدئو، یا PDF و غیره باشد، اما بدون توجه به فرمت، محتوا از طریق لینک‌ها کشف می‌شود.

 

کرالینگ

 

 

گوگل‌بات (Googlebot) با بازیابی چند صفحه وب شروع به کار می‌کند، سپس لینک‌های موجود در این صفحات را دنبال می‌کند تا به آدرس‌های وب جدید برسد. با پیشروی از این مسیر لینک‌ها، کراولر قادر به یافتن محتوای جدید و اضافه کردن آن به ایندکس خود به نام “کافئین” می‌شود.

رتبه‌بندی موتورهای جستجو

هنگامی که کسی یک جستجو انجام می‌دهد، موتورهای جستجو از فهرست خود به دنبال محتوای بسیار مرتبط می‌گردند و سپس آن محتوا را با امید به حل پرسش جوینده، به ترتیب اهمیت قرار می‌دهند. این ترتیب‌بندی نتایج جستجو بر اساس ارتباط با موضوع به عنوان رتبه‌بندی شناخته می‌شود. به طور کلی، می‌توانید فرض کنید که هر چه یک وبسایت بالاتر رتبه داده شود، موتور جستجو معتقد است که این سایت نسبت به پرسش جو کاربر بیشترین ارتباط را دارد.

امکان دارد از جلوگیری از رفتن ربات‌های موتورهای جستجو به بخش یا تمام وبسایت شما یا دستور دادن به موتورهای جستجو برای جلوگیری از ذخیره صفحات خاصی در فهرست خود استفاده کنید. هرچند دلایلی برای انجام این کارها وجود دارد، اما اگر می‌خواهید محتوای خود توسط جویندگان یافته شود، ابتدا باید اطمینان حاصل کنید که برای ربات‌ها قابل دسترسی است و اینکه این محتوا قابل فهرست‌بندی است. در غیر این صورت، همانند نامرئی شدن است.

اگر در هیچ جای نتایج جستجو ظاهر نمی‌شوید، چند دلیل ممکن وجود دارد:

وبسایت شما تازه تاسیس شده و هنوز اسکن نشده است.
وبسایت شما از هیچ وبسایت خارجی به آن لینک نشده است.
ناوبری وبسایت شما باعث مشکل در اسکن به‌طور موثر توسط ربات می‌شود.
وبسایت شما شامل کد ابتدایی به نام دستورات اسکن‌گر (crawler directives) است که از موتورهای جستجو جلوگیری می‌کند.
وبسایت شما به دلیل تاکتیک‌های نامطلوب به عنوان اسپم توسط گوگل مجازات خورده است.

 

Robots.txt

فایل‌های robots.txt در دایرکتوری اصلی وبسایت‌ها قرار دارند (مثال: yourdomain.com/robots.txt) و نشان می‌دهند که بخش‌هایی از وبسایت شما را موتورهای جستجو باید یا نباید اسکن کنند، همچنین سرعتی که آن‌ها وبسایت شما را اسکن می‌کنند، از طریق دستورات خاص robots.txt.

رفتار Googlebot نسبت به فایل‌های robots.txt به شرح زیر است:

اگر Googlebot نتواند یک فایل robots.txt را برای یک وبسایت پیدا کند، به اسکن وبسایت ادامه می‌دهد.
اگر Googlebot برای یک وبسایت فایل robots.txt پیدا کند، به طور معمول به پیشنهادها اطاعت کرده و به اسکن وبسایت ادامه می‌دهد.
اگر Googlebot در هنگام تلاش برای دسترسی به فایل robots.txt یک وبسایت با مشکل مواجه شود و نتواند تشخیص دهد که چه فایلی وجود دارد یا نه، از اسکن وبسایت خودداری می‌کند.

 

تمام ربات‌های وب از فایل robots.txt پیروی نمی‌کنند. یکسری از افراد با انجام کارهایی (مثل جمع‌آوری آدرس‌های ایمیل) ربات‌هایی ایجاد می‌کنند که این پروتکل را رعایت نمی‌کنند. در واقع، برخی از افراد از فایل‌های robots.txt برای پیدا کردن محل محتوای خصوصی شما استفاده می‌کنند. اگرچه ممکن است منطقی به نظر برسد که ربات‌ها را از دسترسی به صفحات خصوصی مانند صفحات ورود و مدیریت محدود کنید تا در نتایج جستجو ظاهر نشوند، اما قرار دادن محل آدرس‌های URL مربوط به آن‌ها در یک فایل robots.txt قابل دسترس عمومی، به معنای این است که افراد می‌توانند آن‌ها را به راحتی پیدا کنند. بهتر است این صفحات را با استفاده از NoIndex علامت‌گذاری کرده و پشت یک فرم ورود گذاشته شوند تا آن‌ها را در فایل robots.txt قرار ندهید.

آیا ربات‌های جستجو قادرند به تمام محتوای مهم شما دسترسی پیدا کنند؟

حالا که شما برخی از تاکتیک‌ها برای اطمینان از اینکه ربات‌های موتور جستجو از محتوای بی‌اهمیت شما دوری می‌کنند را می‌شناسید، بیایید درباره بهینه‌سازی‌هایی که به Googlebot در پیدا کردن صفحات مهم شما کمک می‌کنند، بیاموزیم.

گاهی اوقات یک موتور جستجو قادر به پیدا کردن بخش‌هایی از وبسایت شما از طریق اسکن می‌شود، اما صفحات یا بخش‌های دیگر ممکن است به دلیل یک دلیل یا دلایل دیگر مخفی باقی بمانند. مهم است که اطمینان حاصل کنید که موتورهای جستجو قادر به کشف تمام محتوایی که می‌خواهید فهرست‌بندی شود، و نه فقط صفحه اصلی وبسایت شما، باشند.

به خودتان این سوال را بپرسید: آیا ربات می‌تواند از وبسایت شما عبور کند، و نه فقط به آن برسد؟

آیا محتوای شما پشت فرم‌های ورود قرار دارد؟

اگر از کاربران خواسته‌اید که قبل از دسترسی به برخی محتوا وارد شوند، فرم‌ها را پر کنند یا به سوالات نظرسنجی پاسخ دهند، موتورهای جستجو این صفحات محافظت‌شده را نمی‌بینند. ربات‌ها قطعاً وارد حساب کاربری نمی‌شوند.

آیا به فرم‌های جستجوی وابسته‌اید؟

ربات‌ها نمی‌توانند از فرم‌های جستجو استفاده کنند. برخی افراد ممکن است باور کنند که اگر یک جعبه جستجو را در وبسایت خود قرار دهند، موتورهای جستجو قادر به پیدا کردن هر آنچه کاربرانشان جستجو می‌کنند خواهند بود.

آیا متن درون محتواهای غیرمتنی مخفی شده است؟

از فرم‌های رسانه‌ای غیرمتنی (تصاویر، ویدئو، GIF و غیره) برای نمایش متنی که می‌خواهید فهرست‌بندی شود، استفاده نکنید. در حالی که موتورهای جستجو در شناسایی تصاویر بهتر می‌شوند، هنوز تضمینی وجود ندارد که بتوانند آن را بخوانند و درک کنند، همیشه بهتر است متن را در داخل علامت‌گذاری <HTML> صفحه وب خود اضافه کنید.

آیا موتورهای جستجو می‌توانند مسیر ناوبری وب‌سایت شما را دنبال کنند؟

همانطور که یک ربات برای کشف وب‌سایت شما به وسیله پیوندهای از سایر وب‌سایت‌ها نیاز دارد، نیاز به یک مسیر از پیوندها در وب‌سایت خود دارد تا از صفحه به صفحه هدایت شود. اگر یک صفحه دارید که می‌خواهید موتورهای جستجو آن را پیدا کنند اما از هیچ صفحه دیگری پیوند نشده است. بسیاری از وب‌سایت‌ها اشتباهات حیاتی را انجام می‌دهند و ناوبری خود را به گونه‌هایی ساختاردهی می‌کنند که برای موتورهای جستجو قابل دسترسی نیست، که توانائی آن‌ها برای درج در نتایج جستجو را محدود می‌کند.

 

Robots.tx

اشتباهات متداول در ناوبری که ممکن است مانع از دیده شدن تمام وب‌سایت شما توسط ربات‌ها شود:

ناوبری موبایل که نتایج متفاوتی از ناوبری رایانه دارد:

داشتن یک ناوبری موبایل که نتایج متفاوتی نسبت به ناوبری رایانه نشان می‌دهد، می‌تواند به اشتباه به ربات‌های جستجو نشان دهد که بخش‌هایی از وب‌سایت در دسترس نیستند.

هر نوع ناوبری که موارد منو در داخل HTML نباشد (مثل ناوبری‌های فعال‌سازی شده توسط جاوااسکریپت):

گوگل بهبود زیادی در اسکن و درک جاوااسکریپت کرده است، اما این یک فرآیند کاملاً کامل نیست. راه مطمئن‌تر برای اطمینان از اینکه یک مورد توسط گوگل پیدا، درک شود و فهرست‌بندی شود، قرار دادن آن در داخل HTML است.

شخصی‌سازی یا نمایش ناوبری یکتا برای یک نوع خاص از بازدیدکنندگان نسبت به دیگران:

شخصی‌سازی یا نمایش ناوبری یکتا برای یک نوع خاص از بازدیدکنندگان ممکن است به چشم بیاید که به عنوان cloaking (پنهان‌کاری) توسط ربات‌های جستجو تلقی شود.

فراموش کردن ارتباط با یک صفحه اصلی از وب‌سایت از طریق ناوبری:

فراموش کردن ارتباط با یک صفحه اصلی از وب‌سایت از طریق ناوبری، باید به یاد داشته شود که لینک‌ها مسیرهایی هستند که ربات‌های جستجو از طریق آنها به صفحات جدید هدایت می‌شوند.

 

 

 

Sending
User Review
4 (1 vote)

نوشته های مشابه

1 دیدگاه در “موتورهای جستجو چگونه کار می‌کنند؟

  1. Alireza گفت:

    خیلی عالی و کامل بود.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *