برای بسیاری از افراد، جستجوگر گوگل حکم اینترنت را دارد و نقطه شروع برای پیدا کردن سایت های جدید محسوب می شود و مسلما اختراع آن از اینترنت مهم تر است! بدون موتورهای جستجو دسترسی به حجم عظیمی از محتوای وب امکان پذیر نیست. اما آیا می دانید موتورهای جستجو چگونه کار می کنند؟
به گزارش صبحانه به نقل از آی تی رسان، هر موتور جستجو دارای سه عملکرد اصلی است: حرکت آهسته یا خزش برای کشف محتوا، نمایه سازی برای ردیابی و ذخیره محتوا و بازیابی برای بارگیری محتوای مربوطه هنگام استفاده از موتورهای جستجو.

خزش یا حرکت آهسته
این مرحله در واقع جایی است که همه چیز شروع می شود، کسب اطلاعات در مورد یک وب سایت. خزش، شامل اسکن کردن سایت ها و جمع آوری اطلاعاتی مانند: عنوان ها، تصاویر، کلمات کلیدی، سایر صفحات مرتبط و…در مورد هر صفحه می شود. همچنین خزنده های مختلف ممکن است جزئیات مختلفی را جستجو کنند، مانند طرح بندی صفحات، جایی که آگهی ها قرار می گیرند و بسیاری موارد دیگر.
اما سوال اینجاست که یک وب سایت چگونه پویش می شود؟

در پاسخ به این سوال باید گفت که یک ربات خودکار موسوم به عنکبوت، با استفاده از لینک صفحات، یکی پس از دیگری صفحات را بازدید می کند. حتی در اولین روزها، عنکبوت گوگل می تواند چند صد صفحه در ثانیه را بخواند. هنگامی که خزنده وب از یک صفحه بازدید می کند، لینک موجود در صفحه را جمع آوری کرده و آن ها را به لیستی از صفحات بعدی که باید بازدید کند، قرار می دهد. پس از پویش یک صفحه طبق لیست، صفحه بعدی بررسی شده و لینک های آن برای بازدید، مجددا در لیست پویش قرار می گیرند.

خزنده های وب همچنین یک بار و در یک زمان به صفحات گذشته باز می گردند تا ببینند آیا تغییرات جدیدی در صفحه رخ داده است یا خیر. این به این معنی است که هر سایتی که از یک سایت نمایه شده دارای پیوند است، سرانجام کاوش خواهد شد. برخی از سایت ها به دفعات بیشتری کاوش می شوند و برخی دیگر که پیچیدگی بیشتری دارند با سرعت کمتری کاوش می شوند. حال اگر صفحه یک سایت بسیار پیچیده باشد خزنده تسلیم می شود و کاوش به پایان می رسد.

یک راه برای فهمیدن اینکه چگونه یک خزنده وب کار می کند، این است خودتان یک بار آن را بسازید البته اگر تجربه برنامه نویسی داشته باشید. توجه داشته باشید که صفحات را می توان به عنوان "noindex” علامت گذاری کرد که مانند درخواست موتورهای جستجو برای نمایه سازی مشخص شده است. بخش های غیر مستند شده از اینترنت به عنوان "وب عمیق” شناخته می شوند و برخی از سایت ها، نمی توانند توسط موتورهای جستجو نمایه شوند.

نمایه سازی
نمایه سازی زمانی انجام می شود که داده ها پردازش شده و در یک پایگاه داده قرار می گیرند. تصور کنید لیستی از تمام کتاب های تان در بخش های ناشران، نویسندگان، ژانرها، تعداد صفحات و غیره ایجاد کنید. پویش زمانی اتفاق می افتد که هر کتاب را در حالی که نمایه سازی شده است، به لیست خود وارد می کنید. این یک نسخه کوچک از کاری است که گوگل انجام می دهد، این موتور جستجوگر تمام داده ها را در مراکز داده وسیع ذخیره می کند.

بازیابی و رتبه بندی
بازیابی زمانی انجام می شود که موتور جستجو، موضوع جستجوی شما را پردازش می کند و صفحات مربوطه را مطابق با درخواست شما باز می کند. اکثر موتورهای جستجو از طریق روش های بازیابی خود متمایز می شوند؛ از معیارهای مختلف برای انتخاب گرفته تا انتخاب صفحات مناسب با آنچه که کاربر به دنبال آن است. اصلا به همین دلیل است که نتایج جستجو بین گوگل و بینگ متفاوت است.

الگوریتم رتبه بندی پرس و جوی جستجوگر خود را در برابر میلیاردها صفحه بررسی کنید تا ارتباط هر یک از آن ها را تعیین کنید. معمولا شرکت ها به دلیل پیچیدگی آن ها الگوریتم های رتبه بندی خود را به عنوان اسرار صنعت ثبت شده، نگه می دارند. طبیعی است؛ یک الگوریتم بهتر به تجربه جستجوی بهتر تبدیل می شود. آن ها همچنین نمی خواهند سازندگان وب، سیستم را بازی دهند و ناعادلانه به بالاترین سطح از نتایج جستجو صعود کنند. اگر متدولوژی داخلی یک موتور جستجو بیرون بیایید، همه افراد از این دانش بهره خواهند برد و این امر به ضرر جستجوگرانی مانند شما و من تمام خواهد شد.

در اصل، موتورهای جستجو رتبه بندی سایت را با میزان کلمات کلیدی مناسب که در یک صفحه ظاهر می شود، انجام می دهند.
اهمیت پیوند در اینجا مشخص می شود. در گذشته، موتورهای جستجو سایت ها را با توجه به تعداد زیاد لینک های ورودی ارزش گذاری می کردند زیرا لینک مرتبط را دلیل محبوبیت سایت تفسیر می کردند. اما این کار موجب پیوند هرزنامه در سراسر وب شد. امروزه، موتورهای جستجوگر، قدرت لینک را مرتبط با پیوندهای سایت می دانند. همچنین موتورهای جستجو ارزش بیشتری برای لینک های یک سازمان دولتی در مقایسه با لینک های دایرکتوری قائل هستند.

امروزه الگوریتم های رتبه بندی در رمز و راز بیشتر از همیشه استفاده می شوند و بهینه سازی موتورهای جستجو بسیار مهم نیست. در حال حاضر رتبه بندی موتورهای جستجو بر اساس کیفیت بالای محتوا و تجربیات کاربر صورت می گیرد و اینجاست که اهمیت سئوی سایت بیش از هر چیز مشخص می شود.

آینده موتورهای جستجوی بعدی چیست؟
در حال حاضر یک سوال جالب وجود دارد و پاسخ آن معناشناسی یا به عبارت بهتر معنای محتوای صفحه است. به عنوان مثال شما می توانید به جستجوی «کلوچه های بدون گلوتن» بپردازید اما نتایج ممکن است متفاوت باشند. در این مورد، جستجوی کلمات کلیدی به درستی انجام شده اما از نظر معنایی دچار مشکل است. با معناشناسی، شما می توانید دستورالعمل های مربوط به کلوچه ها را جستجو کرده و سپس موارد خاصی مانند آجیل، آرد و…را انتخاب کنید. همچنین می توانید نتایج را محدود به دستور العمل هایی کنید که کمتر از ۳۰ دقیقه برای آماده سازی آن زمان لازم است و در ادامه لینک هایی با امتیاز ۴.۵ و یا بیشتر را مطالعه کنید. این آینده ای است که جستجوگرها به آن خواهند رسید.
 
شیوا محمدی