شکل۲-۱۲.معماری کلی موتورهای جستجو[۵]
۲-۱۳-۱ درون کاو(خزنده )
.تمام موتورهای جستجو به ماجولی عملیاتی به نام “درون کاو” متکی هستند که پهنه ی وسیع وب را به طورزمان بندی شده پیمایش می‌کنند و به جمع آوری صفحات بی شمار ذخیره شده در گوشه و کنار وب می پردازند.
“درون کاو” از تعداد قابل توجهی برنامه ی کوچک تشکیل شده که هر کدام با هسته ی یک وب سایت خاص (یعنی صفحه ی شروع آن) آغاز می‌کنند و پس از دریافت آن صفحه و تحویل به انباره ی صفحات^[۴۸] براساس لینک های درون صفحه ی جاری، صفحات پیوند خورده را نیز به همین روال ذخیره می‌کنند. این برنامه های آغاز و بر اساس استراتژی این ماجول کنترل درون کاو^[۴۹] کوچک، درون کاوی خود را تحت کنترل ماجول کنترلی به پایان می برند[۵,۶۵].
۲-۱۳-۲کنترل درون کاو
این ماجول موظف است که مجموعه ی برنامه های درون کاوی را با تحویل^[۵۰] URL مورد نظر، راه اندازی کرده و بکارگیرد. ماجول “کنترل درون کاو تعیین می‌کند که پس از دریافت صفحه ی جاری کدامین صفحه بایدملاقات و دریافت شود چرا که یک صفحه ی واحد به صفحات متعددی لینک دارد. تزریق لینک هایی که باید ترتیب ملاقات شوند بر عهده ی کنترل درون کاو است. و در طرف مقابل ماجول درون کاوموظف است تمام آدرس ها یا به عبارتی URL های موجود را از درون صفحات دریافتی استخراج و آن‌ ها را برای تصمیم گیری در اختیار ماجول “کنترل درون کاو” بگذارد[۵].

(( اینجا فقط تکه ای از متن درج شده است. برای خرید متن کامل فایل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. ))

۲-۱۳-۳ انباره ی صفحات
صفحاتی که توسط ماجول “درون کاو” از گستره ی جهانی وب استخراج می شوند در یک بانک اطلاعاتی به نام “انباره ی صفحات” ذخیره می‌شود تا به منظور شاخص دهی و تحلیل محتوایی، در اختیار دیگر ماجول ها قرار بگیرند[۵].
۲-۱۳-۴ ماجول شاخص دهی^[۵۱]
این ماجول یکایک صفحات موجود در انباره ی صفحات را مرور کرده و کلمات موجود در آن‌ ها را پس ازمربوطه در یک جدول عظیم درج می‌کند. نتیجه ی این ماجول جدولی است که URL استخراج، به همراه مشخص می‌کند هر کلمه در کدام صفحه و با چه آدرسی و در کجای صفحه ظاهر شده‌است.
بانک اطلاعاتی “شاخص ساختاری" ^[۵۲] است. این شاخص دهنده یکی دیگر از خروجی های ماجول شاخص دهی
بانک اطلاعاتی چگونگی پیوند خوردن صفحات به یکدیگر را منعکس می‌کند به عبارت دقیق تر گراف حاصل
از صفحات و لینک هایی که در آن‌ ها به یکدیگر داده شده، در این شاخص ساختاری درج شده‌است. بدیهی است که این گراف منعکس کننده ی مسیری که “ماجول درون کاو” بر اساس آن صفحات وب را ملاقات و استخراج کرده نیز هست[۵].
۲-۱۳-۵ ماجول Collection Analysis
از آنجا که ماهیت ارتباط بین صفحات به غیر از ارجاعات و لینک هایی که مستقیماً با هم دارند به طرز پیچیده ای در حال تغییر است لذا این ماجول ها مسئول تحلیل های محتوایی و هوشمند مجموعه ی صفحات ذخیره شده در"انباره ی صفحات” است. لینک هایی که در یک صفحه به صفحات دیگر داده می‌شود احتمالاً از لحاظ محتوایی هیچ ارتباطی بین این صفحات برقرار نمی‌کند[۵].
۲-۱۳-۶ Utility Index
این شاخص خروجی ماجول Collection Analysis است که پس از تحلیل کل مجموعه ی انباره ی صفحات به‌دستمی آید. این شاخص ها می‌توانند بسیار متنوع و متعدد باشند. به عنوان مثال یکی از این شاخص ها می‌تواند تعداد “تصاویر” موجود در هر صفحه، تعداد لینک ها، رتبه ی اقتصادی وب سایت صاحب آن صفحه و ده ها شاخص ریز و درشت دیگر باشد[۵].
۲-۱۳-۷ موتور پرس‌و‌جو^[۵۳]
این ماجول موظف است درخواست های جستجو را از کاربران دریافت و آن‌ ها را در قالبی مناسب جهت شروع
فرایند جستجو سازمان دهی کند. بدیهی است که اغلب کاربران جستجوی موضوع مورد نظر خود را با یک یا دو
آغاز می‌کنند و طبعاً نتیجه ی جستجو، مجموعه بسیار بزرگی از آدرس ها خواهد کلمه ی کلیدی^[۵۴]بود. آغاز این مجموعه باید به نحو مناسبی رتبه بندی شود تا آیتم های مهم تر و بسیار مرتبط با درخواست کاربردر صدر نتایج جستجو قرار بگیرد."موتور پرس‌و‌جو” به شدت به شاخص های ایجاد شده و همچنین انباره ی صفحه متکی است[۵].
۲-۱۳-۸ ماجول رتبه بندی^[۵۵]
این ماجول موظف است نتایج حاصل از جستجوی کلمات کلیدی کاربر را به نحوی رتبه بندی کند تا مرتبط‌ترین آیتم در صدر نتایج قرار بگیرد. هر چه این ماجول هوشمندانه تر و دقیق تر جواب ها را غربال^[۵۶] و رتبه بندی کند، رضایت کاربران را بیشتر فراهم خواهد آورد[۵].
۲-۱۴ اهمیت موتورهای جستجو
در یک دسته بندی کلی می توان دلایل اهمیت موتورهای جستجوگر را چنین بیان کرد:

• • حجم زیاد اطلاعات موجود در وب و افزایش روز افزون آن.

• • ضرورت دسترسی سریع به اطلاعات در عصرحاضر.

• • صرفه جویی در وقت و هزینه.

• • عامل موفقیت پیشرفت و موفقیت وب جهانی.

• • تجارت الکترونیک و رقابت برای کسب رتبه های بالا و در نتیجه مشتریان بیشتر.

• • استفاده درصدبالایی از خریداران از موتورهای جستجوگر برای یافتن سایت مورد علاقه خود[۶۵].

۲-۱۵ مشکلات موتورهای جستجو در ارائه نتایج

• • پژوهش های بسیاری نشان می‌دهد که موتورهای جستجو به دلایل مختلف، در بازیابی کلیدواژه های یکسان،به نحو متفاوتی عمل می‌کنند. بنابراین جستجوی یک یا چند کلیدواژه خاص در یک موتور جستجو می‌تواندنتایج متفاوتی از اجرای دقیق همان جستجو در یک موتور جستجوی دیگر داشته باشد. دستورالعمل مناسب دراین زمینه این است که اگر جستجویی را از طریقی یک موتور جستجو انجام دادید و نتیجه دلخوه را نگرفتید، آن را در سایر موتورهای جستجو تکرار نمایید[۶۴,۹].

• • تحقیقات نشان می‌دهد، علاوه بر عدم توانایی نمایه سازی کامل منابع موجود در وب توسط موتورهای جستجو این ابزارها دارای سوگیری های نیز می‌باشند برای مثال موتورهای جستجویی که در کشورآمریکا قرار دارند، تمایل به نمایه سازی وب سایت های آمریکایی و موضوعاتی که بیشتر مورد علاقه آمریکایی ها است، دارند[۴].

• • موتورهای جستجوی موجود، توانایی نمایه سازی و ذخیره اصل مدارک را به صورت کامل ندارند. زیراموتورهای جستجو بخش کوچکی از اطلاعات مورد نیاز را از وب سایت های موجود در شبکه بازیابی و آن‌ ها رابه صورت محلی ذخیره می‌کنند[۴].

• • روش‌های مختلفی به منظور بازیابی اطلاعات مورد استفاده قرار می‌گیرند که عمدتا مبتنی بر محتوا و ساختارند و از الگوریتم های مختلفی به این منظور استفاده می‌کنند. به عنوان مثال موتور جستجوی گوگل از الگوریتم رتبه‌بندی صفحه استفاده می‌کند که یک الگوریتم مبتنی بر ساختار است ودر آن، رتبه هر صفحه، بر اساس اتصال بین صفحات محاسبه می‌شود. مطالعات نشان می‌دهند کلمات پرس وجو کوتاه و متفاوتند و هر کاربر منظورخاصی از یک پرس وجوی مشابه دارد، در واقع همیشه نتایج ارائه شده آن چیزی نیست که کاربر انتظار آن را دارد، کاربران سلایق متفاوتی دارند اماموتور جستجو نتیجه یکسانی را برای همه آن‌ ها ارائه می‌دهد. اگر بتوان از سلایق کاربران در جستجو استفاده کرد مطمئنا نتایج رضایت بخش تری حاصل می‌شود. در واقع در چنین ساختاری، دو کاربر نتایج متفاوتی را از یک پرس وجوی یکسان دریافت می‌کنند.در واقع بهینه سازی موتور جستجو و شخصی‌سازی موتور‌های جستجو که از زیر شاخه های بهینه سازی است،از زمینه‌های پژوهشی و باز در این حوزه است که پژوهشگران فراوانی رابه سوی خود جذب کرده و تداعی گر نتایج ارزشمندی تا به امروز است.[۲]

۲-۱۶ بهینه سازی موتور جستجو
معنای لغوی SEO، بهینه سازی موتور جستجو می‌باشد. SEO یعنی تولید کردن صفحات وبی که برای موتورهای جستجو جالب و فریبنده هستند[۳۸].
استفاده از متد SEO، این اطمینان را می‌دهد که سایت در موتور‌های جستجو در دسترس بوده و شانس پیدا کردن آن از طریق این موتورها بالاتر می رود.با توجه به اینکه امروزه Google سردم‌دار موتور‌های جستجو محسوب می‌شود بیش از ۹۰% از کاربران وب پاسخ خود را در Google جستجو می‌کنند.علم بهینه سازی موتور جستجو در مورد روش‌های فنی مانند عنوان صفحه ی مناسب، تگ ها و متا تگ ها، کلمات کلیدی و عبارات کلیدی و توضیحات مناسب سایت و کلاً محتوایی که موتورهای جستجو دوست دارند، بحث می‌کند. یکی از کارهایی که متخصصان بهینه سازی موتورهای جستجو انجام می‌دهند، پیگیری تمام تغییرات عملکرد داخل موتورهای جستجو است. بنابراین آن‌ ها می‌توانند صفحات وب را بر طبق این تغییرات بهینه سازی کنند. به علاوه آن‌ ها همراه با تغییرات موتورهای جستجوی مختلف خود را تابع این موتورها قرار می‌دهند[۳۸,۸].
۲-۱۷ هدف SEO
اصولا هدف از داشتن یک سایت خوب و کامل استفاده مفید از سایت ، بهروری مالی و همچنین معرفی خود به دنیای اینترنت می‌باشد بنابراین SEO می‌تواند اهداف زیر را داشته باشد.

• • SEO موجب اصلاح کدها و صفحات و ساختار سایت و مطابقت آن‌ ها با استاندارد های موجود برای بالا بردن شانس آن در کسب رتبه های بالا در نتایج جستجو است.

• • SEO در حقیقت پروسه ای است که کمک می‌کند محتوای یک سایت ساده تر، راحت تر و به دفعات در اختیار موتورهای جستجوگر قرار گیرد[۳۸,۲۰].