دسته: سئو بیرونی

خزنده موتور جستجو Crawler چیست؟

خزنده موتور جستجو یا Crawlerها که عنکبوت یا Spider، ربات یا به شکل ساده بات نیز نامیده می شوند، برنامه یا اسکریپت هایی هستند که به شکل سیستمی و خودکار صفحات را بر روی اینترنت مرور می کنند. هدف این مرور خودکار نوعا خواندن صفحاتی است که خزنده موتور جستجو برای افزودن آنها به ایندکس موتور جستجو مرور می کند.

موتورهای جستجو مانند گوگل، از خزنده وب برای خواندن صفحات وب و ذخیره لیستی از کلماتی که در صفحه یافته و جاییکه آن کلمات واقع شدند استفاده می کند. خزنده موتور جستجو داده های اطلاعاتی مانند سرعت و وضعیت خطای HTTP را نیز جمع آوری می کند.

این داده ها در ایندکس موتورهای جستجو – مخصوصا پایگاه داده های بزرگ از صفحات وب ذخیره می شود.

وقتیکه جستجویی را در گوگل صورت می دهید، در واقع در حال جستجو در ایندکس گوگل هستید و نه خود اینترنت. سپس گوگل اقدام به نمایش صفحات ایندکس شده مرتبط با موضوع جستجوی شما کرده و لینک هایی را به صفحات مناسب می دهد.

از آنجاییکه وب مدرن شامل انواع مختلف محتوا است و موتورهای جستجو روش هایی برای جستجو آن نوع مشخص از محتوا دارند، موتورهای جستجوی بزرگ خزنده هایی دارند که مختص خزیدن در فایل ها یا صفحات مشخص هستند. این بخش های به خصوص شامل موارد زیر می شوند:

• محتوای کلی وب
• تصاویر
• ویدیو
• اخبار
• تبلیغات
• موبایل

هر نوع از خزنده عامل کاربری متفاوتی دارد.

خزنده موتور جستجو چگونه عمل می کند؟

از نظر عملی، خزیدن زمانی اتفاق می افتد که یک خزنده آدرسی را برای بررسی پیدا می کند، سپس صفحه را فراخوانده و آن را بر روی یک کامپیوتر محلی ذخیره می کند. شما می توانید همینکار را با رفتن به صفحه و راست کلیک بر روی صفحه و انتخاب گزینه …Save As انجام دهید.

خزنده موتور جستجو نشانی وب را یا با بررسی نقشه سایت دامنه یا با دنبال کردن لینک‌هایی که در صفحات دیگر وجود دارند دریافت می کند.

Sitemap یا نقشه سایت نقش مهمی در این مرحله ایفا می کند چرا که لیست نشانی های وب سازماندهی شده و جذابی را برای دسترسی به خزنده ارایه می کند. آنها همچنین جزییاتی را ارایه می کنند که بر روش خزیدن خزنده موتور جستجو در هر صفحه تاثیر می گذارد.

بودجه خزیدن چیست؟

صد البته که حتی گوگل هم منابع محدودی دارد (مهم نیست که این محدودیت تا چه اندازه ای است). از این رو Googlebot یا بات های گوگل بر اساس قاعده ای کار می کنند که به عنوان «بودجه خزش» شناخته می شود. بودجه خزش خیلی ساده تعداد نشانی وب بر روی وبسایت است که خزنده موتور جستجوی گوگل می خواهد و می تواند در آن بخزد.

۲ عنصر وجود دارد که بودجه خزش گوگل را برای یک وبسایت مشخص می کند:

• محدودیت نرخ خزش: گوگل نمی خواهد که هنگام خزیدن در وبسایت بر تجربه کاربری وبسایت تاثیر منفی بگذارد بنابراین تعداد صفحاتی که خزنده موتور جستجو می تواند برای یکبار در آنها بخزد محدود است.
• درخواست خزیدن: خیلی ساده بخواهیم بگوییم، خزیدن در گوگل امریست اختیاری که در اختیار خود گوگل قرار دارد! گوگل خیلی علاقه ای به خزیدن در وبسایت هایی ندارد که ارزش افزوده ای برای کاربرانش در پی نداشته باشند (پارامترهای نشانی وب، شناساننده های نشست و …). بنابراین حتی اگر که خزنده موتور جستجو به محدوده نرخ خزش خود هم نرسد، منابع‌اش را برای صفحات بی ارزش این چنینی هدر نمی دهد.

اما خبر خوب این است که محدوده نرخ خزش و درخواست برای خزیدن بسته به چیزی که گوگل در وبسایت شما می بیند می تواند تغییر پیدا کند. این عوامل بر بودجه خزش وبسایت شما تاثیر می گذارند:

• سرعت سایت: گوگل علاقه ای به انتظار کشیدن ندارد، بنابراین صفحات سریع خزنده موتور جستجو را به خزش بیشتر در صفحات تشویق می کنند. به علاوه سرعت نشانه وبسایت سالم است، بنابراین گوگل قادر به استفاده از منابع بیشتر برای خزیدن خواهد بود.
• صفحات خطا: اگر سرور به درخواست های زیاد گوگل با کدهای خطا پاسخ دهد، اینکار گوگل را از تلاش برای خزیدن در صفحات دلسرد می کند چرا که اینطور به نظر می رسد که با وبسایتی سروکار دارد که با مشکلات زیادی دست و پنجه نرم می کند.
• محبوبیت: هرچه گوگل گمان کند که صفحه شما محبوب تر است، خزنده موتور جستجو به شکل مداوم تر در صفحات وبسایت شما می خزد تا آن را در ایندکس خود به‌روز نگاه دارد.
• تازگی: برکسی پوشیده نیست که گوگل به محتوای تازه و به‌روز علاقه مند است. انتشار محتوای جدید به گوگل می گوید که وبسایت شما صفحات جدیدی برای خزیدن به شکلی منظم دارد. محتوای تازه تر به معنای خزیدن بیشتر است.

ایندکس جستجو چیست؟

وقتیکه صفحه ای خزیده می شود، گوگل به اطلاعات دقیقی در خصوص صفحه برای ذخیره کردنش در شاخص یا ایندکس خود نیازمند است. موتورهای جستجو از الگوریتم های متنوعی استفاده می کنند تا تعیین کنند که کدام کلمات در محتوای صفحه مهم و مرتبط هستند. افزودن نشانه‌گذاری معنایی مانند Schema.org به موتورهای جستجو کمک می کند تا درک بهتری از صفحات وبسایت شما داشته باشند.

وقتیکه صفحه ای فراخوانی، ذخیره و تفسیر می شود، اطلاعات استخراج شده از آن در شاخص یا ایندکس موتور جستجو ذخیره می شود. وقتیکه شخصی جستجویی را در موتور جستجو صورت می دهد، اطلاعات درون ایندکس برای تعیین صفحات مرتبط با موضوع جستجو مورد استفاده قرار می گیرند.

چگونه خزیدن گوگل را بهینه سازی کنیم

برای به دست آوردن رتبه بهتر در نتایج جستجو، صفحه بایستی در ابتدا ایندکس شود. برای ایندکس شدن یک صفحه، ابتدا بایستی توسط خزنده موتور جستجو خزیده شود. از این رو قابلیت خزیده شدن اثر بسیار زیادی بر سئو خواهد گذارد.

نمی توانید به شکل مستقیم صفحاتی که خزنده موتور جستجوی گوگل تصمیم به خزیدن می گیرد را کنترل کنید اما می توانید سرنخ هایی را ارایه کند که چه صفحاتی برای خزیدن بهتر است و کدام موارد بایستی نادیده گرفته شوند.

سه روش مهم برای کمک به کنترل مکان، زمان و چگونگی خزیدن صفحات وجود دارد. این موارد قطعی نیستند اما کمک می کنند که مطمئن شویم که مهمترین صفحات توسط خزنده موتور جستجو پیدا می شوند.

نقش Robots.txt

اولین کاری که خزنده موتور جستجو به محض ورود به یک صفحه انجام می دهد باز کردن فایل robots.txt است. اینکار فایل robots.txt را به اولین موقعیت برای معرفی نشانی وب کم ارزش به خزنده موتور جستجو بدل می کند.

می توانید از robots.txt برای معرفی صفحات نالازم برای ایندکس شدن استفاده کنید:

• صفحه تایید سفارش یا تشکر
• محتوای تکراری
• صفحات نتایج جستجوی وبسایت
• صفحات خطا یا محصولات تمام شده

از فایل robots.txt برای عدم اجازه به خزش نشانی های وب مانند جاوا اسکریپت یا CSS استفاده نکنید. خزنده موتور جستجو بایستی از بودجه خزش برای این نشانی های وب استفاده کند و گوگل نیز بایستی قادر به ترجمه کامل یک صفحه برای درک آن به شکل صحیح باشد.

اجتناب از خزش فایل های CSS و JS منجربه خزش و ایندکس مشکل‌دار و ناقص می شود، در نتیجه، گوگل صفحه را به شکلی متفاوت از انسان دیده و حتی می تواند منجربه سقوط در رتبه بندی گوگل شود.

نقش نقشه سایت XML

نقشه سایت XML نقشی کاملا متضاد با robots.txt دارد. این فایل به موتورهای جستجو می گوید که چه صفحاتی را بایستی بخزند. و درحالیکه گوگل تعهدی به خزیدن تمام نشانی های وب در فایل نقشه سایت ندارد (برخلاف robots.txt) می توانید از اطلاعات موجود در صفحات برای خزش هوشمندانه تر صفحات توسط گوگل استفاده کنید.

نقشه سایت شما در کمک به یافته شدن صفحات وبسایت توسط خزنده موتور جستجوی گوگل نقش بسیار مهمی ایفا می کند و در صورتی که ساختار لینکدهی داخلی خیلی قدرتمند نباشد ابزاری حیاتی محسوب می شود.

استفاده از تگ های nofollow

به خاطر داشته باشید که خزنده موتور جستجو از صفحه ای به صفحه دیگر با دنبال کردن لینک ها حرکت می کند. بهرحال، می توانید با افزودن rel=nofollow به خزنده بگویید که آن لینک ها را دنبال نکند. وقتیکه موتور جستجو با لینک nofollow روبرو می شود آنها را نادیده می گیرد.

برای nofollow کردن یک لینک دو راه در پیش دارید:

• تگ متا: اگر می‌خواهید که موتورهای جستجو لینکی را در صفحه ای دنبال نکرده و نخزند، به تگ متای robots مقدار nofollow را بیافزایید.

  <meta name="robots” content=”nofollow”>

• تگ‌های Anchor: اگر می خواهید لینک مشخصی را nofollow کنید، ویژگی rel=nofollow را به تگ واقعی لینک بیافزایید به شکل زیر:

  <a href="www.example.com” rel=”nofollow>anchor text</a>

با این روش خزنده های موتور جستجو آن لینک را دنبال نمی کنند اما هنوز دیگر لینک های داخل صفحه را دنبال می کنند.

با استفاده از ویژگی rel=nofollow در تگ های لینک دیگر اعتباری به صفحه مقصد انتقال داده نمی شود.

در هر دوی مثال ها (تگ متا یا تگ Anchor)، در صورتیکه لینک دیگری به آن صفحه اشاره کند، نشانی وب مقصد هنوز امکان خزیده شدن و ایندکس شدن دارد.

یافتن خطاهای خزش

خطاهای خزش زمانی رخ می دهند که گوگل تلاش می کند صفحه ای را فرابخواند اما قادر به دسترسی به آن صفحه به دلایلی نیست. خطاهای خزش در به گستردگی یک وبسایت امکان رخ داده شدن دارند.

گزارش پوشش ایندکس در Google Search Console صفحاتی که گوگل در مواجهه با آنها با خطا مواجه می شود و به علاوه مسایلی که گوگل را از ایندکس صحیح صفحات باز می‌دارد را نشان می دهد.

برای کمک به یافت آن چیزی که به دنبال آن هستید، گوگل از نشانه های ویژه ای به این منظور استفاده می کند که به آنها عملگر گوگل گفته می شود. این عملگرها به شما در یافتن موضوعی به خصوص کمک کرده و عبارات مشخصی را از موتورهای جستجو حذف می کنند و به شما این امکان را می دهند که در تاریخ مشخصی به دنبال موضوعی مشخص باشید.

برای استفاده از این عملگرهای جستجو بایستی آنها را در جعبه جستجوی گوگل به کار ببرید.

۱. جستجوی دقیق عبارت

• کاربرد عملگر: “آموزش وردپرس“
• توضیح: تنها نتایجی را در موتور جستجوی گوگل به شما نشان خواهد داد که دقیقا شامل همین عبارت باشند.

سئو چیست و چگونه می‌توان از این طریق ترافیک بیشتری داشت؟

اولین عملگر که تقریبا پراستفاده ترین نوع عملگر نیز محسوب می شود، عملگر گوگل “” است. این عملگر گوگل، یک عملگر ساده جستجو است که گوگل را اجبار به یافتن دقیقا نتایجی می کند که حاوی همان عبارت داخل ” باشند. این عملگر گوگل زمانی مفید است که می خواهید جزییاتی را در خصوص عبارتی در وبلاگ یا وبسایت به خصوصی بیابید.

۲. جستجوی محتوای به خصوص در یک وبسایت با :site

• کاربرد عملگر: site:wproket.ir wordpress
• توضیح: جستجوی تمام صفحات wproket.ir که حاوی عبارت WordPress باشند.

یکی دیگر از عملگرهای گوگل، استفاده از عبارت :site در موتور جستجوی گوگل است که با استفاده از آن می توانید به دنبال عبارتی مشخص در وبسایت نامبرده باشد. بسیاری از متخصصین سئو از این ابزار برای یافتن صفحات به خصوص در وبسایت مشخصی استفاده می کنند. این دستور نه تنها صفحات وبسایت بلکه همچنین زیردامنه های آن وبسایت را نیز نمایش می دهد.

۳. افزودن جای خالی با *

• کاربرد عملگر: JavaScript * developer
• توضیح: گوگل نتایجی را نمایش خواهد داد که حاوی عبارت JavaScript و developer باشند.

دیگر عملگر گوگل که خیلی هم جذاب است، علامت ستاره در جعبه جستجوی گوگل در بین عبارات جستجو است. در واقع * دو کلمه کلیدی متفاوت را به هم مرتبط کرده و نتایجی را به شما نمایش می دهد که حاوی هر دوی آنها باشند. اینطور می توان گفت که معنای جستجو با عبارت JavaScript * developer این است که گوگل * را جای خالی در نظر می گیرد.

توضیحات متا و استفاده از آن برای سئو

برای مثال نتایج گوگل برای جستجوی عبارت “JavaScript * developer” حاوی کلمات کلیدی زیر می تواند باشند:

• JavaScript React Developer
• JavaScript web Developer
• JavaScript Application Developer
• JavaScript NodeJS developer
• JavaScript Backend Developer
• …

۴. اجبار به تطابق با یک کلمه یا جمله با +

• کاربرد عملگر: وردپرس +افزونه
• توضیح: تمام نتایج در خصوص وردپرس را به شما نشان می دهد که همچنین حاوی کلمه کلیدی افزونه باشند.

عملگرهای جستجوی گوگل به شما این انعطاف پذیری را با افزودن کلمه کلیدی مشخص به نتایج جستجوی‌تان ارایه می کنند. می توانید از علامت به علاوه + در جستجوی عبارتی مشخص با وجود یک کلمه باشید. برای مثال اگر به دنبال خودروهایی هستید که توسط فورد تولید شده اند، بایستی از علامت + در جستجو استفاده کنید: خودرو +فورد.

۵. در نظر نگرفتن کلمات یا عبارات با –

• کاربرد عملگر: وردپرس -افزونه
• توضیح: تمام نتایج در خصوص وردپرس را به شما نشان می دهد که حاوی کلمه کلیدی افزونه نباشند.

این عملگر گوگل برای شما این امکان را فراهم می کند که به دنبال عبارتی در صورت عدم حضور عبارت دوم باشید. اینکار با استفاده از علامت منها – صورت می گیرد. این قابلیت مخصوصا زمانی مفید است که به دنبال چیزی هستید که معنای دیگری هم دارد و می خواهید معنای دیگر را از نتایج جستجو حذف کنید.

۶. استفاده از نسخه کش شده صفحه با :cache

• کاربرد عملگر: cache:wproket.ir
• توضیح: تازه ترین نسخه کش شده از صفحه خانگی wproket.ir را به شما خواهد برگرداند.

یکی دیگر از عملگرهای پیشرفته گوگل استفاده از عبارت cache است. با استفاده از این عملگر می توانید جدیدترین نسخه از صفحه وب در دسترس بر روی گوگل را مشاهده کنید.

انواع لینک سازی در سئو: لینک بد و لینک خوب

بهرحال به خاطر داشته باشید که اینکار همیشه به شما آخرین نسخه از یک صفحه را نشان نمی دهد بلکه آخرین نسخه مرور شده توسط گوگل را برای شما بالا خواهد آورد. برای استفاده از این عملگر گوگل بایستی خیلی ساده پس از درج کلمه cache آدرس وبسایتی که به دنبال نسخه ذخیره شده از آن هستید را بیاورید. این ترفند زمانی کاربرد خوبی دارد که یک وبسایت از دسترس خارج شده و هنوز هم نیاز نوشته به خصوصی از آن را دارید.

۷. جستجو در نتایج آدرس با inurl

• کاربرد عملگر: inurl:wproket.ir wordpress
• توضیح: شامل تمام نتایج در خصوص کلمه کلیدی WordPress است که در آدرس وبسایت عنوان شده وجود دارند.

این عملگر گوگل به شما کمک می کند تا کلمه کلیدی مشخصی را در آدرسی بیابید. این بدان معناست که اگر به دنبال موضوعی مشخص در آدرسی به خصوص هستید می توانید از این عملگر گوگل استفاده کنید.

۸. جستجو برای انواع مشخصی از فایل با filetype

• کاربرد عملگر: filetype:pdf Iran History
• توضیح: تنها اسناد PDF را نشان می دهد که حاوی بخشی از کلمه کلیدی Iran History باشند (برای دقیقا برابر بودن با عبارت مذکور بایستی از “” استفاده کنید).

این عملگر گوگل، یکی از مفیدترین پیشرفته عملگرهای گوگل محسوب می شود و به شما در یافتن صفحه با فرمت مشخص کمک می کند.

با استفاده از این عملگر می توانید نتایج جستجو را به فرمت هایی مانند PDF، TXT و … محدود کنید. بنابراین اگر به دنبال سند به خصوصی برای تحقیقات خود هستید می توانید از این عملگر گوگل برای یافتن سند مدنظر خود استفاده کنید.

استفاده از عملگرهای بالا در جای درست خود، در یافتن دقیقا چیزی که به دنبال آن هستید به شما کمک بزرگی خواهد کرد. حتی می توانید از ترکیبی از عملگرهای گوگل برای دستیابی به دقیقترین نتیجه استفاده کنید.