خزش و ایندکس فنی
۱۰ موضوع · ۱۳ منبع آخرین بهروزرسانی:خزش یعنی گوگل صفحه را پیدا و میخواند؛ ایندکس یعنی صفحه در نتایج قابل نمایش است. robots.txt مسیر خزش را میبندد، اما noindex نمایش صفحه را میبندد؛ این دو را با هم اشتباه نگیرید.
ریدایرکت ۳۰۱ برای انتقال دائمی نشانی است. زنجیرهٔ ریدایرکت و حلقه، هم خزش را کند میکند و هم ارزش لینک را کم میکند.
این مهارت چیست
خزش و ایندکس فنی یعنی مطمئن شویم گوگل میتواند صفحههای سایت را پیدا کند، بخزد، محتوایشان را بفهمد و در صورت مناسب بودن در نتایج نگه دارد. این کار با فهرست کردن تنظیمها شروع نمیشود؛ با تشخیص شروع میشود: کدام صفحه خزش نمیشود، کدام صفحه ایندکس نمیشود و دلیل هر کدام چیست.
ابزارهای این مهارت سادهاند: فایل robots.txt، متای noindex، نقشهٔ سایت، کد وضعیت صفحهها، ریدایرکتها و تنظیمات رندر جاوااسکریپت. هر کدام یک پیام متفاوت به گوگل میدهند و اشتباه گرفتنشان یکی از رایجترین علتهای ناپدید شدن محتواست.
چرا مهم است
صفحهای که خزش نمیشود، حتی اگر بهترین متن دنیا را داشته باشد، در نتایج دیده نمیشود. بسیاری از افتهای ناگهانی ترافیک ریشهٔ محتوایی ندارند؛ یک تنظیم قدیمی از محیط آزمایشی، یک ریدایرکت اشتباه یا یک خطای سرور باعث شده بخشی از سایت از دسترس گوگل خارج شود. تا وقتی این علت پیدا نشود، نوشتن مقالهٔ تازه فقط هزینهٔ اضافه است. به همین دلیل در پروژههای سئو، پیش از هر کار تازهای یک بازبینی کوتاه فنی انجام میشود تا مسیر ورود گوگل باز باشد.
این مهارت به تصمیمهای بزرگتر وصل است: پیش از بازطراحی سایت، پیش از تغییر ساختار نشانیها و پیش از انتقال دامنه، باید بدانید چه چیزهایی باید حفظ شوند. یک چکلیست سادهٔ فنی در این لحظهها میتواند از ماهها کار محتوایی محافظت کند. سئوی فنی ابزار نیست؛ نوعی نظم در تغییر دادن است.
در کدام نقشها لازم است
- کارشناس سئو: خواندن گزارشهای خزش و ایندکس، تشخیص علت، نوشتن درخواست فنی روشن و بررسی نتیجهٔ اصلاح.
مسیر یادگیری
مبتدی
- تفاوت robots.txt و متای noindex را با یک مثال واقعی توضیح دهید و بگویید هر کدام چه زمانی درست است.
- نشانی سایت خود را در حالتهای مختلف باز کنید و کد وضعیت هر صفحه را ببینید.
- نقشهٔ سایت را باز کنید و بررسی کنید نشانیهای داخل آن واقعاً باز میشوند.
میانی
- در Search Console صفحههای ایندکسنشده را دستهبندی کنید و برای هر دسته یک علت محتمل بنویسید.
- زنجیرهٔ ریدایرکتها را پیدا کنید و هر زنجیره را به یک ریدایرکت مستقیم تبدیل کنید.
- یک صفحهٔ وابسته به جاوااسکریپت را بررسی کنید و ببینید محتوای اصلی بدون اجرای اسکریپت هم دیده میشود یا نه.
پیشرفته
- یک چکلیست انتقال یا بازطراحی بنویسید که شامل نشانیها، ریدایرکتها، نقشهٔ سایت و تنظیم noindex باشد.
- سلامت خزش را بهصورت دورهای پایش کنید و تغییرهای غیرعادی را قبل از افت ترافیک تشخیص دهید.
- درخواست فنی را با اولویت اثر و ریسک بنویسید تا تیم توسعه بداند کدام اصلاح اول انجام شود.
تمرین عملی
فایل robots.txt سایت خود را باز کنید و ببینید چه مسیرهایی بسته شدهاند و آیا دلیل هر کدام را میدانید. سپس نقشهٔ سایت را باز کنید و ده نشانی تصادفی را در مرورگر ببینید: کدام باز میشود، کدام ریدایرکت میشود و کدام خطا میدهد. نتیجه را در یک جدول سهستونی بنویسید. همین جدول کوچک، اولین گزارش فنی شماست و هیچ ابزار پرداختی لازم ندارد.
اشتباههای رایج
- بلاک کردن کل سایت در محیط آزمایشی و فراموش کردن آن: تنظیمی که برای جلوگیری از ایندکس محیط آزمایشی گذاشته شده، بعد از انتشار هم میماند.
- استفادهٔ همزمان از robots و noindex: وقتی خزش بسته باشد، گوگل متای noindex را هم نمیبیند.
- زنجیرهٔ ریدایرکت: هر پرش میانی زمان و اعتبار را هدر میدهد و تجربهٔ کاربر را خراب میکند.
- نقشهٔ سایت پر از نشانی مرده: نقشهٔ سایت باید راهنمای صفحههای سالم باشد، نه آرشیو خطاها.
- اصلاح بدون اندازهگیری: بدون ثبت وضعیت قبل و بعد، نمیدانید کدام تغییر واقعاً مشکل را حل کرده است.
منابع معتبر
- آشنایی با robots.txt — Google Search Central
- نقشهٔ سایت — Google Search Central
- مبانی سئو برای جاوااسکریپت — Google Search Central
ایستگاههای مرتبط
برای فهم جای این مهارت، مبانی سئو را ببینید. لینکسازی داخلی کمک میکند صفحهها از مسیرهای واقعی کشف شوند و تحلیل با Search Console نشان میدهد دادهٔ خزش را چطور بخوانید و به تصمیم تبدیل کنید.
موضوعها
همهٔ ۱۰ موضوع
میانی ۲ منبع Core Web Vitals و سرعت سایت Core Web Vitals & Site Speed
چیست
سه سنجهٔ تجربهٔ کاربری گوگل: LCP (سرعت نمایش محتوای اصلی)، INP (سرعت پاسخ به کلیک) و CLS (جابهجا نشدن صفحه هنگام بارگذاری). سایت کند هم رتبه را کم میکند و هم فروش را.
چطور انجام میشود
- سنجهها را در Search Console و PageSpeed Insights ببینید.
- اول بزرگترین مشکل را حل کنید: معمولاً تصویر سنگین یا اسکریپت اضافه.
- برای تصویر و آگهیها ابعاد ثابت بگذارید تا صفحه نپرد.
تمرین
یک صفحه را در PageSpeed Insights بسنجید و سه پیشنهاد اولش را اجرا کنید.
منابع
مبتدی ۱ منبع طراحی موبایلمحور Mobile-first Indexing
چیست
گوگل نسخهٔ موبایل سایت را مبنای ایندکس و رتبه قرار میدهد. اگر محتوا یا لینکی در موبایل نیست، از نگاه گوگل وجود ندارد.
چطور انجام میشود
- محتوای موبایل و دسکتاپ را یکسان نگه دارید.
- دکمهها و متن را برای لمس و خواندن روی موبایل اندازه کنید.
- هر صفحهٔ مهم را روی گوشی واقعی امتحان کنید.
تمرین
سه صفحهٔ مهم را روی گوشی باز کنید و هر چیزی را که سخت خوانده یا لمس میشود یادداشت کنید.
منابع
پیشرفته ۱ منبع قابلیت خزش و بودجهٔ خزش Crawlability & Crawl Budget
چیست
خزش یعنی ربات گوگل بتواند صفحهها را پیدا و دریافت کند. در سایتهای بزرگ، گوگل برای هر سایت ظرفیت محدودی دارد؛ اگر صرف صفحههای بیارزش شود، صفحههای مهم دیر دیده میشوند.
چطور انجام میشود
- صفحههای تکراری و بیارزش (فیلترها، جستجوی داخلی) را از خزش بیرون نگه دارید.
- زنجیرهٔ ریدایرکت و لینک خراب را رفع کنید.
- گزارش آمار خزش Search Console را ماهانه ببینید.
تمرین
گزارش Crawl stats سایتتان را باز کنید و ببینید بیشترین درخواستها صرف کدام نوع صفحه شده.
منابع
پیشرفته ۲ منبع قابلیت ایندکس Indexability
چیست
هر صفحهای نباید ایندکس شود. صفحههای کمارزش، تکراری یا خصوصی را با noindex بیرون نگه دارید تا کیفیت کلی سایت از نگاه گوگل بالا برود.
چطور انجام میشود
- برای هر نوع صفحه تصمیم بگیرید ایندکس شود یا نه.
- noindex را با تگ متای robots بدهید، نه با robots.txt.
- گزارش صفحههای Search Console را برای خطاهای ایندکس ببینید.
تمرین
گزارش «صفحهها» در Search Console را باز کنید و دلیل ایندکس نشدن سه صفحه را بنویسید.
پیشرفته ۱ منبع دادههای ساختاریافته (اسکیما) Schema Markup
چیست
اسکیما زبانی است که با آن مستقیم به گوگل میگوییم محتوای صفحه چیست: محصول، مقاله، سؤالهای متداول، کسبوکار محلی. نتیجهاش میتواند نمایش غنیتر در نتایج باشد.
چطور انجام میشود
- برای هر نوع صفحه، اسکیمای متناسب را انتخاب کنید.
- فقط چیزی را علامت بزنید که واقعاً در صفحه دیده میشود.
- با ابزار تست نتایج غنی گوگل بررسی کنید.
تمرین
یک صفحهٔ سایت را در ابزار Rich Results Test گوگل بررسی کنید و خطاهایش را فهرست کنید.
منابع
میانی ۲ منبع نقشهٔ سایت و robots.txt Sitemap & Robots.txt
چیست
نقشهٔ سایت فهرست صفحههایی است که میخواهید گوگل ببیند؛ robots.txt میگوید ربات کجا نرود. اولی دعوتنامه است و دومی تابلوی ورود ممنوع.
چطور انجام میشود
- فقط صفحههای ایندکسشدنی را در نقشهٔ سایت بگذارید.
- نقشهٔ سایت را در Search Console ثبت کنید.
- robots.txt را برای مسدود کردن ایندکس به کار نبرید؛ کارش کنترل خزش است.
تمرین
نقشهٔ سایتتان را باز کنید و ببینید صفحهٔ noindex یا ریدایرکتشده در آن هست یا نه.
پیشرفته ۱ منبع تگ کنونیکال Canonical Tags
چیست
وقتی چند نشانی محتوای یکسان یا مشابه دارند، کنونیکال به گوگل میگوید کدام نسخهٔ اصلی است. بدون آن، اعتبار بین نسخهها پخش میشود.
چطور انجام میشود
- روی هر صفحه کنونیکال به نسخهٔ اصلی خودش بگذارید.
- نسخههای پارامتردار و فیلترشده را به نسخهٔ اصلی کنونیکال کنید.
- کنونیکال را با نقشهٔ سایت و لینک داخلی هماهنگ نگه دارید.
تمرین
یک صفحهٔ محصول یا دسته را با چند پارامتر باز کنید و کنونیکال هر نسخه را بررسی کنید.
منابع
پیشرفته ۱ منبع hreflang و سئوی چندزبانه hreflang & International SEO
چیست
اگر سایت چند زبان یا چند کشور دارد، hreflang به گوگل میگوید به هر کاربر کدام نسخه را نشان دهد تا نسخهها با هم رقابت نکنند.
چطور انجام میشود
- برای هر زبان نشانی جدا بسازید (مثلاً /en/).
- هر نسخه به همهٔ نسخههای دیگر و به خودش hreflang بدهد.
- محتوا را بومی کنید، نه فقط ترجمه.
تمرین
برای یک صفحه، تگهای hreflang نسخههای فارسی و انگلیسی را بنویسید.
منابع
پیشرفته ۱ منبع سئوی جاوااسکریپت JavaScript SEO
چیست
وقتی محتوا با جاوااسکریپت ساخته میشود، گوگل باید صفحه را اجرا کند تا محتوا را ببیند؛ این کار دیرتر و پرخطاتر است. محتوای مهم باید در خود HTML اولیه باشد.
چطور انجام میشود
- محتوا و لینکهای مهم را سمت سرور بسازید (SSR یا صفحهٔ ایستا).
- لینکها را با تگ a و href واقعی بسازید.
- با ابزار بازرسی URL ببینید گوگل چه چیزی را رندر میکند.
تمرین
سورس یک صفحه را (نه نسخهٔ رندرشده) باز کنید و ببینید متن اصلی در آن هست یا نه.
منابع
پیشرفته ۱ منبع صفحهبندی و بارگذاری تدریجی Pagination
چیست
در دستههای بزرگ فروشگاه، صفحهبندی باید طوری باشد که گوگل به همهٔ محصولات برسد. دکمهٔ «بیشتر» یا اسکرول بیپایان بدون لینک واقعی، محصولات را از دید گوگل پنهان میکند.
چطور انجام میشود
- هر صفحهٔ صفحهبندی نشانی جدا داشته باشد.
- بین صفحهها لینک واقعی بگذارید.
- هر صفحه کنونیکال به خودش داشته باشد، نه به صفحهٔ اول.
تمرین
دستهٔ بزرگ یک فروشگاه را بررسی کنید و ببینید محصولات صفحهٔ آخر با لینک قابلدسترسیاند یا نه.
منابع
تمرین
در Search Console خطاهای خزش و صفحههای ایندکسنشده را برای یک سایت واقعی ثبت کنید.
آزمونک · سؤال ۱ از ۲
robots.txt اجازهٔ خزش را کنترل میکند؛ noindex اجازهٔ نمایش را.
آزمونک · سؤال ۲ از ۲
۳۰۱ انتقال دائمی است و ارزش لینک را حفظ میکند.