بودجه خزنده (Crwal Budget) چيست؟

بنابراين در واقع بودجه خزنده چيست؟ بودجه خزيدن به مدت زماني اشاره مي كند كه گوگل مايل به صرف خزيدن در يك سايت معين است. اگرچه به نظر مي رسد گوگل بسيار قدرتمند است ، اما منابع محدودي دارد و وب گسترده است. بنابراين آنها بايد به نحوي اولويت بندي كرده و زمان يا منابع مشخصي را براي خزيدن يك وب سايت اختصاص دهند.

در حال حاضر آنها اولويت بندي را بر اساس-يا به گفته آنها-براساس محبوبيت سايت ها در بين كاربران خود و بر اساس تازه بودن محتوا ، اولويت بندي مي كنند ، زيرا Googlebot به نوعي تشنه آدرس هاي اينترنتي جديد است كه هرگز ديده نشده است.
ما واقعاً قصد نداريم در اين ويديو در مورد نحوه افزايش بودجه خزيدن خود صحبت كنيم. ما بر نحوه استفاده بهينه از بودجه خزنده اي كه در اختيار داريد تمركز مي كنيم ، كه عموماً در هر صورت اهرم آسان تري است.
دلايل مشكلات مربوط به بودجهبنابراين مشكلات مربوط به بودجه خزنده چگونه بوجود مي آيند؟
وجوهدر حال حاضر من فكر مي كنم اصلي ترين مسائل در سايت هايي كه مي توانند منجر به مشكلات بودجه شوند ، ابتدا جنبه هايي هستند.
بنابراين مي توانيد در يك سايت e-comm تصور كنيد ، تصور كنيد ما يك صفحه لپ تاپ داريم. شايد بتوانيم آن را بر اساس اندازه فيلتر كنيم. شما داراي صفحه نمايش 15 اينچي و 16 گيگابايت RAM هستيد. ممكن است تغييرات زيادي وجود داشته باشد كه مي تواند منجر به تعداد زيادي آدرس اينترنتي شود ، در حالي كه در واقع تنها يك صفحه يا يك دسته را كه در مورد آن فكر مي كنيم داريم - صفحه لپ تاپ ها.
به طور مشابه ، مي توان آدرس هاي ديگري را براي ايجاد URL هاي ديگر تنظيم كرد كه دقيقاً همان كار را انجام مي دهند ، اما بايد جداگانه خزيده شوند. به طور مشابه ، آنها ممكن است متفاوت طبقه بندي شوند. ممكن است صفحه بندي و غيره و غيره وجود داشته باشد. بنابراين مي توانيد يك صفحه دسته اي داشته باشيد كه تعداد زيادي URL ايجاد مي كند.
صفحات نتايج جستجوچند مورد ديگر كه اغلب بوجود مي آيند صفحات نتايج جستجو از يك جستجوي داخلي سايت هستند كه اغلب مي توانند ، به ويژه اگر صفحه بندي شده باشند ، مي توانند URL هاي مختلفي ايجاد كنند.
 اگر به كاربران اجازه مي دهيد ليست ها يا محتواي خود را بارگذاري كنند ، در صورت فكر كردن در مورد يك هيئت مديره يا چيزي شبيه به eBay و احتمالاً تعداد زيادي صفحه ، با گذشت زمان مي توانيد تعداد زيادي URL ايجاد كنيد.
رفع مشكلات بودجه خزيدننمودار راه حل هاي مربوط به مسائل بودجه خزيدن و اينكه آيا آنها امكان خزيدن ، نمايه سازي و رتبه بندي را دارند.بنابراين برخي از ابزارهايي كه مي توانيد براي رسيدگي به اين مسائل و استفاده بيشتر از بودجه خزيدن خود استفاده كنيد ، چيست؟
بنابراين ، به عنوان يك مبناي اوليه ، اگر به نحوه رفتار يك URL معمولي با Googlebot فكر كنيم ، مي گوييم ، بله ، مي توان آن را خزيد ، بله ، مي تواند نمايه سازي شود و بله ، از PageRank عبور مي كند. بنابراين يك آدرس اينترنتي مانند اين ، اگر من در جايي از سايت خود به آنها پيوند دهم و سپس گوگل آن پيوند را دنبال كند و اين صفحات را فهرست بندي كند ، احتمالاً اين صفحات اصلي و ناوبري در سراسر سايت بر روي آنها وجود دارد. بنابراين پيوندي كه به اين صفحات منتقل مي شود به نوعي دور بازيافتي خواهد بود. هنگامي كه صفحات مختلف و فيلترهاي مختلف را به يكديگر متصل مي كنيم ، برخي از تلفات ناشي از رقيق شدن رخ مي دهد. اما در نهايت ، ما اين را بازيافت مي كنيم. PageRank نشتي هيچ گونه سياه چاله اي را از دست نمي دهد.

Robots.txt

در حال حاضر در نقطه مقابل ، افراطي ترين راه حل براي خزيدن بودجه اي كه مي توانيد استفاده كنيد ، فايل robots.txt است.
بنابراين اگر صفحه اي را در robots.txt مسدود كنيد ، نمي توان آن را خزيد. خيلي عالي ، مشكل حل شد خوب ، نه ، زيرا در اينجا مصالحه هايي وجود دارد. از نظر فني ، سايت ها و صفحات مسدود شده در robots.txt را مي توان فهرست بندي كرد. گاهي اوقات سايت هايي را مشاهده مي كنيد يا صفحاتي كه در SERPs با اين توضيحات متا نشان داده مي شوند نشان داده نمي شوند زيرا صفحه در robots.txt يا اين نوع پيام ها مسدود شده است.
بنابراين از نظر فني ، مي توان آنها را فهرست بندي كرد ، اما از نظر عملكردي قرار نيست براي هيچ چيز يا حداقل براي هر چيزي م effectiveثر رتبه بندي شوند. بنابراين بله ، خوب ، از نظر فني. آنها از PageRank عبور نمي كنند. وقتي به صفحه اي مانند اين پيوند مي زنيم ، هنوز در حال گذر از PageRank هستيم. اما اگر در robots.txt مسدود شود ، PageRank بيشتر از اين نمي شود.
بنابراين ما به نوعي نشت و سياه چاله ايجاد كرده ايم. بنابراين اين يك راه حل كاملاً سنگين است ، اگرچه پياده سازي آن آسان است.

عدم پيگيري در سطح پيوندnofollow در سطح پيوند ،

بنابراين منظور من اين است كه اگر پيوندهاي خود را در صفحه دسته اصلي لپ تاپ ها كه به اين جنبه ها اشاره مي كردند ، قرار دهيم و يك ويژگي nofollow را به صورت داخلي روي آن پيوندها قرار دهيم ، كه داراي مزايا و معايبي خواهد بود.
من فكر مي كنم يك مورد استفاده بهتر براي اين مورد در واقع بيشتر در مورد ليست ها باشد. بنابراين تصور كنيد اگر يك وب سايت خودروهاي فرسوده را راه اندازي كنيم ، جايي كه ميليون ها ليست مختلف از محصولات خودروهاي فرسوده مختلف داريم. در حال حاضر ما واقعاً نمي خواهيم گوگل زمان خود را صرف اين ليست هاي شخصي كند ، بسته به مقياس سايت ما شايد.