Semalt: Google сіздің веб-сайтыңызды тексеруді қашан (не үшін) тоқтатуды қайдан біледі?

Google өрмекшілері веб-сайтты маркетинг кезінде SEO науқаны сияқты маңызды. Олар веб-сайттарды тексеріп, оны таба алатын барлық беттердің мазмұнын индекстейді. Сонымен қатар сайттағы жаңартылған беттерде қайта индекстеуді жүзеге асырады. Мұны бірнеше факторларға негізделген жүйелі түрде жасайды. Оларға PageRank, тексеруге арналған шектеулер және бетте табылған сілтемелер кіреді, бірақ олармен шектелмейді. Google-дің өрмекшілердің сайтты қанша рет тексеруі осы факторлардың біріне немесе бірнешеуіне байланысты болады.
Веб-сайтты келушілер, сонымен қатар Google-дің өрмекшілері оңай басқара алады. Міндетті түрде тексеруге ыңғайлы веб-сайттың болуы SEO науқанының қосымша артықшылығы болып табылады. Олай болмаған жағдайда, Google мазмұнға қол жеткізе алмайды, осылайша сайтты іздеу жүйесінің рейтингі парағында төмендетеді.
Росс Барбер, Semalt-тің клиенттердің сәттілік менеджері, Google-дің сіздің веб-сайтыңызды жайлап немесе тоқтата тұру туралы шешім қабылдауға әсер ететін ең маңызды индекстеу факторларының бірі - қосылу уақыты және HTTP күй коды. Басқаларына рұқсат етілмеген пәрмен, «бақыламау» тегтері және robots.txt кіреді.
Уақытты және HTTP күй кодтарын қосыңыз

Қосылу уақыты коэффициенті Google-дің тексеріп шығатын ботының сайт серверіне және веб-беттерге жетуіне кететін уақыт мөлшеріне байланысты. Google жылдамдықты өте жақсы бағалайды, өйткені бұл жақсы қолданушылық тәжірибенің жоғары дәлелі. Егер веб-сайт жылдамдықты оңтайландырылмаған болса, онда сайт нашар бағаланады. Google-дің өрмекшілері веб-сайтқа кіруге тырысады, ал егер байланыс орнатуға кететін уақыт ұзағырақ болса, олар оны өшіреді және сирек тексереді. Сонымен қатар, егер Google веб-сайтты ағымдағы жылдамдықпен индекстеуге итермелесе, онда ол пайдаланушының жұмысына кедергі келтіруі мүмкін, өйткені ол өзінің серверін баяулатуы мүмкін.
Екінші индекстеу коэффициенті HTTP күй кодтары болып табылады, олар сервердің сайтты тексеруге сұранысына қаншалықты жауап беретініне сілтеме жасайды. Егер күй кодтары 5xx диапазонында болса, онда Google ағымдағы сайтты тексеріп шығу жылдамдығын тоқтатуды немесе кешіктіруді өзіне алады. 5xx диапазонындағы кез-келген нәрсе сервердегі мүмкін ақаулардың көрсеткіші болып табылады және сұрауға жауап беру қиын болуы мүмкін. Қосымша проблемалар туындау қаупіне байланысты Google боттары шетке шығып, серверге қол жетімді болған кезде индекстеуді жүргізеді.
Google сайтты тексеруді қашан бастайды?
Google пайдаланушыларға ең жақсы тәжірибе беретініне сенеді және SEO элементтерін осы мақсаттарға қарай оңтайландыратын сайттарды бағалайды. Алайда, егер веб-сайтта жоғарыда айтылған мәселелер бар болса, Googlebot-қа оны кейінірек тексеріп көруді бұйырады. Егер проблемалар шешілмесе, иесі Google-ға оның мазмұнымен танысып, іздеу нәтижелеріне лайықты дәреже тағайындау үшін үлкен мүмкіндікті жоғалтады. Осы мәселелерге қосымша, спамның кез-келген белгісі сайттың іздеу нәтижелерінде пайда болуына тыйым салады.

Google қолданатын басқа алгоритмдер сияқты, оның паукалары да автоматты. Олар белгілі бір параметрлер негізінде мазмұнды табу, тексеріп шығу және индекстеу үшін жасалады. Егер сайт белгілі бір тәжірибеге сәйкес келмесе, индекстеу болмайды. Көптеген басқа факторлар бар, бірақ әрқашан сіздің сайтыңыздың қосылу уақыты мен HTTP күй кодтарына назар аударуды ұмытпаңыз.