Розкрутка Просування сайту у Інтернеті. Зростання рейтингу. Залучення відвідувачів. Що таке індексація сайту Навіщо потрібна індексація сайту, принципи індексації в пошукових системах

      У переважній більшості пошукові системи для індексації та пошуку інформаційних ресурсів використовує програми роботи. Ця програма знаходить необхідну інформацію, виокремлює в ній посилання на певні запити і таким чином опрацьовує всю необхідну ділянку роботи. При заході на веб сайт робот індексатор певної пошукової машини перевіряє наявність таких же файлів – запитів, тільки іншого формату. Якщо роботу індексатору обмежують доступ до цих файлів, пошук інформації здійснюється лише у відкритих, дозволених, зонах. Робот індексатор шукає такі подібні файли - robots.txt – лише в доменному імені і порті сайту, оскільки саме в robots.txt міститься вся інформація про заборони чи дозволи доступу. До правильних запитів належать такі посилання :

http://www.w3.org/robots.txt

http://w3.org/robots.txt

http://www.w3.org:80/robots.txt , а до неправильних – наступні:

http://www.yoursite.ru/publick/robots.txt

http://www.yoursite.ru/ ~ you/robots.txt

http://www.yoursite.ru/Robots.txt

http://www.yoursite.ru/ROBOTS.TXT

Дуже важливим при формуванні структури сайту є збір всіх закритих для індексування файлів в одному місці. Це значно полегшує роботу пошукової системи, адже завдань для її складових і так вистачає. Наприклад, у кожній пошуковій системі є спеціальна програма, котра займається таблицями перенумерації бази. Крім того, ця система об'єднує в один документ склейки дублів, у котрих зміст сторінок однаковий, але абсолютно різні URL, а також вибирає із сторінок з однаковими адресами сторінку з найновішою версією. Співставлення сторінок, їх вибір та обробка не вимагають особливих зусиль. Та все ж , якщо інформації, яка підлягає злиттю (об'єднанню) дуже багато, робота проходить у кілька етапів. Спочатку з часткових індексів утворюються проміжні бази інформації, потім вони зливаються у більші, а тоді формуються остаточні об'єми. Поетапна робота досить позитивно впливає на якість прогнозованого результату, хоча і дещо уповільнює процес його отримання. Отже, пошукові машини кожної пошукової системи забезпечують коректність та точність обробки даних. Саме від якості індексації та швидкості пошукової системи залежить точність та кількість необхідної для користувача інформації.