<
  • Главная
Статьи

Пошукові системи Інтернет Яндекс, Google, Bing, Rambler, Mail

  1. вступ
  2. Що таке пошукова система
  3. Програми пошукової системи
  4. Технічні засоби пошукача
  5. Як працюють пошукові системи інтернет
  6. сканування
  7. індексування
  8. Ранжування сторінок і їх видача
  9. Про ранжируванні
  10. Найбільш значимі пошукові системи Рунет
  11. Пошукова система Google
  12. Як працює пошукова система Google
  13. Сканування або обхід Інтернет
  14. індексування
  15. Показ результатів пошуку
  16. Типи пошуку Google
  17. Розширений пошук Google
  18. Пошукові роботи Google
  19. Основні пошукові системи Рунет
  20. Пошукова система Яндекс
  21. Наступний етап індексування
  22. Особливості пошуку Яндекс
  23. пошуковик Rambler
  24. Пошук Mail.ru
  25. пошуковик Bing
  26. Як додати веб-ресурс (веб-сторінку) в чергу на індексацію?
  27. висновок

вступ

Питання роботи пошукових систем є утилітарним і для створення сайту не має практичного значення. Однак, розуміння принципу роботи того чи іншого пошукача, можуть допомогти в просуванні сайту з видачі цього пошуковика.

Що таке пошукова система

Питання, що таке пошукач не коректний. Більш коректно, говорити пошукова система інтеренет. Пошукачем прийнято називати, робота (роботів) пошукової системи, яка здійснює обхід і сканування сайтів відкритих для обходу в Інтернет.

Пошукові системи інтернет це набір програм і технічних можливостей, об'єднаних для генерації контенту видачі по пошуковому запиту користувача.

Програми пошукової системи

Програми пошукової системи виконують три базові завдання, частіше з подзадачами:

  1. Сканують веб-ресурси в Інтернет. Сканування проводиться роботами (ботами, павуками) пошукових систем.
  2. Складають з сканерів сайтів індекси. Індекс сайту схожий на короткий опис сайту, тільки створене для машин за унікальними алгоритмами пошукових систем.
  3. Формують з індексу сайтів пошукову видачу, по зробленому пошуковому запиту.

Потрібно розуміти, всі пошукові системи інтернет, для виконання цих трьох завдань, мають не три, а десятки програм. Всі вони працюють у взаємозв'язку, але не роблять лише одного, вони НЕ створюють контент, а генерують його з чужого контенту. З філософської точки зору, видача пошукової системи це веб-сторінка чужого контенту, запозиченого з десятка інших сайтів. Все б було чесно, якби вони ці сторінки не монетизували.

Технічні засоби пошукача

Крім програмних засобів, будь-яка ПС (пошукова система) має технічні засоби. Це реальні сервера розкидані по всьому світу або по всій країні. Ще раз акцентую, сервера ПС не зберігають скани всіх сайтів і не віддають в видачу сайти зі своїх серверів. Зберігають вони тільки індекси веб-ресурсів, в тому числі сайтів.

На відміну від каталогів сайтів, пошукові системи інтернет це НЕ стаціонарні сховища інформації, а симбіоз кількох програм і технічних засобів, що дозволяють сканувати сайти в Інтернет, складати індекс сайту за своїми алгоритмами і віддавати список відповідних (релевантних) сайтів за запитом користувача.

Вся робота search engine (пошукових систем), здійснюється за унікальними програмами, які ми знаємо, пошукові алгоритми. Суть цих програм прихована за «сімома замками», а до нас доводять лише загальні правила нових алгоритмів.

Про всяк випадок нагадаю, що можна називати, але не потрібно плутати Яндекс і Яндекс.Пошук, а також Google і Google Search. Яндекс і Google це скоріше бренди, а Яндекс.Пошук і Google Search це всього лише, пошукові системи інтернет цих «монстрів».

До речі, Google це корпорація «Гугл», Google LLC, створена в 1998 році 04 вересня в США. Яндекс це компанія (РТК - Російська транснаціональна компанія), створена в 2000 році.

На прикладі саме цих компаній більш докладно подивимося роботу пошукових систем.

Як працюють пошукові системи інтернет

Як я згадав вище, робота пошукових систем будується на трьох базових етапах:

  • Сканування веб-ресурсів;
  • Формування індексу;
  • Надання видачі ранжированого для пошукового запиту.

сканування

Сканування веб-ресурсів, здійснюють пошукові роботи (Spider, Crawler, Bot, Robot). Це спеціальні програми, які періодично обходять веб-сторінки, формують з них індекс сторінок, можливо, роблять скан тексту.

Обхід сторінок здійснюється з певною періодичністю. Частіше за інших обходять сторінки боти Google. Підставою для обходу є гіперпосилання на сторінки. При обході сторінок все зустрічаються посилання боти фіксують, з посилань формуються списки для наступних обходів.

Саме з цього, посилання на нову сторінку сайту з уже проіндексованою сторінки прискорює її індексацію. Також, наявність великої кількості мертвих посилань на сайті, формує негативний образ сайту, і такий сайт обходиться ботами рідше. Крім цього, пошукові роботи звертають увагу на sitemap сайту і використовують його, як допоміжний навігатор для пошуку нових посилань для обходу.

індексування

З усіх сторінок, які обходить Bot, формується база даних пошукової системи. У базі даних знаходяться всі сторінки, які боти «просіяли» через «велике сито» і порахували, можливо, цікавими для видачі.

З цієї бази даних, наступна група програм, формує індекс пошукової системи - ті веб-сторінки, які будуть показані у видачі.

Індексування сторінок відбувається за унікальними алгоритмами пошукових систем. Алгоритми індексування часто змінюються, особливо у Яндекс, через що індекс пошукача може зазнавати серйозні зміни.

Однак є базові елементи структури сайту, які довгі роки залишаються в алгоритмах попадання в індекс. Це, перш за все:

  • Title (заголовок) веб-сторінки;
  • Description (короткий опис) веб-сторінки;
  • Body (головний зміст веб-сторінки).
  • Деякі пошуковики (Bing) продовжують зчитувати keywords (ключові слова заявлені автором).

Саме з цих елементів створюється перший індекс сторінок.

Для ранжирування сторінок у видачі, в індекс сторінок потрапляють:

  • Наявність структури сторінки (абзаци, заголовки, підзаголовки) тобто, теги <p>, <h1>, <h2> ... <h6>.
  • Alt теги у картинок;
  • Мета дані;
  • І інші елементи, які стосуються пошукової оптимізації.

Ранжування сторінок і їх видача

Остання група програм, формують з індексу пошукову видачу по зробленому пошуковому запиту.

Варто відзначити, що, незважаючи на заявлені інтелектуальні здібності деяких пошукових алгоритмів, для релевантного пошуку свого запиту, потрібно користуватися мовою пошукових запитів. Записуючи запит спеціальним чином, ви більш конкретно пояснюєте боту, що вам потрібно.

Але навіть без цього, програми ранжирування і видачі, підбирають по зробленому запиту список веб-ресурсів, які, на їхню думку (алгоритму), відповідають зробленому запиту. Розстановка ресурсів в списку видачі називають ранжування, а відповідність ресурсу запитом, називають релевантність.

Про ранжируванні

Перед, більш детальному розмові про конкретних пошукових системах, пару слів про ранжируванні .

Програми ПС, які формують видачу, крім перерахованих вище елементів пошукової оптимізації, враховують:

  • Щільність ключових слів;
  • Рознос ключових слів по тілу статті;
  • Наявність ключа в заголовку і тегах структури;
  • Наявність ключів в альтернативному описі фото.

Важливо звернути увагу, що алгоритми пошукових систем різні, звідси різна видача по одному і тому ж пошуковому запиту.

Найбільш значимі пошукові системи Рунет

Мене мало цікавлять пошукові системи інтернет світу, про них ви знайдете інформацію в інших джерелах. Тут базові пошуковики Рунет, які знає весь світ.

Пошукова система Google

Базова адреса сторінки пошуку Google: www.google.ru . Google Search найвідоміша пошукова система, заборонена в Китаї (www. Google.cn), але залишається основним конкурентом Яндекс в Росії.

пошукові системи інтернет Google

Як працює пошукова система Google

Google веде пошук по всьому Інтернет, вибираючи зі свого індексу, найбільш релевантні веб-сторінки. Забезпечують пошук три взаємопов'язані процеси:

  • сканування;
  • індексування;
  • Показ пошукового результату.

Сканування або обхід Інтернет

Сканування Інтернет здійснює головний робот Google під назвою Googlebot. У його завдання входить виявлення нових та оновлених сторінок для внесення їх в базу даних Google.

До завдань програм робота Googledot входять завдання, за якими потрібно сканувати сайти, як часто і скільки сторінок з кожного сайту.

При кожному скануванні Googlebot становить список посилань сторінок для сканування, обходить файли Sitemap для пошуку нових посилань і набирає посилання зі сканованих сторінок.

індексування

Кожна сканована сторінка обробляється Googlebot і по цій обробці складається індекс сторінки. В індекс сторінки Google входить:

  • Повний індекс всіх слів на сторінці, з місцями їх розташування;
  • Дані тегів title, description і атрибутів alt.

Показ результатів пошуку

По заданому запиту в пошуку Google шукає найбільш підходящі (релевантні) сторінки з індексу. Для визначення релевантної сторінки боти використовують фактори релевантності з алгоритмів пошукача Google. Таких факторів більше двохсот.

Типи пошуку Google

На сторінці пошуку Google ми бачить кілька типів пошуку:

  • Традиційний: пошук по веб-сайтам і веб-сторінок;
  • Пошук «Мені пощастить: мотиватор пошуку;
  • Картинки: пошук по базі даних фотографій Google.

Розширений пошук Google

На сторінці результатів пошуку є кнопки розширеного або краще сказати спеціального пошуку. Це пошуки:

  • картинок;
  • Відео;
  • Новини;
  • карти;
  • покупки;
  • книги;
  • Авіаквитки.

Тут же пошук можна фільтрувати (кнопка Настройки) по:

  • Мови (кнопка Інструменти - Вибір мови пошуку);

  • У безпечному режимі (фільтр непристойних результатів);
  • Без персональних даних;
  • А також включити розширений пошук.

Ще більше звузити фільтр пошуку Google допоможе кнопка «Інструменти». Тут можна вибрати мову пошуку, час появи інформації, і результати з точним попаданням запиту.

Пошукові роботи Google

Крім основного пошукового робота Googlebot, система має масу інших програм більш спеціального сканування. Загальний список їх тут //support.google.com/webmasters/answer/1061943?hl=ru. Вони можуть знадобитися для складання файлу robots.txt , Мета-тегів robots, команд X-Robots-Tag HTTP. Ось назви декількох з них (не плутати з агентами користувача):

  • Googlebot
  • Googlebot Images
  • Googlebot News
  • Googlebot Video
  • APIs-Google
  • AdSense
  • AdsBot Mobile Web Android
  • AdsBot Mobile Web
  • AdsBot

Основні пошукові системи Рунет

Основними пошуковими системами Рунет можна назвати: Яндекс, Рамблер, Апорт (Mail). Безсумнівно, більша увага заслуговує найпопулярніший пошуковик Рунет - Яндекс.

Пошукова система Яндекс

Сторінка Яндекс в мережі, https://yandex.ru/. Ця сторінка не є сторінкою чистого пошуку. Сторінка чистого пошуку, очищена від усієї зайвої інформації тут: https://ya.ru/.

пошукові системи інтернет Яндекс

У блозі Яндекс (https://yandex.ru/company/technologies) ви можете знайти докладні статті по кожному етапу роботи пошукача Яндекс. Тут, коротко.

Загальний принцип роботи пошукової системи Яндекс, можна розділити на два процеси. Перший це обхід Інтернет пошуковими роботами з метою збору інформації, а точніше сканування веб-ресурсів. Другий це віддача відповіді користувачу, по зробленому пошуковому запиту.

Для обходу Інтернет в Яндекс «працюють» два робота. Основний індексує робот «YandexBot» і швидкий робот, який називають «Orange».

Orange шукає в мережі найсвіжішу інформацію в Інтернет, вік якої хвилини і секунди.

Завдання YandexBot глобальніші. Він обходить Інтернет за завданням (списками посилань), який формує робот-планувальник. При обході YandexBot робить скани веб-сторінок, вносячи їх у свою базу даних.

Наступний етап індексування

На наступному етапі, скани веб-сторінок, очищаються від розмітки, розбираються, за словами і поміщаються в індекс пошукача. У кожного слова є мітка, яка вказує, де воно знаходиться в Інтернет. Основний зліпок документа залишається в основній базі Яндекс і віддаляється від туди, тільки після видалення веб-сторінки з сайту.

Індекс пошуку Яндекс це дані про тип документа, його кодування, мова, а також збережені копії документа разом складають пошукову базу.

Пошук Яндекс це частина документів з пошукової бази, очищених від спаму, дублів і іншого сміття.

За зробленим запитом Яндекс шукає в своїй базі даних відповідні слова (словоформи). У кожного слова в базі є вказівник, на який веб-сторінці це слово «лежить».

Всі знайдені результати Яндекс ранжує за своїм алгоритму і віддає користувачеві у вигляді списку веб-ресурсів з заголовком, посиланням і описом.

Варто зазначити, що основний обхід (пошук «пакетами») відбувається в основному вночі, 2-3 рази в тиждень. Робот Orange працює в режимі реального часу.

Особливості пошуку Яндекс

У Яндекс є своя мова пошукових запитів. Подивитися його можна тут: yandex. ru / ya_detail. html. Зовсім недавно він дещо скоротився, читати тут (https://yandex.ru/support/search/query-language/qlanguage.html).

Головною відмінністю пошуку Яндекс є географічна мітка ресурсів, яка дозволяє створювати і розрізняти гео залежні (30%) і гео незалежні запити (70%).

  • Крім цього, Яндекс може знаходити словоформи;
  • Розрізняє регістр букв;
  • Можна вибрати одне місце пошуку (Каталог, Новини, Товари, Картинки, Енциклопедія);
  • Є розширений пошук;
  • Є пошук по одному ресурсу.

пошуковик Rambler

Незважаючи на те, що ви знайдете сторінку «чистого пошуку» Рамблер тут: https://r0.ru/?mobile=true, пошукової системи Рамблер НЕ існує з 2011 року.

Є медійний портал Рамблер, з масою новин. Є форма пошуку, яка є не що інше, як обрізаний пошук Яндекс. Самостійних роботів і програм у Рамблер немає.

Сторінка Рамблер: https: // www. rambler.ru

Рамблер не входить в пошукові системи інтернет

Варто відзначити, що залишився сервіс Рамблер ТОП 100, в якому беруть участь (на сьогодні) 169 999 сайтів. Працює він, як каталог сайтів по ньому є свій, можна сказати унікальний, пошук (https://top100.rambler.ru/).

Пошук Mail.ru

Сторінка пошуку є https://go.mail.ru/

пошукові системи інтернет mail.ru

Своєю пошукової системи у Mail немає. Працює якийсь симбіоз Google пошук російською і Google пошук по всьому світу. Часто можна зустріти згадка про НЕ кому GoGo.ru.

Однак, величезна кількість сервісів і проектів Mail, на кожному з яких є форма пошуку, дозволяють пошуку Mail триматися на третьому місці популярності в Рунет.

Зауважу, що у Mail.ru є свій інструмент веб-майстрів (https://webmaster.mail.ru/), де можна додати і просувати в Mail пошуку свій ресурс.

Також не будемо забувати по сервіс Рейтинг Mail, https://top.mail.ru/, де можна не тільки відслідковувати відвідуваність свого сайту, але використовувати пошук по рейтингу, як пошук по каталогу.

пошуковик Bing

Сторінка пошуку https://www.bing.com/?cc=ru

пошукові системи інтернет Bing

Дана пошукова система розроблена компанією Microsoft. Вона має свої унікальні алгоритми індексування і видачі пошуку.

У комплексі вирішуваних завдань актуальність, відповідність, глибина пошуку Bing поступається Google і Яндекс. Однак має свого відданого користувача. Крім основного пошуку є пошуки:

  • Зображень (тут вони досягли успіху);
  • Відео,
  • новин,
  • Пошук в картах,
  • А також є, журнал пошуку, вкладка MSN і вкладка пошти outlook.com.

Не будемо забувати, що у Bing є свій кабінет вебмайстрів, який допомагає просувати ресурс в Bing видачі. Всі сервіси Bing давно мають російську локалізацію.

Дивлячись на пошук і видачу Bing, мене не покидає відчуття схожості Bing і Google пошуку.

До речі, Bing це єдиний пошуковик, який враховує теги keywords в факторах ранжирування, а їх відсутність відносить до негативних факторів.

Як додати веб-ресурс (веб-сторінку) в чергу на індексацію?

У кожного пошукача, є можливість не чекати милості, а самостійно додати веб-сторінку в чергу на черговий обхід роботом пошукової системи. Ось список, де це можна зробити:

  • Яндекс «Переобход сторінок»: https://webmaster.yandex.ru/site/indexing/reindex/;
  • Google: //www.google.com/webmasters/tools/submit-url?hl=ru
  • Mail: https://webmaster.mail.ru/
  • Bing (додати ресурс у bing): https://www.bing.com/toolbox/submit-site-url

висновок

Загальнодоступної інформації в Інтернет настільки багато, що для об'єктивного результату пошуку потрібно використовувати кілька пошукових систем. Мені вдається знаходити потрібну інформацію, використовуючи два пошукача, і рідко картинки в Bing. Хоча, чесно кажучи, картинки я шукаю зовсім по-іншому.

Об'єктивно Google кращий пошуковик для пошуку по світу. Яндекс і Google.ru для пошуку по Росії. У Бінг хороший пошук картинок. Mail пошук, просто «стирчить» на всіх своїх соціальних серверах.

На жаль, в огляд пошукові системи інтернет, не ввійшов пошуковик DuckDuckGo https://duckduckgo.com/about з унікальним алгоритмом розумного пошуку, про нього в окремій статті.

© www.wordpress-abc.ru

Інші статті розділу SEO початківцям


Статті пов'язані з теми:

Com/webmasters/answer/1061943?
0.ru/?
Com/?
Як додати веб-ресурс (веб-сторінку) в чергу на індексацію?
Com/webmasters/tools/submit-url?


Новости
  • Виртуальный хостинг

    Виртуальный хостинг. Возможности сервера распределяются в равной мере между всеми... 
    Читать полностью

  • Редизайн сайта

    Редизайн сайта – это полное либо частичное обновление дизайна существующего сайта.... 
    Читать полностью

  • Консалтинг, услуги контент-менеджера

    Сопровождение любых интернет ресурсов;- Знание HTML и CSS- Поиск и обновление контента;-... 
    Читать полностью

  • Трафик из соцсетей

    Сравнительно дешевый способ по сравнению с поисковым и контекстным видами раскрутки... 
    Читать полностью

  • Поисковая оптимизация

    Поисковая оптимизация (англ. search engine optimization, SEO) — поднятие позиций сайта в результатах... 
    Читать полностью