Как пользоваться поисковиком яндекс
Перейти к содержимому

Как пользоваться поисковиком яндекс

  • автор:

Чат-бот Bing от Microsoft: что он умеет и как им пользоваться

Фото: Unsplash

Bing — это нейросеть в виде чат-бота, которую внедрили в одноименную поисковую систему от Microsoft. Компания представила свой обновленный браузер Edge в феврале 2023 года. Сайт Bing стал работать в двух режимах: и как привычный поисковик, и как чат-бот. Во втором случае, вместо того чтобы выдать набор ссылок в ответ на запрос пользователя, он сам анализирует источники и дает полный, подробный ответ. Он может поддержать беседу, сгенерировать текст, развернуто ответить на вопрос.

Чат-бот Bing

Чат-бот Bing (Фото: Bing)

В основе чат-бота Bing лежит языковая модель GPT-4, которую адаптировали для поиска в интернете. Это последняя версия алгоритма GPT, которую OpenAI представила в марте 2023 года. Компания активно сотрудничает с Microsoft и получает от корпорации крупные инвестиции. Чат-бот Bing работал на модели GPT-4 с самого запуска в феврале, но компания держала это в секрете до тех пор, пока OpenAI не анонсировала обновление GPT.

В мае 2023 года Microsoft расширила возможности Bing, в частности, добавила функцию сохранения истории чатов, экспорта чатов в различных форматах, например, переписку можно выгрузить в PDF-файле, также увеличила объем одного сообщения чат-боту с 2 тыс. до 4 тыс. символов.

Одно из отличий чат-бота Bing от бесплатной версии ChatGPT-3.5 и его важное преимущество — продукт Microsoft может обращаться с запросами в поисковик, поэтому у чат-бота есть доступ к актуальным новостям и недавно опубликованным материалам. ChatGPT-3.5 же обучен на данных, которые были в интернете по состоянию на 2021 год. За поиск актуальной информации в Bing отвечает специально разработанная модель «Прометей».

Вот еще некоторые отличия Bing от ChatGPT:

  • Bing — бесплатный чат-бот;
  • чтобы его использовать, не нужен номер телефона;
  • ChatGPT в бесплатной версии работает на GPT-3.5, а Bing — на модели GPT-4.

Фото:Иван Звягин

Возможности нейросети Bing

Чат-бот понимает запросы на ста языках, и возможностей у Bing довольно много. Он может быть собеседником или соавтором, умеет:

  • анализировать информацию в открытых источниках и давать развернутые ответы на вопросы;
  • давать советы: например, может рассказать, что делать при головной боли или как остановить кровотечение;
  • выполнять творческие задания: писать сценарии, сочинения, стихотворения, шутки;
  • составлять планы: например, может расписать план тренировок для похудения или предложить маршруты для пятидневной туристической поездки;
  • вести диалог, запоминать контекст разговора в одном запросе (одной беседе);
  • писать код;
  • переводить тексты на десятки разных языков;
  • создавать изображения.

Но как и ChatGPT, нейросеть Bing может ошибаться, обрабатывая и генерируя большое количество информации, поэтому достоверность данных нужно перепроверять.

Примеры использования

Редакция «РБК Трендов» решила поэкспериментировать с Bing. Сначала мы попросили чат-бота написать стихотворение про лето в Санкт-Петербурге. Вот что получилось:

— Лето в Санкт-Петербурге

— Время белых ночей и мостов.

Город словно волшебный сад,

Полный цветов и света.

Лето в Санкт-Петербурге —

Время искусства и культуры.

Музеи, театры, концерты —

Все открыто для посетителей.

Лето в Санкт-Петербурге —

Время приключений и открытий.

Каждый день — новый маршрут,

Каждый вечер — новое чудо.

Лето в Санкт-Петербурге —

Время любви и романтики.

Город дарит своим гостям

Следующий запрос — на английском языке:

— Write a short poem about a cat.

— A cat is a furry friend

Who likes to play and nap

He purrs when he is happy

And meows when he is sad

A cat is a clever creature

Who knows how to hunt and hide

He can jump and climb and run

And curl up by your side

A cat is a loyal companion

Who loves you unconditionally

He will always be there for you

And make you smile with his kitty

Затем мы спросили у чат-бота совет, куда съездить на выходные в Вологодской области. Он составил краткий список и подобрал соответствующие ссылки:

— В Вологодской области есть много интересных мест для посещения. Вот несколько из них:

  1. Кириллов — древний город, расположенный между тремя северными озерами, его нередко называют Северной Фиваидой и Святой землей.
  2. Горицы — небольшое село на берегу реки Шексны и у подножия горы Мауры.
  3. Ферапонтово — древнее село, расположенное в 18 км от Кириллова.
  4. Белозерск.
  5. Череповец.
  6. Устюжна.
  7. Семенково.
  8. Тотьма.

Еще Bing может генерировать изображения с помощью нейросети DALL-E, которую также разработала OpenAI. Вот что у нас получилось по запросу «Лошадь на берегу реки лунной ночью»:

Как пользоваться Bing в России

Чат-бот доступен в браузере Edge, в приложении Bing и в Skype — еще одно преимущество перед ChatGPT, у которого нет официального мобильного приложения. Общение в Bing выглядит как переписка в мессенджере. Также есть кнопка «Прекратите отвечать», если чат-бот пишет не то, что вам нужно. Нейросеть может задавать вопросы для уточнения информации или сразу предлагать варианты ответов.

Чат-бот понимает русский язык, но иногда переводит запросы на английский язык, чтобы найти ответ, и затем снова переводит текст для пользователя на русский.

Нужно учитывать, что у чат-бота есть лимиты — не более 30 сообщений за одну сессию, а в одном сообщении может быть не более 4 тыс. символов, на некоторых устройствах до сих пор не более 2 тыс. знаков (данные на момент написания статьи).

Перед началом беседы можно выбрать стиль общения, чтобы ответ был наиболее точным: креативный — для оригинальных и творческих заданий, точный — для кратких ответов и сбалансированный.

Доступ в России

В начале запуска чат-ботом могли пользоваться только жители некоторых стран и по предварительной записи. Нужно было нажать на сайте кнопку «Присоединиться к списку ожидания» и ждать письмо со ссылкой на обновленный поисковик.

В мае в компании упразднили список ожидания, и сейчас чат-бот доступен всем. Чтобы воспользоваться нейросетью Bing из России, необходимо установить VPN и изменить некоторые настройки аккаунта Microsoft. Нужно выполнить следующие действия:

  • поставить на ваш компьютер или гаджет новую версию браузера Microsoft Edge либо обновить до последней версии;
  • в настройках аккаунта Microsoft изменить регион и выбрать США или другую страну, язык поменять на английский;
  • включить VPN;
  • на сайте Bing.com или в приложении войти в свой аккаунт Microsoft, перейти в раздел «Чат». Это все — теперь можно пользоваться нейросетью и давать ей задания.

Vulners — Гугл для хакера. Как устроен лучший поисковик по уязвимостям и как им пользоваться

Часто нужно узнать всю информацию о какой-нибудь уязвимости: насколько найденный баг критичен, есть ли готовые сплоиты, какие вендоры уже выпустили патчи, каким сканером проверить наличие бага в системе. Раньше приходилось искать вручную по десятку источников (CVEDetails, SecurityFocus, Rapid7 DB, Exploit-DB, базы уязвимостей CVE от MITRE/NIST, вендорские бюллетени) и анализировать собранные данные. Сегодня эту рутину можно (и нужно!) автоматизировать с помощью специализированных сервисов. Один из таких — Vulners, крутейший поисковик по багам, причем бесплатный и с открытым API. Посмотрим, чем он может быть нам полезен.

Что это такое

Vulners — это очень большая и непрерывно обновляемая база данных ИБ-контента. Сайт позволяет искать уязвимости, эксплоиты, патчи, результаты bug bounty так же, как обычный поисковик ищет сайты. Vulners агрегирует и представляет в удобном виде шесть основных типов данных:

  • Популярные базы уязвимостей. Они содержат общие описания уязвимостей и ссылки на источники. Например, известная CVЕ американского агентства MITRE и института NIST. Но, помимо информации из нее, в Vulners добавляются общие описания уязвимости и других исследовательских центров и центров реагирования: Vulnerability Lab, XSSed, CERT, ICS, Zero Day Initiative, Positive Technologies, ERPScan.
  • Вендорские бюллетени безопасности. Это баг-репорты, которые пишут сами вендоры об уязвимостях в своих продуктах. Сейчас это разнообразные дистрибутивы Linux (Red Hat CentOS, Oracle Linux, Arch Linux, Debian, Ubuntu, SUSE), FreeBSD, сетевые устройства (F5 Networks, Cisco, Huawei, Palo Alto Networks) и популярные и критичные программы (OpenSSL, Samba, nginx, Mozilla, Opera), в том числе и CMS (WordPress, Drupal).
  • Эксплоиты из Exploit-DB и Metasploit. Они парсятся и сохраняются полностью, с исходниками (их можно сразу смотреть в удобном редакторе).
  • Nessus-плагины для детекта уязвимостей. Легко посмотреть, можно ли найти ту или иную уязвимость при сканировании сети этим популярным сканером.
  • Дисклозы багов с сайтов bug bounty программ. В Vulners поддерживаются записи с HackerOne.
  • Публикации на тематических ресурсах. Собираются данные с Threatpost и rdot.org, где часто освещают темы, связанные с уязвимостями.

Все это обрабатывается, каталогизируется, структурируется и доступно для поиска в любой момент.

Вендоры, от которых собирается и анализируется инфа в Vulners

Вендоры, от которых собирается и анализируется инфа в Vulners

В отличие от других баз, которые описывают баги в специальном формализованном виде (например, на языке OVAL-баз CIS или SecPod), Vulners хранит данные в формализованном виде и автоматически устанавливает связи между ними, быстро ищет и красиво отображает результаты поиска. Что с этим делать, целиком зависит от фантазии конечного пользователя.

Кто и на чем пишет Vulners?

  • Кирилл «isox» Ермаков пишет ядро и админит;
  • Игорь «Videns» пишет поиск;
  • Ваня «Ванкувер» пишет фронт;
  • Саша «Plex» пишет роботов-сборщиков;
  • Александр Леонов пишет статьи и аналитику.

Весь движок Vulners написан на Python + Django, в качестве базы взята MongoDB + Elasticsearch. MongoDB используется только для закладки данных роботами — сборщиками информации, Elasticsearch только для фронтенда. Деплой производится с Bitbucket’а скриптом. Масштабирование заложено прямо в ядре: MongoDB и Elasticsearch шардятся. Фабрика роботов написана хостонезависимой и может гоняться отдельно от всего проекта. Одна из крутых фишек — ребята уже полностью перешли на Python 3.5+ и asyncio в своем проекте. Так что поиск не всегда работает точно, но всегда очень быстро :).

На текущий момент в базе Vulners 319 557 бюллетеней и 144 684 эксплоита. А занимает все это в базе меньше 2 Гбайт. Такая компактность достигается за счет дедупликации и упаковывания. Все лежит в оперативной памяти, поэтому скорость поиска значительно увеличивается. Стоит упомянуть и то, что Vulners защищается WAF Wallarm, работающим в блокирующем режиме.

Архитектура Vulners

Архитектура Vulners

Но довольно слов, давай попробуем что-нибудь поискать.

Пробуем искать

Первое, что видишь, когда заходишь на Vulners, — это, конечно же, строка поиска. Просто введи название приложения, сайта или CVE-код уязвимости, и Вульнерс выдаст тебе все последние публичные баги по этому продукту со ссылками на эксплоиты, плагины для детекта и различные публикации.

Типовая выдача Vulners по багам WordPress. Обрати внимание: данные обновляются постоянно и в автоматическом режиме

Типовая выдача Vulners по багам WordPress. Обрати внимание: данные обновляются постоянно и в автоматическом режиме

Естественно, простые запросы вроде «wordpress» или «xakep.ru» рассматривать скучно, с этим ты и сам разберешься. Давай посмотрим, что интересного умеет Vulners.

Задача: найти критичные баги CentOS со ссылками на сплоиты

Запрос: type:centos order:published

Vulners позволяет фильтровать результаты поиска и/или сортировать их по любому полю баги:

  • по типу бюллетеня;
  • по CVSS Score;
  • по дате;
  • по номеру плагина детекта;
  • по имени ресерчера.

Благодаря этому мы можем сформировать сложный запрос типа type:centos cvss.score:[8 TO 10] order:published, что означает «найди мне все новые баги CentOS, где CVSS Score от 8 до 10, то есть критичный». Поскольку Вульнерс автоматически связывает с багой все собранные данные, на странице CVE ты увидишь доступные патчи и эксплоиты.

Также результаты выполнения этого запроса можно получать при помощи API — это пригодится тебе в автоматизированных сканерах. Для этого достаточно сделать GET-запрос на https://vulners.com/api/v3/search/lucene/?query=type:centos%20cvss.score:[8%20TO%2010]%20order:published . В ответ придет отформатированный машиночитаемый JSON.

Еще один полезный параметр API-запросов — references=true , который позволяет получить в результатах запроса не только объекты безопасности, но и все их связи (плагины детекта, эксплоиты и прочее). Например, такой запрос:
https://vulners.com/api/v3/search/lucene/?references=True&query=type:centos%20cvss.score:[8%20TO%2010]%20order:published — выведет еще и все references, связные элементы из базы.

Графическое задание запроса

Графическое задание запроса

Получаем больше двадцати записей от Vulners

По умолчанию Vulners отдает только первые двадцать записей запроса. Если хочется больше, нужно задать параметр size . Так можно получить до 10 000. А если и этого мало, то можно запрашивать несколько раз по 10 000, пропуская уже полученные результаты при помощи параметра skip .

Задача: обосновать IT-департаменту, зачем нужен патч-менеджмент (или просто найти все сплоиты по определенной баге)

Запрос: cvelist:CVE-2014-0160 type:exploitdb

При помощи Vulners сравнительно просто обосновать IT-департаменту, почему уязвимости, обнаруженные сканером, действительно опасны и их стоит патчить. Для этого можно показать список эксплоитов, найденных по номеру CVE или другому идентификатору. Доступен поиск по Exploit-DB или Metasploit. На одной странице будет и описание, и исходники эксплоита, по которым также можно искать.

Ищем сплоиты по CVE-2014-0160

Ищем сплоиты по CVE–2014–0160

Как видим, на странице эксплоита приводится его полный текст. По этому тексту также можно искать.

Эксплоит можно просмотреть в удобной превьюшке

Эксплоит можно просмотреть в удобной превьюшке

Задача: узнать, сколько денег и на каких bug bounty заработал определенный хакер

Запрос: isox order:bounty

Уникальная фича Vulners — поиск по баг-баунти. Можно найти, какие уязвимости софта зарепортил исследователь, и посмотреть его достижения в bug bounty программах. Результаты можно сортировать по командам, исследователям, цене и прочему.

Например, ищем по нику, сортируем по размеру вознаграждения за баг-баунти:

Пример поиска по bounty

Пример поиска по bounty

Вульнерс нашел зарепорченную багу в Mail.Ru, за которую заплатили 400 долларов

Вульнерс нашел зарепорченную багу в Mail.Ru, за которую заплатили 400 долларов

А если уточнить в запросе reporter, можно считать чужие деньги, что стыдно, но любопытно.

$ curl "https://vulners.com/api/v3/search/lucene/?query=type%3Ahackerone+order%3Alastseen+reporter%3Aisox" 2>/dev/null | awk '; earn+=$2 >END'

Ответ (в долларах):

2640

Также можно искать примеры реальных SQL-инъекций или уязвимостей, которые находили на конкретном сервисе, например на Vimeo: type:hackerone Vimeo .

Ищем зарепорченные на HackerOne баги по сервису Vimeo

Ищем зарепорченные на HackerOne баги по сервису Vimeo

Задача: найти баги по плагинам Nessus

Запрос: type:nessus order:published

Поиск по плагинам Nessus — также уникальная фича Vulners. Так, запрос выше выведет список последних добавленных плагинов.

Пример поиска по Nessus

Пример поиска по Nessus

Найденная уязвимость с GNU C Library

Найденная уязвимость с GNU C Library

Задача: найти потенциальные уязвимости мобильных приложений

Еще одна крутая особенность Vulners — возможность искать по уязвимостям более чем 13 000 топовых Android-приложений из Google Play! Store US через базу HackApp. HackApp — это условно-бесплатный тулкит и сервис для поиска багов в мобильных приложениях. HackApp ведут свою базу найденных уязвимостей, где подробно описывают векторы атак и уязвимые версии.

С помощью Vulners и HackApp можно искать по уязвимостям более чем 22 025 топовых Android-приложений из Google Play! Store. Для поиска нужно указать тип type:hackapp. В результатах поиска отображается тайтл, количество уязвимостей по степени критичности и информация о приложении.

Найденная уязвимость с GNU C Library

Поиск уязвимостей по базе HackApp

Работа с API

На момент написания статьи публично доступен только поисковый API. В JSON передается запрос и количество результатов (size), которое хочется получить. Максимальный размер выдачи — 10 000 записей. Хватит, чтобы утащить все бюллетени CentOS сразу. А чтобы забрать что-то совсем большое, за несколько раз, можно задать смещение с помощью параметра skip.

Поскольку Vulners использует Elasticsearch, любой запрос обрабатывается Apache Lucene. А это значит, что запросы к Vulners строятся точно так же, как к Lucene. Имена полей для поиска можно узнать в помощнике API. Любой ключ «схемы» для каждого типа коллектора можно использовать в качестве «ключа» в запросе Lucene, например:

  • title
  • description
  • affectedPackage
  • sourceData
  • cvelist
curl https://vulners.com/api/v3/search/lucene/?query=type:cve%20id:CVE-2014-0160

Ответы также в JSON:

< "data": < "exactMatch": null, "search": [ < "_index": "bulletins", "_score": 9.942732, "_source": < "type": "cve", "title": "CVE-2014-0160: OpenSSL heartbeat information disclosure", "published": "2014-04-07T18:55:03", "objectVersion": "1.0", "href": "https://web.nvd.nist.gov/view/vuln/detail?vulnId=CVE-2014-0160", "reporter": "NVD", "modified": "2015-10-22T10:19:38", "references": [ "http://www.securitytracker.com/id/1030081", "http://public.support.unisys.com/common/public/vulnerability/NVD_Detail_Rpt.aspx?ID=1", "http://advisories.mageia.org/MGASA-2014-0165.html", ], "description": "OpenSSL could allow a remote attacker to obtain sensitive information, caused by an error in the TLS/DTLS heartbeat functionality. An attacker could exploit this vulnerability to remotely read system memory contents without needing to log on to the server. Successful exploitation could allow an attacker to retrieve private keys, passwords or other sensitive information.\r\n\r\nThis vulnerability is commonly referred to as \"Heartbleed\".", "lastseen": "2016-03-19T07:17:51", "cvss": < "vector": "AV:NETWORK/AC:LOW/Au:NONE/C:PARTIAL/I:NONE/A:NONE/", "score": 5.0 >, "id": "CVE-2014-0160", "scanner": [], "bulletinFamily": "NVD" >, "_id": "CVE-2014-0160", "_type": "bulletin" > ] >, "result": "OK" >

Бот для Telegram с подписками на результаты запроса

В апреле Vulners запустили бота для мессенджера Telegram. Пользоваться просто. Отправь боту сообщение /subscribe и свой поисковый запрос и получай новые результаты поиска, как только они будут появляться на Vulners. Но главное — с его помощью можно создавать настраиваемые подписки на security content.

Бот позволяет делать запросы, так же как на сайте.

Бот позволяет делать запросы, так же как на сайте.

Этот сервис может помочь безопасникам оставаться в курсе публикации новых уязвимостей. Ребята из эксплуатации могут подписаться на рассылки по программному обеспечению, которое используют. Пентестеры — оперативно получать информацию об эксплуатации уязвимостей на практике.

Хочешь просмотреть свежие публикации CVE? Нет проблем:

/subscribe type:cve

Хочешь видеть апдейты по эксплоитам?

/subscribe bulletinFamily:exploit

Твои серверы работают под Debian? Следи за их безопасностью!

/subscribe type:debian

А у Vulners есть альтернативы?

Vulners — не единственный агрегатор уязвимостей. Есть, к примеру, базы Secunia и OSVDB, но одна закрылась 5 апреля, а другая платная.

Еще существует отечественный БнД УБИ ФСТЭК, но они хранят только описания самих уязвимостей и больше ничего (нет данных об эксплоитах), да и те, честно говоря, формализованы не очень. К тому же «Банк данных угроз безопасности информации» не предоставляет открытого API, то есть использовать его в автоматизированных сканерах не получится.

Выводы

Vulners — уникальный и незаменимый помощник любому хакеру и безопаснику. Он очень сильно экономит время при исследовании и эксплуатации сложных векторов атак. Конечно, инструмент только развивается, но уже сейчас он вполне юзабелен. А что еще более важно, Vulners открытый и бесплатный для конечного пользователя и всегда будет таким.

Кстати, уязвимости, найденные на vulners.com, можно сабмитить на https://hackerone.com/vulnerscom. Искать можно все что угодно. Так как проект бесплатный, то и финансирования для выплаты вознаграждений нет, но public disclosure разработчики гарантируют. Email для связи support@vulners.com, прочие контактные данные здесь.

  • Читай ][ на сайте в онлайне и PDF
  • Подпишись на iPad

Yacy — распределённый не цензурируемый поисковик: три года спустя

Yacy — это децентрализованная поисковая машина, которая позволяет осуществлять поиск информации в интернете без локальной или глобальной цензуры или любых других ограничений.

Первое и единственное упоминание о нем на хабре было 29 ноября 2011.

Но с того времени многое изменилось, давайте посмотрим на него еще раз.

Основные возможности и преимущества Yacy:

— Децентрализованный поиск и хранение индекса — в сети DHT
— Три режима работы: 1) Глобальный поисковой индекс, 2) Групповой индекс, 3) Локальный индекс
— Отсутствие рекламы
— Отсутствие какой-либо цензуры (государственной, копирайтной)
— Огромное количество настроек

Основные недостатки:

— Время поиска (из-за децентрализованной природы, поиск непопулярного контента может занимать значительное время)
— Релевантность (алгоритм релевантности был переработан за эти три года, но все равно он отстает от поисковых гигантов)

Что изменилось за три года ?

— Поддержка русскоязычных поисковых запросов
— Появились подсказки в во время ввода поискового запроса
— Опережающий поиск — пока вы печатаете yacy уже ищет пиров с данным контентом
— Улучшились алгоритмы поиска и выдачи — более релевантный результат
и миллионы других мелких изменений под капотом.

Как работает Yacy?
Индексирование

Индексирование может быть инициировано следующими путями:
1) Принудительное указание начала сканирования
2) Удаленный запрос от другого пира
3) Настройка проксирования всех запросов от браузера к Yacy с последующий индексацией того, что вы читаете

После составление базы индекса она сохраняется локально, рассылая в сеть информацию о том, что она у вас есть, и распределяется по DHT на соседних пиров.

Поиск

Во время процесса поиска Yacy сначала ищет результаты в локальном индексе, а затем в глобальном, связываясь по DHT c пирами, у которых есть сведения об индексе того или иного запроса/сайта.

Результаты поиска от Yacy:



Тестовая поисковая страницы search.yacy.net (которая может упасть от большого трафика)

PS Последняя статья была три года назад, если хабр пользователям будет интересна тема децентрализованных поисковых систем, я готов сделать обзор всего функционала Yacy и рассмотреть подробно как она работает

Интернет-поисковики: как устроены, как работают и как ими пользоваться с максимальной эффективностью

Интернет-поисковики: как устроены, как работают и как ими пользоваться с максимальной эффективностью

Обзор планшета Honor Pad 9: большой экран и шикарный звук

Обращаясь к интернет-поиску, мало кто задумывается о процессах, происходящих в этом самом сложном веб-приложении. CHIP расскажет, что влияет на список ответов и как меняются механизмы поисковиков.

Обращаясь к интернет-поиску, мало кто задумывается о процессах, происходящих в этом самом сложном веб-приложении. CHIP расскажет, что влияет на список ответов и как меняются механизмы поисковиков. Сравнительно недавно поисковые системы Google и «Яндекс» изменили алгоритмы своей работы. На данный момент эти интернет-сервисы представляют собой набор баз данных и приложений с искусственным интеллектом, причем алгоритм поиска в них постоянно совершенствуется, становясь, с одной стороны, ближе к запросам пользователей, а с другой — ориентированным на собственные рекламные ресурсы.

С приходом коммерции в Интернет поисковые системы стали главным инструментом продвижения бизнеса в Сети. А алгоритмы работы поиска — своеобразное «Кольцо Всевластия», которое вожделеют все. Завладев им, можно вывести свой сайт в топ выдачи, «утопить» конкурентов, сделать из своего небольшого предприятия огромный холдинг. За то, чтобы попасть в первые строки поисковиков, борются все участники Сети. Однако влиять на результаты поиска интернет-коммерсанты, к счастью, могут только косвенно. А когда значительное количество участников начинает понимать алгоритм работы системы, он меняется.

Поисковых сервисов существует множество, но большинство российских пользователей предпочитают национальный ресурс «Яндекс» (51%). Еще около 35% использует сервис Google, а оставшиеся 14% приходится на все остальные: наиболее активно из всех прочих систем задействуются «Поиск Mail.ru» и Rambler — самый первый российский поисковик. Впрочем, долю Rambler (1,1%) можно смело приплюсовать «Яндексу», так как с 2011 года система использует для поиска технологии «Яндекса» и входит в его же рекламную сеть. А вот Mail.ru в 2010 году сменила движок «Яндекса» на собственный, и уже через два с половиной года доля этого поисковика увеличилась на 2% и составила 8,6%. На украинском рынке интернет-поиска ведущими игроками также являются «Яндекс» и Google, пусть и с обратным соотношением долей рынка — 30,2% и 58,7% соответственно.

Кроме того, именно на «Яндекс» и Google ориентируются люди, чья профессия — «раскручивать» сайты в Сети. Их называют оптимизаторами, или SEO-специалистами (Search Engine Optimization — оптимизация для поисковых систем).

Борьба: за чистоту или деньги?

С развитием Интернета онлайн-торговля стала весьма прибыльным делом, и продавать товары в Сети помогает именно поисковая система. Офлайн-реклама в этом отношении не так эффективна, ведь человеку сегодня проще ввести в строку поисковика слово «смартфон» и получить в выдаче магазины, торгующие мобильными устройствами. При этом пользователь не обременяет себя трудом вручную набирать в адресной строке название сайта, которое к тому же лень запоминать.

Однако поисковая система не может обеспечить всем магазинам желанное первое место в списке выдачи — в нем оказывается не одна сотня адресов. При этом никто не хочет быть даже на второй странице, куда пользователь может и не заглянуть. Поэтому началась самая настоящая война между поисковыми системами и оптимизаторами. Поисковики постоянно усложняли методы ранжирования, а оптимизаторы разными ухищрениями находили пути к первым строкам в выдаче. Алгоритмы «Яндекса» долгое время были сложнее, чем у Google. Американский поисковик еще недавно ставил на первые места страницы, на которые ссылалось большее количество других сайтов. С точки зрения SEO-оптимизатора соответствовать таким условиям очень просто: существуют биржи, где можно закупить или продать ссылки с сайтов. Это значит, что обеспечить себе одно из первых мест в Google можно, закупив большой объем ссылок на такой бирже — кто больше заплатил, тот и будет лидером. Некоторое время назад это утверждение было верным, однако осенью 2012 года разработчики поисковиков запустили очередные связки фильтров, начав новый виток противостояния. Хорошо раскрученные ресурсы «обрушились», при этом особенно поучительно смотрелось падение позиций сайтов некоторых крупных SEO-организаций, например bdbd.ru, и страниц их клиентов.

На этом фоне казались правдой громкие заявления: «Поисковые системы делают все, чтобы клиент, после мучительных обращений к сторонним компаниям, все же дал платную рекламу поисковой фирме». Тут нужно сделать пояснение. У поисковиков имеются модули контекстной рекламы: у «Яндекса» такой сервис называется «Директ», а у Google — «Adwords». Для их использования необходимо оплачивать показ рекламы по тому или иному запросу. Эти объявления располагаются сбоку и в самом верху выдачи результатов, при этом они не слишком очевидно отмечены как реклама.

В действительности у поисковых систем другая задача: они хотят заинтересовать пользователя работать именно с их сервисом, а для этого нужно обеспечить «чистую» выдачу — то есть без сайтов, которые неинтересны и попали в топ исключительно благодаря хитростям оптимизатора. Если пользователей будет устраивать выдача, то доля системы в Рунете возрастет, а доходы от рекламы, соответственно, станут выше.

В сервисе Google результаты поиска, расположенные на кремовой подложке, — рекламные объявления, которые трудно не заметить. Яндекс действует несколько иным образом: даже если вы искали техническую информацию о каком-то товаре, вам сначала предложат рекламу магазинов, где он продается

В сервисе Google результаты поиска, расположенные на кремовой подложке, — рекламные объявления, которые трудно не заметить. Яндекс действует несколько иным образом: даже если вы искали техническую информацию о каком-то товаре, вам сначала предложат рекламу магазинов, где он продается От запроса до выдачи

Поисковые сервисы постоянно модернизируют свои алгоритмы, оставляя оптимизаторам все меньше шансов попасть в топ результатов поиска.

Каким же образом поисковикам удается проверять содержание и ранжировать такое большое количество сайтов, причем делать это без ошибок? На сегодняшний день схема выглядит так: поисковая система имеет множество роботов, которые собирают информацию об интернет- страницах в Сети и заносят данные в единую базу. После того как пользователь отправляет запрос, поисковик ищет в своей базе совпадения с введенной информацией и пропускает полученные сведения через различные фильтры.

Чтобы выстроить в выдаче очередь из сайтов, нужно определить, какой из них наиболее соответствует запросу. Во время индексации система буквально «читает» тексты внутри страниц сайта, проверяет, какое количество других ресурсов ссылается на те или иные страницы, анализирует код и т. д. Если сервис насчитал слишком большое количество ключевых слов в тексте (это явно указывает на стремление искусственно повысить релевантность страницы запросу), срабатывает один из фильтров, и вместо первого места такой сайт попадает на вторую страницу выдачи. А некоторые страницы теряют свой значительный «вес» еще до расчета релевантности: привести к этому может резкое повышение количества входящих ссылок или другие очевидные факторы накрутки значимости. Такой сайт попадает под постоянное действие фильтра, и санкции не будут отменены до исправления ситуации. При этом стоит отметить, что снятие санкций после наведения порядка оптимизатором может занять до полугода. Поисковые системы даже научились определять сайты, принадлежащие одной компании, которая стремится забить ими всю выдачу. Надо заметить, что «Яндекс» вычисляет хитрецов куда эффективнее, чем Googlе, и использует для этого не только прямые предпосылки, вроде одинаковых контактных данных (как это было раньше), но и косвенные, такие как одинаковый хостинг, одна и та же CMS, похожие дизайн и ассортимент товаров.

Стоит упомянуть еще один из этапов — фильтрацию геозависимых запросов. Предположим, вам нужно купить чайник в Москве — в этом случае правильно оптимизированный сайт, предлагающий чайники в Петербурге, будет исключен из выдачи. Этими и подобными методами поисковым системам удается предоставить пользователю именно то, что он искал. А сайты, которые сделаны лишь с одним расчетом — как можно быстрее оказаться в топе, даже в ущерб качеству наполнения, сегодня отодвигаются на второй план выдачи или вовсе блокируются в результатах поиска. Конечно, пока еще не все гладко, но абсолютно релевантные выдачи результатов уже не за горами.

Персонализация результатов

Крупные поисковые сервисы предоставляют своим пользователям услугу персональной выдачи, которая включена по умолчанию. Это значит, что в результатах выдачи вы прежде всего увидите сайты, которые часто посещаете, если они соответствуют поисковому запросу, а также страницы, которые поисковик считает наиболее для вас подходящими.

Например, в своих поисковых запросах вы часто интересуетесь фильмами и заходите на ресурсы, посвященные кинотематике. Тогда по запросу «Матрица» вы увидите в выдаче порталы kinopoisk.ru, imdb.com и т. п. При этом фотолюбитель получит набор сайтов с исчерпывающей информацией о матрицах в фотоаппаратах. В Google предположения о ваших предпочтения формируются еще и на основе схожести интересов. Если Саша зачастую ищет то же, что и Петя, то и предпочтения Пети будут учитываться при выдаче результатов Саше. Например, если Саша впервые заинтересовался той или иной тематикой, в выдаче он получит то, что понравилось Пете. Но в этом случае нужно быть авторизованным пользователем. В «Яндексе» персонализация работает и без авторизации, однако «свежие» запросы показываются без учета предпочтений. Новому алгоритму поискового сервиса «Яндекса» было дано название «Калининград», и многие оптимизаторы окрестили его «концом SEO». Зато пользователь стал находить то, что нужно, гораздо быстрее. В итоге компания сумела извлечь выгоду и одновременно угодить пользователям.

Делаем поиск комфортнее

Работа с поисковой системой может стать более удобной как за счет настройки самих поисковых систем, так и установки дополнений для браузера.

Отключаем персонализацию в поисковиках

По замыслу разработчиков поисковых систем, услуга персонализации, основанная на истории ваших поисковых запросов, должна помочь в получении более релевантных результатов — иными словами, отслеживать ваши интересы. На деле же круг выдаваемых данных может, наоборот, сузиться, а пользователю будут демонстрироваться рекламные предложения и сайты, содержащие информацию и товары, которые он уже давно нашел.

НАСТРОЙКА ПОИСКА «ЯНДЕКСА» В данном сервисе услуга персонализации навязана изначально, но ее можно отключить в настройках поисковой системы. Чтобы зайти в меню, наберите в поисковой строке «Настройка Яндекса», нажмите «Enter», выберите первый результат и на открывшейся странице пройдите по ссылке «Настройка результатов поиска». В разделе «Страница результатов» вы можете отключить показ графических баннеров, а в разделе «Персональный поиск» — учет истории поиска и любимые сайты в подсказках.

НАСТРОЙКА ПОИСКА GOOGLE В этой поисковой системе результаты, на основе которых выполняется персонализация, зависят от того, выполнен ли вход в аккаунт Google при поиске. Если пользователь авторизован, история поиска учитывается. Вы можете отключить ее запись.

Для этого нажмите на значок шестеренки в правом верхнем углу страницы результатов поиска и выберите пункт «История веб-поиска». Здесь снова кликните по значку шестеренки в верхнем углу и перейдите в «Настройки». Измените значение параметра «Запись истории поиска включена» на «Отключить».

Если вход в аккаунт не выполнен, то персонализация поиска Google осуществляется на основе данных, предоставленных вашим браузером в файлах cookie, которые можно периодически удалять программами-чистильщиками — например, CCleaner. Кроме того, навсегда отключить персонализацию интернет-рекламы на основе данных cookies можно с помощью установки расширения «Маскировка».

Вооружаем браузеры

Плагин AdBlock позволяет заблокировать загрузку и показ рекламы как на страницах сайтов, так и в поисковой выдаче. Блокиратор можно установить в качестве дополнения в браузере Opera. Для этого откройте «Инструменты | Расширения», выполните поиск по названию, найдите плагин в результатах и кликните справа по кнопке «Добавить в Opera».

В Chrome, чтобы установить аналогичное расширение, кликните по кнопке в правом верхнем углу, затем в меню «Инструменты | Расширения | Еще расширения» найдите плагин, после чего нажмите справа кнопку «Установить». Для Firefox это дополнение устанавливается аналогичным образом.

Расширение Google Analytics 0.9.0 работает более «ювелирно» — оно передает в код JavaScript Google Analytics (ga.js) сведения о том, что для данного пользователя не следует отправлять информацию в соответствующий сервис Google.

Просмотр списка результатов

Thumbnail Zoom Plus 2.3 Поисковые системы в выдаче показывают также миниатюры видеофайлов и изображений, соответствующих запросу. Владельцы Firefox после установки дополнения Thumbnail Zoom Plus смогут лишний раз не переходить на сайт, где размещены видео или картинка: достаточно навести на миниатюру курсор, чтобы началось воспроизведение или изображение развернулось в полный размер. Плагин позволяет работать не только с «Яндексом» и Google, но и Facebook, IMDb, YouTube, Wikipedia и многими другими сайтами. Скачать дополнение можно по короткой ссылке b23.ru/y9oq.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *