Веб-краулер AppleBot существует

В справочном центре корпорации Apple появилась страница, посвященная веб-краулеру (поисковому роботу) AppleBot, который используется для сбора данных для Siri и Spotlight. Ранее в Сети ходили многочисленные слухи о его существовании, но в Купертино комментариев на эту тему не давали.

При сборе данных Apple будет придерживаться правил robots.txt и мета-тегов robots. Если AppleBot не упоминается в robots.txt, то корпорация будет следовать указаниям для GoogleBot. Для блокировки AppleBot и GoogleBot веб-мастеру достаточно заблокировать только GoogleBot. 

В Купертино подчеркнули, что если веб-мастер заметит необычную активность со стороны AppleBot, то ему рекомендуется связаться со специалистами компании по email: Apple-NOC@apple.com

Также Apple Insider сообщил, что корпорация "стремительно расширяет внутреннюю группу поиска" для построения собственной версии поисковой системы на базе Spotlight.