Веб-краулер AppleBot существует

При сборе данных Apple будет придерживаться правил robots.txt и мета-тегов robots. Если AppleBot не упоминается в robots.txt, то корпорация будет следовать указаниям для GoogleBot. Для блокировки AppleBot и GoogleBot веб-мастеру достаточно заблокировать только GoogleBot.
В Купертино подчеркнули, что если веб-мастер заметит необычную активность со стороны AppleBot, то ему рекомендуется связаться со специалистами компании по email: Apple-NOC@apple.com
Также Apple Insider сообщил, что корпорация "стремительно расширяет внутреннюю группу поиска" для построения собственной версии поисковой системы на базе Spotlight.
Ключевые теги:
Добавить комментарий
КОММЕНТАРИИ
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.
ВОЗМОЖНО ВАС ЭТО ЗАИНТЕРЕСУЕТ
-
Каким не должен быть сайт?
Каждый вебмастер мечтает о том, чтобы создать такой сайт, который нравился бы пользователям, имел большую посещаемость и вообще был самым лучшим на просторах Рунета. Очень хорошо, если сайт еще и
-
Покупки в популярном интернет-магазине сумок
Ни одна девушка не может позволить себе выйти на улицу без элегантной сумочки. Причем, неважно, куда она отправляется, на прогулку с друзьями, в театр или на деловую встречу. Модные аксессуары
-
Стильное оформление жилища
На данный момент каждый человек старается оформить свое жилище не только в соответствии с модными тенденциями, но и привлекательно. Для этого существует огромное количество отделочных и облицовочных
-
В чем секрет хорошей посадочной страницы?
Посадочные страницы помогают продавать, продвигать бренд, собирать базу потенциальных клиентов. Каков бы ни был профиль фирмы – создание сайтов в Мытищах или оказание парикмахерских услуг, landing
-
Windows 8: выбор браузера
Выход Windows 8 стал неожиданностью для многих пользователей, привыкших работать с ОС 7-ой версии и ХР. Как сбросить пароль в windows, где находится кнопка «пуск», нужен ли дополнительный антивирус –
Информация
Комментировать статьи на сайте возможно только в течении 90 дней со дня публикации.
Комментировать статьи на сайте возможно только в течении 90 дней со дня публикации.