Что с этим ботом googleweblight делать?
В последнее время массово идут запросы от google proxy из их подсети c юзерагентом: Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19 Используется сервис так: https://googleweblight.com/?lite_url=https://www.site.com Не понимаю, или это реально индусы используют этот сервис для ускорения загрузки страниц или кто-то сайт целиком парсит. Как понять? Хочется заблочить эту дыру для парсинга сайта от имени гугла.
На сайте с 02.03.2011
13 апреля 2018, 11:23
Блокируй. Никаких негативных последствий от блокировки не будет, проверено.
Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ru.html + партнерка, до 40$ с продажи.
На сайте с 11.03.2012
13 апреля 2018, 11:48
vga1:
Не понимаю, или это реально индусы используют этот сервис для ускорения загрузки страниц или кто-то сайт целиком парсит. Как понять?
⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
На сайте с 18.02.2007
13 апреля 2018, 12:14
Если правильно понял, надо в http header добавить Cache-Control: no-transform ,чтобы небыло нового запроса через proxy, а сами запросы от google-proxy блокировать?
На сайте с 11.03.2012
13 апреля 2018, 12:21
vga1:
Если правильно понял, надо в http header добавить
Cache-Control: no-transform ,чтобы небыло нового запроса через proxy,
а сами запросы от google-proxy блокировать?
Насколько я понял, этот http заголовок лишь сообщит гуглу, что не нужно «мобилизировать» проксируемую страницу. Несмотря на то, что этот юзер агент у меня заблокирован, страница все равно отображается (видимо подтягивает из гуглокэша), но для парсинга уже неприемлемо, т.к. там нет текста, а какой то javascript только. Поэтому вполне можно блокировать по юзерагенту («googleweblight»).
На сайте с 17.03.2010
13 апреля 2018, 18:46
Этот бот так-же используется в новых версиях мобильного браузера google, а именно в режиме «Экономия трафика». Новая версия просит включить режим «Экономия трафика» при каждом открытии браузере.
На сайте с 11.03.2012
13 апреля 2018, 18:55
neoks:
Этот бот так-же используется в новых версиях мобильного браузера google, а именно в режиме «Экономия трафика»
Включил на хроме на андроиде режим экономии трафика, юзер агент оригинальный, «Mozilla/5.0 (Linux; Android 7.0; SM-A320F Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.109 Mobile Safari/537.36», айпишник гугловский, 66.249.93.46. Не вижу «googleweblight»
На сайте с 17.03.2010
13 апреля 2018, 19:20
Оптимизайка, Вы правы, на новом телефоне такой пометки действительно нету, но вот на старом телефоне она есть «Mozilla/5.0 (Linux; Android 4.4.2; GT-N7100 Build/KOT49H) AppleWebKit/537.36 (KHTML, like Gecko; googleweblight) Chrome/64.0.3282.137 Mobile Safari/537.36», причем на https используется обычный user-agent.
googleweblight.com что за бяка?
Personalab сказал:
Возьмите на любом своём сайте кусок текста, в кавычки его, в поисковую строку Яндекс. И очень большой шанс, что увидите там гуглвеблайт.
да, в индексе не мало страниц у него
взял кусок текста со своего сайта, ни в яндексе, ни в гугле копий не нашел
а так похоже, что это склад напарсеных, разнообразных сайтов, и зачем это надо гуглу — хз
#5 Drakon
Отправлено 04 Май 2022 — 15:50
да, что то припомнил что натыкался тоже на него .. и очень давно
angr сказал:
и зачем это надо гуглу — хз
мож просто аналог «вебархива», а вот нафига .
#6 angr
Отправлено 04 Май 2022 — 15:57
Drakon сказал:
мож просто аналог «вебархива», а вот нафига .
для вебархива, в индексе, маловато будет страниц
#7 Drakon
Отправлено 05 Май 2022 — 23:34
angr , ну «молодой» может еще
#8 angr
Отправлено 06 Май 2022 — 10:07
Drakon сказал:
ну «молодой» может еще
ты про Сашу или про домен?
#9 Drakon
Отправлено 06 Май 2022 — 12:49
angr , и то и другое )))
#10 Personalab
Personalab
- Из Москвы
TC Отправлено 11 Май 2022 — 17:49
Web Light: оптимизированные веб-страницы в результатах мобильного поиска
Документация Центра Google Поиска: https://developers.g. web-light?hl=ru
P/S Возраст сайта googleweblight.com, дней (лет): 2602 (7.1). Траст xt = 6 (0) ИКС : 580 | xPR : 3.96.
Индексация в Яндексе (страниц): 5218 (Но, я подозреваю, что их на самом деле намного больше).
P/S Яндекс с дублями интернета что нибудь делает? Куда жаловаться?
#11 protector
- Из Санкт-Петербурга
Отправлено 12 Май 2022 — 09:44
Personalab (11 Май 2022 — 17:49) писал:
P/S Возраст сайта googleweblight.com, дней (лет): 2602 (7.1). Траст xt = 6 (0) ИКС : 580 | xPR : 3.96.
Индексация в Яндексе (страниц): 5218 (Но, я подозреваю, что их на самом деле намного больше).
P/S Яндекс с дублями интернета что нибудь делает? Куда жаловаться?
Я думаю, никуда не нужно жаловаться. Яндекс сам выкинет дубли из индекса. 5 тыс страниц — это немного. Похоже, что googleweblight делает дубли всего интернета, а это не 5 тыс.страниц. Большая часть уже выкинута.
#12 Personalab
Personalab
- Из Москвы
TC Отправлено 17 Июнь 2022 — 23:04
protector сказал:
Я думаю, никуда не нужно жаловаться.
Прошел месяц, не выкидывает. Дубли страниц 95% нашего сайта в googleweblight.com.
Да и страниц у сервиса прибавилось Нашлось 6 тыс. результатов. Думаю их больше на много, часть под фильтром.
#13 Personalab
Personalab
- Из Москвы
TC Отправлено 19 Июнь 2022 — 18:18
Кто подскажет, что делать, как удалится оттуда?
Нашлось 9 тыс. результатов
Я так понял, спасение утопающего дело рук самого утопающего. Все молчат, в личку хотя бы напишите.
#14 protector
- Из Санкт-Петербурга
Отправлено 20 Июнь 2022 — 11:20
Personalab (19 Июнь 2022 — 18:18) писал:
Я так понял, спасение утопающего дело рук самого утопающего. Все молчат, в личку хотя бы напишите.
Не знаю ,что делать.
Я бы забил на это. В яндексе уникальность сейчас далеко не самый главный фактор. Тем более Может правильно определить первоисточник.
#15 KaSH
Инструктор по счастью
- Из моря и с гор
Отправлено 20 Июнь 2022 — 19:02
Personalab (19 Июнь 2022 — 18:18) писал:
Кто подскажет, что делать, как удалится оттуда?
Я так понял, спасение утопающего дело рук самого утопающего. Все молчат, в личку хотя бы напишите.
Если эта штука тупо при поиске через Гугл выдает типа облегченный сайт несчастным с медленным интернетом, то защититься от него практически. хмм. невозможно.
Если это волнует в плане дублей в поиске, то тут скорее вопрос к Яндексу и Гугл-поиску, которые, по хорошему, должны не учитывать подобные вещи при ранжировании.
Если волнует что пользователи попадают не на сайт, а на вот это вот все, то тут тоже все довольно плохо.
Т.е. упрощенно — эта такие принудительные турбо-страницы от гугла для тех, кто не может позволить себе устройство со скоростным интернетом и скоростной интернет.
Тянут к себе весь трафик, прикрываясь заботой о пользователях.
Что оно вообще делает в индексе — вопрос. Можно в Яндекс написать, спросить, на кой черт они вообще это индексируют? Интересно, что ответят.
Серьезные сайты размещаю на VPS, простые в SprintHost и в TimeWeb. Старые, более ненужные мне сайты я продаю на Телдери. Бухгалтерию и отчеты в налоговую за меня делает Эльба.
#16 Personalab
Personalab
- Из Москвы
TC Отправлено 21 Июнь 2022 — 01:22
Как отключить перекодирование с использованием Web Light
Google внедрил сервис googleweblight, поэтому, если на ваших страницах есть директива заголовка «Cache-Control: no-transform«, вы откажетесь от перекодирования своей страницы, если соединение происходит с мобильного устройства с медленным подключением к Интернету.
Кто подскажет, как это внедрить на сайт? И какие отрицательные последствия могут от этого быть?
Глянул в Яндексе по запросу site:googleweblight.com. Нашлось 48 тыс. результатов. Растёт зараза.
#17 protector
- Из Санкт-Петербурга
Отправлено 21 Июнь 2022 — 11:10
Personalab (21 Июнь 2022 — 01:22) писал:
Кто подскажет, как это внедрить на сайт? И какие отрицательные последствия могут от этого быть?
В пхп нужно вставить такую строчку до вывода чего-либо на экран, то есть в самом начале кода.
header('Cache-Control: no-transform');
#18 Personalab
Personalab
- Из Москвы
TC Отправлено 21 Июнь 2022 — 12:41
protector сказал:
Если не в php, не знаю куда там лезть. Метатегом можно?
#19 angr
Отправлено 21 Июнь 2022 — 13:01
Personalab сказал:
Если не в php, не знаю куда там лезть. Метатегом можно?
#20 Personalab
Personalab
- Из Москвы
TC Отправлено 21 Июнь 2022 — 13:35
Варианты у нас такие:
protector сказал:
В пхп нужно вставить такую строчку до вывода чего-либо на экран, то есть в самом начале кода.
header('Cache-Control: no-transform');
2) Вставляем метатег в голову сайта, где-нибудь между
и3) Или для apache добавляем инструкцию в файл .htaccess
Cache-Control: no-transform
Для владельцев медленного интернета ознакомьтесь с этим замечательным сайтом от Google, чтобы путешествовать по Интернету на очень быстрой скорости, которую вы не ожидаете
Для владельцев медленного интернета ознакомьтесь с этим замечательным сайтом от Google, чтобы путешествовать по Интернету на очень быстрой скорости, которую вы не ожидаете
Темы покрыты Показать
Многие интернет-пользователи страдают от этого уже давно, особенно в наших арабских странах, и интернет-сервис очень медленно превратился во что-то необычное, как если бы это была (черепаха), и это аналогия из меня к интернет-сервису, который у нас есть сейчас.
Читайте также Исключительно работающий GPS на телефоне без интернета с пояснением
Есть много проблем с Интернетом и его медлительностью, что доставляет большие неудобства при просмотре сайтов. И продолжаем на сайт Mecano Как обычно, мы предлагаем решения всех их проблем, и сегодня я пришел к вам с решением этой проблемы, найдя специальный сайт, который поможет ускорить Интернет на ваших телефонах и компьютерах, поэтому, пожалуйста, следите за ними.
Сайт, о котором я говорю, — это сайт GoogleWebLight Как следует из названия, он предоставляется Google и предназначен специально для стран со слабой пропускной способностью Интернета. Этот сайт поможет вам увеличить скорость просмотра более чем в 4 раза по сравнению с вашей. Кроме того, это будет значительно способствовать снижению затрат на Интернет, поскольку не потребляет никаких пакетов на телефонах по сравнению с обычным просмотром, который мы делаем.
Сначала вы должны войти на сайт по ссылке, которую я оставлю вам в конце сообщения, а затем появится официальная страница сайта, и через нее мы будем просматривать все сайты, которые мы хотим, введя ссылку сайта, который мы хотим посетить, в прямоугольнике на странице, и тогда вы будете наслаждаться потрясающей скоростью Интернета, и это связано с тем, что сайт сжимает страницы сайтов, которые мы просматриваем, что приведет к ускорению Интернета и значительному экономия в пакете данных.
Читайте также Посмотрите XNUMX самых просматриваемых видео на YouTube в XNUMX году
Ссылка на сайт GoogleWebLight
Googleweblight com что это
В реальных условиях данная задача практически невыполнима, ведь нет другого аналога той же самой Википедии, которая на данный момент насчитывает 5,8 миллионов статей на английском языке. Занимает объём в 46,6 миллионов страниц, и это все, по мнению Google, уникальный и полезный для пользователей контент.
Ситуация намного усложняется, если сайт является новым доменом и ещё не успевает обрасти обратными ссылками. В итоге такой сайт при благоприятных условиях может только рассчитывать на скорость индексации 500 своих страниц в сутки поисковым краулером Google — в месяц это получается всего 15 000 страниц. При таких темпах на вышеобозначенное число в 46 600 000 страниц потребуется 259 лет! Это реальное фиаско. Как же быть? Для получения ответов прибегают к техническому аудиту своих прямых конкурентов, у которых с индексацией нет проблем, например, к анализу сайта в 20 000 000 страниц, которому понадобилось чуть более года на индексацию.
Далее я отойду от повествования о привычных методиках и стратегиях. Пожалуй, самый популярный подход даже обсуждался здесь на блоге – это линкосапа в статье «Получаем дополнительную пользу от своих ресурсов». Я же развила идею благодаря новомодной доктрине корпорации Google. Вы все уже знакомы не понаслышке с тем, что самая крупнейшая поисковая система вызывающе ведёт широкомасштабные мероприятия по развёртыванию mobile-first индексации.
Если в двух словах, то поисковые краулеры будут в первую очередь обеспокоены релевантностью мобильных версий страниц сайта, а при их отсутствии — десктопных. Сами же представители компании на многочисленные вопросы поспешили заверить: «У нас по-прежнему один индекс, который мы используем для ранжирования результатов поиска. Нет мобильного индекса, который отделён от основного…»
Есть ли в этих словах какой-то скрытый подтекст, я не знаю, лишь в одном можно быть уверенным точно, что только время расставит все точки над «и». Поэтому, следуя своему фарватеру, который был раскрыт в статье «Индексация, минуя GoogleWebmastersTools», я не изменю своей концепции, раскрыв вам в итоге ещё один альтернативный способ индексации. Начну своё повествование с очевидных положений, которые известны практически каждому и, поэтапно ссужая эту условную частоту вариативности к минимуму, до получения «сухого остатка» в минорном варианте, раскрою ещё один способ индексации.
Согласно справки от support.google.com, всем доподлинно известно, что у Googlebot для мобильных версий сайтов имеется свой user-agent :
- Googlebot
А благодаря этой иллюстрации, вы можете наглядно увидеть, что Googlebot-Mobile принимает отнюдь не пассивное участие в индексации сайтов:
Нигде в официальных источниках мы не встретим того, что Googlebot-Mobile можно приглашать на сайт через онлайн-сервис, который помогает оценить сайт с позиции просмотра в режиме мобильного устройства. Для этого достаточно указать URL-адрес своего домена и дождаться проверки для последующего ознакомления с результатами анализа страницы сайта. С одной стороны, это было бы слишком просто, хотя и вполне приемлемым для всех вебмастеров.
Но команда разработчиков Google не из того замеса, чтоб налево и направо преподносить такие царские подарки. Именно они ограничили наши возможности, имплементировав своеобразные демаркационные зоны, которые всем известны, говоря иными словами у глобальной поисковой системы Google существуют многочисленные региональные дата-центры. В итоге я на выходе получаю публичный листинг, состоящий из тридцати пяти URL-адресов – «webmasters/tools/mobile-friendly»: