Гугл глобал кэш что это
Перейти к содержимому

Гугл глобал кэш что это

  • автор:

СМИ: Google отключила в РФ небольшую часть серверов Google Global Cache

Желтые точки — места размещения оборудования Google Global Cache.

По информации СМИ, компания Google начала процесс отключения в РФ небольшой части серверов Google Global Cache (GGC), установленных у некоторых провайдеров. Речи о прекращении работы системы GGC в стране пока не идет. Google уже остановила работу ряда своих узлов с формулировкой «в связи с изменениями в правовой сфере».

Эксперты пояснили, что Google с 19 мая уведомила часть операторов связи и провайдеров об одностороннем отключении установленных у них узлов GGC. Это в основном небольшие частные компании. Например, оренбургский оператор «Радиосвязь», который работает под брендом «Фокус лайф». Google предупредила, что свяжется в ближайшее время с каждым провайдером, у которого будет проходить процесс отключения GGC, чтобы корректно вывести данное оборудование из эксплуатации.

Представитель «Радиосвязи» рассказал, что Google сначала отключила сервера GGC, а потом прислало уведомление по этому инциденту.

Эксперты отрасли считают, что Google начала фиксировать уменьшение трафика у данного провайдера через свои системы и решила отключить GGC в целях экономии или оптимизации.

Аналогичное уведомление получил «МФТИ Телеком». В данном случае это произошло из-за санкций против компании.

Представители «Ростелекома», МТС и «Мегафона» пояснили, что Google не присылал им уведомления, не ограничивал и не отключал установленные у них узлы GGC, а доставка трафика с ресурсов Google осуществляется в сети в штатном режиме.

Профиль трафика по GGC от одного из операторов связи, на нем не фиксируются аномалии.

Кэширующие узлы GGC представляют собой часть инфраструктуры Google, которая находится к пользователям ближе всего и располагается в сети локальных операторов. На этих серверах временно хранится популярный контент, который часто запрашивают пользователи. Это ускоряет доступ к Google-сервисам: YouTube, Google Maps, Google Play. Такое решение экономит полосу пропускания и компании Google, и операторам связи.

Без GGC контент, запрашиваемый пользователями, поступает напрямую с серверов Google. С кэширующими серверами всю цепочку проходит, например, только первая копия видеоролика. Запросы последующих пользователей обслуживает оборудование GGC на стороне провайдера.

При возникновении проблем в элементах этой системы или прекращении работы узлов GGC в какой-либо стране, контент с сервисов Google будет грузиться медленнее, увеличится время загрузки некоторых сайтов. Особенно это будет заметно пользователям видеохостинга YouTube.

24 мая YouTube пообещал не уходить из России, чтобы обеспечить всем пользователям доступ к независимой информации.

18 мая ООО «Гугл» подала уведомление о намерении обратиться с заявлением о признании себя несостоятельным (банкротом). В сообщении российского офиса говорится, что компания с 22 марта 2022 года «предвидит собственное банкротство и невозможность исполнения денежных обязательств», в том числе требований о выплате выходных пособий и оплате труда сотрудников.

В марте и апреле Google вывезла за рубеж большую часть своих сотрудников из РФ и прекращает коммерческое присутствие в стране.

Google заявила, что все основные и доступные на данный момент сервисы компании продолжат работать в РФ после банкротства российского офиса. Google пообещала, что продолжит предоставлять пользователям из РФ бесплатные сервисы, такие как поисковик, YouTube, GMail, «Google Карты», Google Play и другие. Компания не уточнила, будут ли они поставляться с таким же высоким уровнем доставки и скоростью работы, как и ранее.

  • IT-инфраструктура
  • Сетевые технологии
  • Социальные сети и сообщества
  • Сетевое оборудование
  • IT-компании

Google Global Cache — для избранных

Одна из характеристик Google — предоставление качественный сервисов, бесплатно и с выгодой для себя.

Google Global Cache (GGC) — одно из решений по оптимизации огромных объемов своего трафика на базе платформы CDN, да еще и с пользой для пользователей (читай провайдеров).

Но что же все-таки это такое?

Взрыв широкополосного доступа и богатый мультимедийный контент постоянно увеличивает спрос от провайдеров Интернета (ISP). GGC позволяет предоставлять Google контент, в первую очередь видео, из собственной сети (провайдера). Это облегчает нагрузки на сеть и снижает затраты на транзитные линки, тем самым экономя деньги провайдеров, в то же время повышая уровень обслуживания пользователей.

Проект GGC находятся на стадии бета, поэтому соглашение с провайдером является коммерческой тайной, и запрещено использовать упоминания об этой услуги в своих целях.

Обзор системы

Без GGC, каждый запрос пользователя из сети провайдера на видео YouTube, Google Apps, etc. создает транзит этого экземпляра видео по сети, от Google к пользователю.
С GGC, только первая копия видео проходит транзит по всей сети. Если другой пользователь запрашивает то же видео, Google обслуживает его из узла GGC.

Особенности GGC

сокращение трафика через сети: процент запросов через cache варьирует в зависимости от схемы использования пользователей, но типичная производительность близка к 75%,

быстрый ответ, прозрачный для пользователей: Google прозрачно обслуживает пользователей запросы из кэша внутри сети,

простота установки: для установки требуется rack (шкаф), ноутбук, копия CD от Google, а также подключение к Интернету. После того как сервера были настроены и доступны из сети, Google будет делать всю остальную работу и мониторить удаленно,

надежность: узел имеет несколько уровней избыточности. Если узел GGC недоступен по любой причине, запросы пользователей будут отправлены прозрачно для Google.

Как GGC работает

Когда пользователь запрашивает части содержания — например, видео, веб-страницы или изображения — системы Google определяют, если этот ресурс может быть предоставлен из узла GGC внутри сети, и если пользователь имеет право доступа к узлу GGC.
Если узел GGC уже имеет закэшированую версию запрашиваемого контента в своем локальном кэше, он будет предоставлять контент непосредственно конечному потребителю, улучшая работу пользователей и экономя деньги за Интернет транзит.
Если содержимое не хранится на узле GGC, узел скачивает их из Google, предоставляет его пользователю, и хранит его для будущих запросов.

Диаграмма запросов

1. Пользователь запрашивает по ссылке видео или другой контент размещенный на Google. Компьютер генерирует запрос DNS для адреса хоста.
2. DNS провайдера запрашивает DNS Google на адрес IP хоста с содержанием.
3. DNS Google знает, что у вас есть GGC, так что ответы содержат IP адреса GGC узла провайдера.
Это известно, потому что провайдер анонсировал IP адреса DNS резолвера узлу GGC (через BGP) и Google обновил информацию в свой DNS.
4. DNS провайдера отвечает IP-адрес GGC узла пользователю.
5. Компьютер пользователя отправляет запрос на IP адрес который маршрутизируется на GGC узел.
6. Узел подтверждает, что пользователь имеет доступ к этому узлу (делается путем сопоставления IP-адресa пользователя в список блоков IP анонсированных через узел BGP.) Если адрес не является в списке, пользователь перенаправляется на кэш в сети Google.
7. Если контент не содержится на узле GGC, узел запрашивает контент из Google и кэширует его.
8. После того как узел GGC содержит контент, отдает его пользователю. Контент содержится на узле, так что следующий запрос может быть отдан без запроса к Google.

Предоставляемое оборудование от Google

Google предоставляет необходимое оборудование, провайдер должен обеспечить размещение с своем помещении, питание от электросети и подключение к Интернету.

GGC работает на стоечных серверах (rack mountable), по 3-8 в каждом кластере.

Характеристики серверов
• 2 RU Rack-mountable chassis
• 74см Д x 44см Щ x 8.64см В
• Вес: 28 КГ
• Блок питания: 2x 110/220 VAC.
• 4 x 1000Base-T copper Gigabit Ethernet
• IP адресация: выделенная подсеть (один широковещательный домен).

Возможные конфигурации:
3 сервера — 6RU 1200W
4 сервера — 8RU 1600W
6 сервера — 12RU 2400W
8 сервера — 16RU 3200W

Администрирование

Используется сайт ggcadmin.google.com, для конфигурации узла и информации о доставке. Первоначальный пользователь получает доступ к порталу от группы GGC.
После принятия бета-соглашения, пользователь может пригласить дополнительных пользователей.

Остальные детали

— Google сохраняет право собственности на оборудование и программное обеспечение, из которого составлен узел. Google будет отвечать за техническое обслуживание, поддержку и транспортные расходы, связанные с серверным оборудованием,
— По уверениям Google, конфиденциальность пользователей имеет первостепенное значение.
Личная информация (Personally Identifiable Information) или частный контет пользователей не сохраняется на узле GGC,
— Google сохраняет право требовать от провайдеров заверений о неразглашении использования услуги, так как проект находится в стадии бета.

Почему для избранных спросите вы?
Дело в том что Google обычно предлагает сам такие услуги только тем провайдерам, которые присутствуют в крупнейших точках обмена трафиком и если трафик на ресурсоемкие услуги Google (youtube, maps) составляют значительный процент от трафика (>70%).

Подозрительный кэш: ФСБ заинтересовалась серверами Google

Фото: Brian Snyder / Reuters

Роскомнадзор направил операторам связи по всей стране информацию о том, что Google устанавливает на сетях российских интернет-провайдеров несертифицированные серверы Google Global Cache, используемые для увеличения скорости доступа к ресурсам Google. Об этом говорится в письмах управлений Роскомнадзора по Курганской, Липецкой и Владимирской областям (копии всех документов есть в распоряжении РБК, их подлинность подтвердили сотрудники двух региональных интернет-провайдеров). В двух письмах говорится, что информация об использовании несертифицированных серверов Google Global Cache была получена Роскомнадзором от ФСБ. Роскомнадзор предупредил провайдеров, что установка данного оборудования без сертификатов соответствия повлечет за собой ответственность по ст. 13.6 КоАП, максимальное наказание по которой для юридических лиц составляет до 300 тыс. руб. «Для обеспечения целостности, устойчивости функционирования и безопасности единой сети электросвязи России является обязательным подтверждение соответствия установленным требованиям средств связи, используемых в сети связи общего доступа», — отмечено в письме временно исполняющего обязанности руководителя управления Роскомнадзора по Липецкой области Романа Бирюкова.

Представитель Роскомнадзора Вадим Ампелонский сообщил, что центральный аппарат действительно проинформировал свои территориальные органы об использовании несертифицированных средств. «К нам поступила актуальная информация, и мы обязаны обратить внимание наших территориальных органов, чтобы они были внимательны при проведении контрольно-надзорных мероприятий. Это обычная практика. Вне зависимости от бренда. Закон одинаково работает для всех», — сказал он РБК.

В Google не ответили на запрос РБК.

Как работает кэш

Серверы Google Global Cache предназначены для снижения нагрузки на сети связи и устанавливаются компанией Google в сетях крупных интернет-провайдеров. Серверы на некоторое время сохраняют тот контент, который запросил пользователь, например видео с YouTube. В дальнейшем, если это видео захочет просмотреть другой пользователь, оно будет передаваться ему уже не из дата-центра Google, а из внутренней сети провайдера с сервера Google Global Cache. Для пользователя это увеличивает скорость доступа, а операторам помогает снизить объемы трансграничного трафика и, как следствие, расходы на сетевую инфраструктуру. По оценке топ-менеджера одного из операторов «большой тройки», сейчас около 30% всего трафика в сетях операторов приходится на ресурсы Google.

Источник раздражения

Топ-менеджер одного из операторов «большой тройки», а также глава компании, работающей в сфере связи, утверждают, что серверы Google Global Cache не являются средством связи, а потому вообще не должны сертифицироваться. «Согласно перечню средств связи, подлежащих обязательной сертификации, серверы, которыми являются Google Global Cache, не входят в перечень, подлежащих обязательной сертификации», — подтверждает директор некоммерческой организации «Общество защиты интернета» Михаил Климарев. Он отмечает, что логика обязательной сертификации заключается в том, чтобы обеспечить работоспособность телекоммуникационных сетей и сделать так, чтобы различное оборудование одного оператора работало совместно с сетями и оборудованием других операторов. Поэтому обязательной сертификации подвергаются средства коммутации, оборудование радиосвязи и др. «Подобные предупреждения Роскомнадзора являются прямым нарушением действующего законодательства — они не вправе требовать то, что не запрещено и не оговорено в нормативно-правовой базе», — говорит Климарев.

Топ-менеджер одного из операторов «большой тройки» добавляет, что установкой данных серверов занимается не дочернее ООО «Гугл», как пишет Роскомнадзор, а подразделение глобального Google. Это подтверждает и директор по стратегическим проектам Института исследования интернета Ирина Левова: «Насколько мне известно, за продукт Google Global Cache отвечает глобальное подразделение Google, а не ООО «Гугл». «Google Global Cache по сути являются воротами для попадания любого контента к российским пользователям. Передача данных между Google Global Cache и серверами Google зашифрована. Поэтому при установке Google Global Cache внутри контура системы блокировки технически невозможно заблокировать контент Google», — говорит управляющий директор интернет-провайдера «Экотелеком» Сергей Никулин. Он отмечает, что серверы Google Global Cache устанавливаются Google за свой счет, провайдеру не принадлежат и им не управляются, но в то же время работают внутри его сети. «Эти факты, судя по всему, вызывают раздражение регулятора и являются препятствием к сертификации», — говорит Никулин. «У крупного федерального оператора связи кэширующих серверов от Google стоит огромное количество, — рассказывает представитель одного из операторов. — Если представить, что нужно будет от них всех отказаться, то серьезная нагрузка ляжет на серверы самого Google, которые стоят, в частности, на MSK-IX (крупнейшая в России точка обмена трафиком, расположенная в Москве), а также на зарубежные стыки между нашими и иностранными провайдерами», — говорит он. Ведущий специалист «Технического центра Интернет» Дмитрий Белявский отмечает, что Google Global Cache вряд ли несут какую-то угрозу пользователям или безопасности сети. «По утверждениям Google — а это единственное, на что мы можем опираться — Google Global Cache образует географически распределенную сетевую инфраструктуру (CDN — Content Delivery Network). Это не несет угроз пользователям: Google Global Cache — лишь кэширующий сервер, предназначенный для снижения нагрузки при доступе к популярным ресурсам. В таком случае в выигрыше остаются все — распределение всегда сильно повышает надежность и стабильность системы. Проблемы в безопасности могут возникнуть, если злоумышленники смогут вмешаться во взаимодействие этих серверов с центральными серверами Google, но тут я склонен ожидать повышения общей надежности или по крайней мере не понижения. Дополнительного сбора чувствительных, в первую очередь персональных, данных тут тоже нет», — говорит Белявский.

Что делать интернет-провайдеру после запрета Google Global Cache

Что делать интернет-провайдеру после запрета Google Global Cache

Google Global Cache (GGC) вне закона. Роскомнадзор сообщил российским интернет-провайдерам, что серверы GGC не сертифицированы, а значит, их использование юридическими лицами будет наказываться штрафом до 300 тыс. руб. Отказ от кэширующих серверов увеличит нагрузку на сети провайдеров и устройства самого Google, которые стоят на крупных точках обмена трафиком. Что делать интернет-провайдерам, чтобы уменьшить последствия запрета GGC?

Как и для чего работает GGC

Мировая аудитория YouTube – более одного миллиарда человек. Представьте, что все эти зрители одновременно начинают смотреть видео. Рекомендуемый битрейт видео для ролика с качеством 720p составляет 5 Мбит/c, соответственно, все пользователи создадут нагрузку на канал контент-провайдера Google около 4800 Тб/с. При всей мощи оборудования и ширины полос пропускания провайдера с такой нагрузкой справиться невозможно.

Для решения проблемы доступа к контенту Google использует Google Global Cache – серверы, которые располагаются в сети оператора связи или интернет-провайдера и кэшируют большинство типов данных:

  • Google Maps
  • приложения Android
  • обновления Chrome
  • картинки из поиска Google
  • видео сервиса Youtube.

Так как данный контент хранится на сервере внутри сети провайдера, то он не передается по магистральным каналам. Это снижает нагрузку на серверы Google, а также позволяет экономить полосу пропускания аплинка. По словам представителя оператора связи, около 30% всего трафика, передаваемого по их сети, – это именно сервисы Google.

Принцип работы Google Global Cache

Принцип работы Google Global Cache

Конечно, кэшированию подлежат не все передаваемые данные, а только самые востребованные, которые входят в топ просмотров или загрузок. Иначе системы хранения для GGC занимали бы слишком много места и стоили бы огромных денег, даже для такой компании, как Google.

По мнению специалистов телекоммуникационных компаний, сервер GGS не является средством связи и не должен подлежать обязательной сертификации, а значит, и запрещать его использование неправомерно. С другой стороны, согласно отчету Google, Россия является лидером среди других стран по требованиям заблокировать определенный контент в сети Интернет. Между главными серверами и Google Global Cache данные передаются в зашифрованном виде и не могут быть перехвачены или заблокированы, а сам кэш-сервер, установленный на сети оператора связи, принадлежит Google и управлению не поддается. Соответственно, запрет использования GGC выглядит как дополнительная мера контроля и цензуры распространяемых в сети Интернет запрещенных материалов.

К чему приведет запрет GGC

В первую очередь это коснется пользователей. Если отключение кэширования карт, обновлений и картинок не вызовет визуального ухудшения качества работы Сети, то с показом потокового видео возникнут определенные проблемы.

Популярное видео, которое сохранено на GGC внутри сети провайдера, доставляется пользователю без передачи по магистральным каналам, благодаря этому загрузка ролика происходит на максимально доступной скорости с мгновенным временем отклика. Передача того же контента напрямую с американского сервера будет происходить значительно медленнее и с ухудшением качества.

Нагрузка на аплинк провайдера приведет к необходимости увеличения полосы пропускания и росту тарифов доступа к сети Интернет.

Для операторов связи перспективы тоже не самые радужные. Сначала их обязывают к 1 июля 2018 года быть готовыми хранить весь абонентский трафик сроком до 6 месяцев, а метаданные – до 3 лет. Теперь запрещают кэшировать потоковое видео, а, следовательно, вынуждают вкладываться в магистральные каналы и расширение аплинка, так как весь видеотрафик будет выходить за пределы сети интернет-провайдера. По данным отчета МГТС, трафик стриминговых сервисов составляет 30% от всей полосы пропускания. К этому необходимо добавить растущую долю тяжелого видеоконтента, передаваемого через социальные сети и мессенджеры. Сейчас интернет-провайдер почти не платит за передачу этих данных, так как они лежат локально на сервере Google Global Cache. С введением запрета расходы на входящий трафик до оператора связи резко увеличатся.

Доля потокового видео в трафике интернет-провайдера

Доля потокового видео в трафике интернет-провайдера

Что делать интернет-провайдеру

Новые сложности и снова поиск путей их решения. Вместо того чтобы оптимизировать свою работу и снижать стоимость услуг, интернет-провайдерам вновь надо искать варианты справиться с проблемой законодательного характера. Возможно, ФСБ и Роскомнадзор преследуют благие цели своими блокировками и запретами, делая работу в Сети безопаснее, но страдают от таких мер как поставщики услуг, так и конечные пользователи.

Абоненты привыкли к домашним безлимитным тарифам – именно отсутствие ограничений по трафику выгодно отличает их от тарифов на мобильный интернет. Но скоро ограничения появятся. Возможно, они не будут явными, но на качестве доступа точно скажутся.

Единственный экономически эффективный путь оператора связи для работы в сложившейся ситуации – это классификация и приоритизация трафика для экономии полосы пропускания и обеспечения качества обслуживания (QoS).

Это позволяют делать системы глубокого анализа трафика (DPI), которые представлены на рынке несколькими отечественными и иностранными производителями. Их активно используют интернет-провайдеры для блокировки URL по спискам Роскомнадзора, а также для аналитики, проведения рекламных кампаний и ограничения по черным и белым спискам доступа. Решить проблему запрета Google Global Cache без качественных или финансовых потерь практически невозможно, но минимизировать их за счет использования систем DPI вполне реально.

Более подробную информацию о преимуществах современной системы глубокого анализа трафика СКАТ DPI, ее эффективном использовании на сетях операторов связи, а также о миграции с других платформ вы можете узнать у специалистов компании VAS Experts, разработчика и поставщика системы анализа трафика СКАТ DPI.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *