Дата-центры Google
_-_panoramio_-_erwinboogert_(2).jpg)
| Внешние видео | |
|---|---|
 YouTube | |
 Обзорный тур по дата-центру Google |
Центры обработки данных Google — это крупные центры обработки данных , которые Google использует для предоставления своих услуг . Они сочетают в себе большие диски, компьютерные узлы, организованные в рядах стоек, внутреннюю и внешнюю сеть, средства контроля окружающей среды (в основном контроль охлаждения и увлажнения) и операционное программное обеспечение (особенно касается балансировки нагрузки и отказоустойчивости ).
нет Официальных данных о том, сколько серверов находится в центрах обработки данных Google, Gartner , но в отчете за июль 2016 года подсчитали, что у Google на тот момент было 2,5 миллиона серверов. Это число меняется по мере того, как компания расширяет мощности и обновляет свое оборудование. [1]
Локации [ править ]
Расположение различных центров обработки данных Google по континентам следующее: [2] [3]
| Континент | Расположение | Гео | Расположение продуктов | Облачное расположение | График | Описание |
|---|---|---|---|---|---|---|
| Северная Америка | Аркола (Вирджиния), США | 38 ° 56'35,99 "с.ш. 77 ° 31'27,61" з.д. / / 38,9433306 | Округ Лаудон | Северная Вирджиния (США-Восток4) | 2017 - объявлено [4] [5] | |
| Северная Америка | Атланта (Джорджия), США | 33 ° 44'59,04 дюйма с.ш. 84 ° 35'5,33 дюйма з.д. / / 33,7497333 | округ Дуглас | - | 2003 г. – запущен | 350 сотрудников |
| Южная Америка | Серрильос, Сантьяго, Чили | 33 ° 31'14 "ю.ш. 70 ° 43'18" з.д. / / 33,520515 [6] | - | Сантьяго (Южная Америка-Запад1) | 2020 - объявлено [7]
2021 г. - запущен [8] |
|
| Азия | Округ Чанхуа, Тайвань | 24 ° 08'18,6 "N 120 ° 25'32,6" E / / 24,138500 | Уезд Чанхуа | Тайвань
(Азия-Восток1) |
2011 г. - объявлено
2013 г. - запущен |
60 сотрудников |
| Северная Америка | Кларксвилл (Теннесси), США | 36 ° 37'16 "N 87 ° 15'47" W / / 36,6211599 | Округ Монтгомери | - | 2015 г. - объявлено | |
| Северная Америка | Колумбус (Огайо), США | - | Колумбус (США-Восток5) | 2022 г. - запущен [9] | ||
| Северная Америка | Каунсил-Блафс (Айова), США | 41°13′17.7″N 95°51′49.92″W / 41.221583°N 95.8638667°W | Каунсил-Блафс | 2007 г. - объявлено
2009 г. - завершен первый этап 2012 и 2015 годы - расширено |
130 сотрудников | |
| Северная Америка | Каунсил-Блафс (Айова), США | 41°10′06″N 95°47′46″W / 41.1682533°N 95.7961246°W | Айова (центр США1) | |||
| Азия | Дели, Индия | - | Дели (Азия-Юг2) | 2020 - объявлено
2021 г. - запущен [10] |
||
| Средний Восток | Доха, Катар | - | Доха (центральный1) | 2023 г. - запущен [11] | ||
| Европа | Дублин, Ирландия | 53 ° 19'12,39 дюйма с.ш. 6 ° 26'31,43 дюйма з.д. / / 53,3201083 | Дублин | - | 2011 г. - объявлено
2012 г. - запущен |
150 сотрудников [12] |
| Европа | Эмсхавен, Нидерланды | 53 ° 25'31 ″ с.ш. 6 ° 51'44 ″ в.д. / / 53,4252171 | Эмсхавен | 2014 г. - объявлено
2016 г. - запущен 2018, 2019 - расширение |
200 сотрудников | |
| Европа | Франкфурт, Германия | 50 ° 07'21 ″ с.ш. 8 ° 58'27 ″ в.д. / / 50,1226299 [13] | - | Франкфурт (Европа-Запад3) | 2022 г. - расширен [14] | |
| Европа | Фредерисия, Дания | 55 ° 33'29,5" с.ш. 9 ° 39'20,8" в.д. / / 55,558194 | Фредерисия | - | 2018 - объявлено [15]
2020 г. - запущен |
Затраты на строительство 600 миллионов евро |
| Европа | Глин, Эно, Бельгия | 50 ° 28'09,6 "N 3 ° 51'55,7" E / / 50,469333 | Сен-Гислен | Бельгия (Европа-Запад1) | 2007 г. - объявлено
2010 г. - запущен |
12 сотрудников |
| Европа | Хамина, Финляндия | 60 ° 32'11,68 "с.ш. 27 ° 7'1,21" в.д. / / 60,5365778 | Хамина | Финляндия
(Европа-север1) |
2009 г. - объявлено
2011 г. – завершен первый этап. 2022 г. - расширение |
6 зданий, 400 сотрудников [16] |
| Северная Америка | Хендерсон (Невада), США | 36 ° 03'20 "N 115 ° 00'37" W / / 36,0556248 | Хендерсон | Лас-Вегас (США-Запад4) | 2019 - объявлено [17]
2020 г. - запущен |
64 акра; Затраты на строительство 1,2 миллиарда долларов [18] [19] |
| Азия | Гонконг, Гонконг | - | Гонконг (Азия-Восток2) | 2017 - объявлено [20]
2018 г. - запущен [21] |
||
| Азия | Инзай, Япония | 35 ° 49'04 "N 140 ° 07'57" E / / 35,8177804 | Операция | - | 2023 г. - запущен | |
| Азия | Джакарта, Индонезия | - | Джакарта (Азия-Юго-Восток2) | 2020 г. - запущен [22] | ||
| Азия | Кото-Ку, Токио, Япония | - | Токио
(Азия-Северо-Восток1) |
2016 г. - запущен [23] | ||
| Северная Америка | Лисбург (Вирджиния), США | 39 ° 3'6,38 дюйма с.ш. 77 ° 32'20,38 дюйма з.д. / /39,0517722 | Округ Лаудон | Северная Вирджиния (США-Восток4) | 2017 - объявлено [4] [5] | |
| Северная Америка | Ленуар (Северная Каролина), США | 35 ° 53'54,78 "N 81 ° 32'50,58" W / / 35,8985500 | Ленуар | - | 2007 г. - объявлено
2009 г. - запущен |
более 110 сотрудников |
| Азия | Лок Янг Вэй, Пионер, Сингапур | 1 ° 19'26 "N 103 ° 41'36" E / / 1,3239859 [24] | Сингапур | Сингапур (Азия-Юго-Восток1) | 2022 г. - запущен | |
| Европа | Лондон, Великобритания | - | Лондон
(Европа-Запад2) |
2017 г. - запущен [25] | ||
| Северная Америка | Лос-Анджелес (Калифорния), США | - | Лос-Анджелес (США-Запад2) | |||
| Европа | Мадрид, Испания | 40 ° 31'10 "N 3 ° 20'27" W / / 40,5195333 | - | Мадрид (Европа-Юго-Запад1) | 2022 г. - запущен [26] | |
| Тихий океан | Мельбурн, Австралия | - | Мельбурн
(Австралия-Юго-Восток2) |
2021 г. - запущен [27] | ||
| Европа | Мидденмер, Северная Голландия, Нидерланды | 52 ° 47'24 "N 5 ° 01'45" E / / 52,7901053 [28] | Мидденмер | Нидерланды (Европа-Запад4) | 2019 - объявлено [29] | |
| Северная Америка | Мидлотиан (Техас), США | 32 ° 26'35 "N 97 ° 03'44" W / / 32,443170 | Мидлотиан | Даллас (США-Юг1) | 2019 - объявлено
2022 г. - запущен [30] |
375 акров; Затраты на строительство 600 миллионов долларов [31] |
| Европа | Милан, Италия | - | Милан (Европа-Запад8) | 2022 г. - запущен [32] | ||
| Северная Америка | Монкс Корнер (Южная Каролина), США | 33 ° 03'50,8 "N 80 ° 02'36,1" W / / 33,064111 | Округ Беркли | Южная Каролина (США-Восток1) | 2007 г. - запущен
2013 г. - расширен |
150 сотрудников |
| Северная Америка | Монреаль, Квебек, Канада [33] | - | Монреаль (Северная Америка-Северо-Восток1) | 2018 г. - запущен [34] | 62,4 га; Затраты на строительство 600 миллионов долларов [35] | |
| Азия | Мумбаи, Индия | - | Мумбаи (Южная Азия1) | 2017 г. - запущен [36] | ||
| Северная Америка | Нью-Олбани (Огайо), США | 40 ° 03'41 ″ с.ш. 82 ° 45'31 ″ з.д. / / 40,0613352 | Нью-Олбани | - | 2019 - объявлено | 400 акров; Затраты на строительство 600 миллионов долларов [37] [38] |
| Азия | Осака, Япония | - | Осака
(Азия-Северо-Восток2) |
2019 г. - запущен [39] | ||
| Южная Америка | Осаско, Сан-Паулу, Бразилия | - | Сан-Паулу (Южная Америка-Восток1) | 2017 г. - запущен [40] | ||
| Северная Америка | Papillion (NE), USA | 41 ° 08'00" с.ш. 96 ° 08'39" з.д. / / 41,1332915 | Папильон | - | 2019 - объявлено | 275 акров; Затраты на строительство 600 миллионов долларов [41] [42] |
| Европа | Париж, Франция | - | Париж (Европа-Запад9) | 2022 г. - запущен [43] | ||
| Северная Америка | Прайор-Крик (ОК), США | 36°14′28.1″N 95°19′48.22″W / 36.241139°N 95.3300611°W | Округ Мэйс | - | 2007 г. - объявлено
2012 г. - расширен |
более 400 сотрудников, [44] земля в индустриальном парке MidAmerica |
| Южная Америка | Киликура, Сантьяго, Чили | 33 ° 21'30,5 "ю.ш., 70 ° 41'50,4" з.д. / /33,358472 | Киликура | - | 2012 г. - объявлено
2015 г. - запущен |
ожидается до 20 сотрудников. В 2018 году было объявлено об инвестиционном плане на миллион долларов по увеличению мощностей в Киликуре. [45] |
| Северная Америка | Рено (Невада), США | 39 ° 30'04 "N 119 ° 25'46" W / / 39,5011558 | Стори Каунти | - | 2017 г. — куплено 1210 акров земли в промышленном центре Тахо-Рино. [46]
2018 - объявлено |
|
| Северная Америка | Солт-Лейк-Сити (Юта), США | - | Солт-Лейк-Сити (США-Запад3) | 2020 г. - запущен [49] | ||
| Азия | Сеул, Южная Корея | - | Сеул
(Азия-Северо-Восток3) |
2020 г. - запущен [50] | ||
| Тихий океан | Сидней, Австралия | - | Сидней
(Австралия-Юго-Восток1) |
2017 г. - запущен [51] | ||
| Средний Восток | Тель-Авив, Израиль [52] | - | Тель-Авив (me-west1) | 2022 г. - запущен [53] | ||
| Северная Америка | Даллес (Орегон), США | 45 ° 37'57,04 дюйма с.ш. 121 ° 12'8,16 дюйма з.д. / / 45,6325111 | Даллес | Орегон (США-Запад1) | 2006 г. - запущен | 80 штатных сотрудников |
| Северная Америка | Торонто, Канада | - | Торонто (Северная Америка-северо-восток2) | 2021 г. - запущен [54] | ||
| Европа | Турин, Италия | 45 ° 08'48 "N 7 ° 44'32" E / / 45,146729 | - | Турин (Европа-Запад12) | 2023 г. - запущен [55] | |
| Южная Америка | Винхедо, Сан-Паулу, Бразилия | Сан-Паулу (Южная Америка-Восток1) | ||||
| Европа | Варшава, Польша | - | Варшава (центральная Европа2) | 2019 - объявлено
2021 г. - запущен [56] |
||
| Азия | Венья, Джуронг Вест, Сингапур | 1 ° 21'04,8 "N 103 ° 42'35,2" E / / 1,351333 | Сингапур | Сингапур (Азия-Юго-Восток1) | 2011 г. - объявлено
2013 г. - запущен 2015 г. - расширен |
|
| Северная Америка | Вдовс-Крик (Бриджпорт) (Алабама), США | 34 ° 54'48,4" с.ш. 85 ° 44'53,1" з.д. / /34,913444 [57] | Джексон Каунти | - | 2018 год – прорыв | |
| Европа | Цюрих, Швейцария | 47 ° 26'45 "N 8 ° 12'39" E / / 47,4459257 [58] | - | Цюрих (Европа-Запад6) | 2018 - объявлено
2019 г. - запущен [59] |
|
| Европа | Австрия | 2022 г. - объявлено [60] | ||||
| Европа | Берлин, Германия [61] | Берлин (Европа-Запад10) | 2021 г. - объявлено [62] 2023 август - запущен [63] | |||
| Средний Восток | Даммам, Саудовская Аравия | 2021 г. - объявлено [64] | ||||
| Европа | Афины, Греция | 2022 г. - объявлено [60] | ||||
| Северная Америка | Канзас-Сити, Миссури | 2019 - объявлено [65] | ||||
| Средний Восток | Кувейт | 2023 г. - объявлено [66] | ||||
| Азия | Малайзия | 2022 г. - объявлено [67] | ||||
| Тихий океан | Окленд, Новая Зеландия | 2022 г. - объявлено [67] | ||||
| Европа | Осло, Норвегия | 2022 г. - объявлено [60] | ||||
| Северная Америка | Керетаро, Мексика | 2022 г. - объявлено [68] | ||||
| Африка | Йоханнесбург, Южная Африка | Йоханнесбург (Африка-Юг1) | 2022 г. - объявлено [60] 2024 г. - запущен | |||
| Европа | Швеция | 2022 г. - объявлено [60] | ||||
| Азия | Тайнань, Тайвань | - | Тайвань
(Азия-Восток1) |
2019 сентябрь - объявлено [69] [70] [71] | ||
| Азия | Таиланд | 2022 г. - объявлено [67] | ||||
| Азия | Округ Юньлинь, Тайвань | - | Тайвань (Азия-Восток1) | 2020 сентябрь - объявлено [72] | ||
| Европа | Уолтем-Кросс, Хартфордшир, Великобритания | 51 ° 41'44 "N 0 ° 02'55" W / / 51,695666 | 2024 Январь - объявлено [73] |
Аппаратное обеспечение [ править ]
Оригинальное оборудование [ править ]
Исходное оборудование (около 1998 года), которое использовалось Google, когда оно располагалось в Стэнфордском университете, включало: [74]
- Sun Microsystems Ultra II с двумя процессорами по 200 МГц и 256 МБ памяти оперативной . Это была основная машина оригинальной системы Backrub .
- с тактовой частотой 300 МГц 2 двойных сервера Pentium II , подаренные Intel , они включали 512 МБ ОЗУ и 10 жестких дисков по 9 ГБ между ними. Именно по ним и шел основной поиск.
- F50 IBM RS/6000 , подаренный IBM , включал 4 процессора, 512 МБ памяти и 8 × 9 ГБ жестких дисков.
- Две дополнительные коробки включали в себя 3 жестких диска по 9 ГБ и 6 жестких дисков по 4 ГБ соответственно (исходное хранилище для Backrub). Они были прикреплены к Sun Ultra II.
- Блок расширения SSD-диска с еще одним жестким диском 8 × 9 ГБ, подаренным IBM.
- Самодельный дисковод, в котором находились 10 SCSI емкостью 9 ГБ. жестких дисков
Производственное оборудование [ править ]
По состоянию на 2014 год Google использовал сильно модифицированную версию Debian Linux . В 2013 году они постепенно перешли с системы на базе Red Hat. [75]
Цель настройки — приобрести поколения процессоров, которые предлагают наилучшую производительность за доллар, а не абсолютную производительность. Как это измеряется, неясно, но, скорее всего, сюда будут включены эксплуатационные расходы всего сервера, а энергопотребление ЦП может быть существенным фактором. [76] Серверы по состоянию на 2009–2010 годы представляли собой изготовленные на заказ системы с открытым верхом, содержащие два процессора (каждый с несколькими ядрами). [77] ), значительный объем оперативной памяти, распределенный по 8 слотам DIMM, в которых размещены модули DIMM двойной высоты, и как минимум два жестких диска SATA, подключенных через нестандартный блок питания размера ATX. [78] Серверы были с открытым верхом, поэтому в стойку можно было поместить больше серверов. Согласно CNET и книге Джона Хеннесси , каждый сервер имел новую 12-вольтовую батарею для снижения затрат и повышения энергоэффективности. [77] [79]
По данным Google, электрическая мощность их глобального центра обработки данных колеблется от 500 до 681 мегаватт . [80] [81] В 2008 году совокупная вычислительная мощность этих серверов могла достигать от 20 до 100 петафлопс . [82]
Топология сети [ править ]
Подробная информация о всемирных частных сетях Google не является общедоступной, но публикации Google [83] [84] ссылайтесь на отчет «Atlas Top 10», в котором Google занимает третье место по величине интернет-провайдера после уровня 3 .
Чтобы управлять такой большой сетью с прямыми подключениями к как можно большему количеству интернет-провайдеров с минимально возможными затратами, Google придерживается очень открытой политики пиринга . [85]
На этом сайте мы видим, что доступ к сети Google можно получить из 67 общедоступных точек обмена и 69 различных мест по всему миру. По состоянию на май 2012 года у Google было 882 Гбит/с общедоступного подключения (не считая соглашений о частном пиринге, которые Google заключил с крупнейшими интернет-провайдерами). Эта общедоступная сеть используется для распространения контента среди пользователей Google, а также для сканирования Интернета для создания поисковых индексов. Частная сторона сети является секретом, но недавнее раскрытие информации от Google [86] указывают, что они используют специально построенные коммутаторы-маршрутизаторы с большим основанием (с емкостью порта 128 × 10 Gigabit Ethernet ) для глобальной сети . Запустив не менее двух маршрутизаторов на центр обработки данных (для резервирования), можно сделать вывод, что сеть Google масштабируется в диапазоне терабит в секунду (при двух полностью загруженных маршрутизаторах двухсекционная пропускная способность составляет 1280 Гбит/с).
Эти специальные коммутаторы-маршрутизаторы подключаются к устройствам DWDM для соединения центров обработки данных и точек присутствия (PoP) через темное оптоволокно .
С точки зрения центра обработки данных сеть начинается на уровне стойки, где 19-дюймовые стойки изготавливаются по индивидуальному заказу и содержат от 40 до 80 серверов (от 20 до 40 серверов высотой 1 U с каждой стороны, а новые серверы представляют собой системы, монтируемые в стойку 2U). [87] В каждой стойке имеется коммутатор Ethernet ). Серверы подключаются через Ethernet- канал 1 Гбит/с к коммутатору верхней части стойки (TOR). Затем коммутаторы TOR подключаются к коммутатору гигабитного кластера с использованием нескольких гигабитных или десятигигабитных восходящих каналов. [88] Сами коммутаторы кластера соединены между собой и образуют структуру межсоединений центра обработки данных (скорее всего, с использованием конструкции «стрекозы», а не классической схемы «бабочка» или «плоской бабочки»). [89] ).
С точки зрения эксплуатации, когда клиентский компьютер пытается подключиться к Google, несколько DNS-серверов разрешают www.google.comна несколько IP-адресов с помощью политики циклического перебора . Более того, это действует как первый уровень балансировки нагрузки и направляет клиента в разные кластеры Google. Кластер Google имеет тысячи серверов , и как только клиент подключается к серверу, выполняется дополнительная балансировка нагрузки для отправки запросов на наименее загруженный веб-сервер. Это делает Google одной из крупнейших и наиболее сложных сетей доставки контента . [90]
У Google есть множество центров обработки данных, разбросанных по всему миру. По меньшей мере 12 крупных дата-центров Google расположены в США. Крупнейшие известные центры расположены в Даллесе, штат Орегон ; Атланта, Джорджия ; Рестон, Вирджиния ; Ленуар, Северная Каролина ; и Монкс Корнер, Южная Каролина . [91] В Европе крупнейшие известные центры находятся в Эмсхафене и Гронингене в Нидерландах и Монсе в Бельгии . [91] Дата-центр Google в Океании расположен в Сиднее , Австралия . [92]
Топология сети дата-центра [ править ]
Для поддержки отказоустойчивости , увеличения масштаба центров обработки данных и размещения коммутаторов с малым числом оснований Google Clos . в прошлом применяла различные модифицированные топологии [93]
Проект 02 [ править ]
Один из крупнейших дата-центров Google расположен в городке Даллес, штат Орегон , на реке Колумбия , примерно в 80 милях (129 км) от Портленда . Комплекс под кодовым названием «Проект 02» был построен в 2006 году и имеет размер примерно двух полей для американского футбола , с . четырехэтажными градирнями [94] [95] Это место было выбрано для того, чтобы воспользоваться преимуществами недорогой гидроэлектроэнергии и задействовать большой избыток волоконно -оптического кабеля в регионе, оставшийся после бума доткомов . Проект сайта появился в 2008 году. [96]
Бумажная фабрика Сумма [ править ]
В феврале 2009 года Stora Enso объявила, что продала бумажную фабрику Summa в Хамине , Финляндия , компании Google за 40 миллионов евро. [97] [98] Google инвестировала 200 миллионов евро в строительство центра обработки данных и объявила о дополнительных инвестициях в 150 миллионов евро в 2012 году. [99] [100] Google выбрал это место из-за наличия и близости возобновляемых источников энергии. [101]
Плавающие дата-центры [ править ]
В 2013 году пресса сообщила о существовании плавучих центров обработки данных Google вдоль побережий штатов Калифорния ( сокровищ здание 3 острова ) и Мэн. Проект разработки держался в строжайшей тайне. Центры обработки данных имеют длину 250 футов, ширину 72 фута и глубину 16 футов. Патент на технологию охлаждения океанских центров обработки данных был куплен Google в 2009 году. [102] [103] (вместе с патентом на корабельный центр обработки данных с использованием волновой энергии в 2008 г.) [104] [105] ). Вскоре после этого Google заявил, что две массивные и тайно построенные инфраструктуры были просто «интерактивными учебными центрами, [...] пространством, где люди могут узнавать о новых технологиях». [106]
Google остановила работы над баржами в конце 2013 года и начала их продажу в 2014 году. [107] [108]
Программное обеспечение [ править ]
Большая часть программного обеспечения , которое Google использует на своих серверах, была разработана собственными силами. [109] По словам известного сотрудника Google, C++ , Java , Python и (в последнее время) Go имеют преимущество перед другими языками программирования. [110] Например, серверная часть Gmail написана на Java, а серверная часть Google Search — на C++. [111] Google признал, что Python играл важную роль с самого начала и продолжает играть эту роль по мере роста и развития системы. [112]
Программное обеспечение, управляющее инфраструктурой Google, включает в себя: [113]
- Веб-сервер Google (GWS) — специальный веб-сервер на базе Linux, который Google использует для своих онлайн-сервисов.
- Системы хранения:
- Файловая система Google и ее преемник Colossus [114] [115]
- Bigtable — структурированное хранилище, построенное на базе GFS/Colossus. [114]
- Spanner - база данных планетарного масштаба, поддерживающая внешне согласованные распределенные транзакции. [114] [116]
- Google F1 – распределенная квази -SQL СУБД на базе Spanner, заменяющая пользовательскую версию MySQL. [117]
- Служба блокировки пухлых
- MapReduce и Sawzall Язык программирования
- Системы индексирования/поиска:
- Borg Программное обеспечение для декларативного планирования процессов
Google разработал несколько абстракций, которые использует для хранения большей части своих данных: [121]
- Протокольные буферы - «Лингва-франка Google для данных», [122] формат двоичной сериализации, широко используемый в компании.
- SSTable (таблица отсортированных строк) — постоянная, упорядоченная, неизменяемая карта ключей и значений, где и ключи, и значения представляют собой произвольные байтовые строки. Он также используется как один из строительных блоков Bigtable. [123]
- RecordIO — последовательность записей переменного размера. [121] [124] [125]
Практика обеспечения программного разработки
Большинство операций доступны только для чтения. Когда требуется обновление, запросы перенаправляются на другие серверы, чтобы упростить проблемы согласованности. Запросы делятся на подзапросы, причем эти подзапросы могут отправляться в разные каналы параллельно , что сокращает время задержки. [87]
Чтобы уменьшить последствия неизбежных сбоев оборудования , программное обеспечение разрабатывается как отказоустойчивое . Таким образом, когда система выходит из строя, данные по-прежнему доступны на других серверах, что повышает надежность.
Поисковая инфраструктура [ править ]
Индекс [ править ]
Как и большинство поисковых систем, Google индексирует документы, создавая структуру данных, известную как инвертированный индекс . Такой индекс получает список документов по слову запроса. Индекс очень большой из-за количества документов, хранящихся на серверах. [90]
Индекс разделен по идентификаторам документов на множество частей, называемых шардами . Каждый осколок реплицируется на несколько серверов. Первоначально индекс обслуживался с жестких дисков , как это делается в традиционных системах поиска информации (IR). Google справился с растущим объемом запросов, увеличив количество реплик каждого сегмента и, таким образом, увеличив количество серверов. Вскоре они обнаружили, что у них достаточно серверов, чтобы хранить копию всего индекса в основной памяти (хотя с низкой репликацией или вообще без репликации), и в начале 2001 года Google перешел на систему индексирования в памяти . Этот переключатель «радикально изменил многие параметры конструкции» их поисковой системы и позволил значительно увеличить пропускную способность и значительно уменьшить задержку запросов. [126]
В июне 2010 года Google представил систему индексирования и обслуживания нового поколения под названием «Caffeine», которая может непрерывно сканировать и обновлять поисковый индекс. Раньше Google обновлял свой поисковый индекс пакетно, используя серию заданий MapReduce . Индекс был разделен на несколько слоев, некоторые из которых обновлялись быстрее других, а основной слой не обновлялся в течение двух недель. При использовании Caffeine весь индекс постоянно обновляется постепенно. Позже Google представила систему распределенной обработки данных под названием «Percolator». [127] который считается основой системы индексации кофеина. [119] [128]
Типы серверов [ править ]
Серверная инфраструктура Google разделена на несколько типов, каждый из которых предназначен для разных целей: [87] [90] [129] [130] [131]
- Веб-серверы координируют выполнение запросов, отправленных пользователями, а затем форматируют результат в HTML- страницу. Выполнение состоит из отправки запросов на индексные серверы, объединения результатов, вычисления их ранга, получения сводки для каждого обращения (с использованием сервера документов), запроса предложений от серверов правописания и, наконец, получения списка рекламных объявлений с рекламного сервера. .
- Серверы сбора данных постоянно предназначены для просмотра веб-страниц. Веб-сканер Google известен как GoogleBot. Они обновляют базы данных индексов и документов и применяют алгоритмы Google для присвоения рейтингов страницам.
- Каждый индексный сервер содержит набор сегментов индекса. Они возвращают список идентификаторов документов («docid»), так что документы, соответствующие определенному документу, содержат слово запроса. Этим серверам требуется меньше дискового пространства, но они испытывают наибольшую нагрузку на процессор.
- Серверы документов хранят документы. Каждый документ хранится на десятках серверов документов. При выполнении поиска сервер документов возвращает сводку документа на основе слов запроса. Они также могут получить полный документ, когда их об этом попросят. Этим серверам требуется больше дискового пространства.
- Рекламные серверы управляют рекламой, предлагаемой такими службами, как AdWords и AdSense .
- Серверы проверки правописания вносят предложения по написанию запросов.
Безопасность [ править ]
| Внешние видео | |
|---|---|
YouTube | |
| Безопасность центра обработки данных Google: 6 уровней глубины |
В октябре 2013 года газета The Washington Post США сообщила, что Агентство национальной безопасности перехватило связь между дата-центрами Google в рамках программы под названием MUSCULAR . [132] [133] Такое прослушивание стало возможным потому, что в то время Google не шифровала данные, передаваемые внутри собственной сети. [134] Это было исправлено, когда в 2013 году Google начал шифровать данные, передаваемые между центрами обработки данных. [135]
Воздействие на окружающую среду
Самый эффективный центр обработки данных Google работает при температуре 35 °C (95 °F) и использует только охлаждение приточным воздухом и не требует кондиционирования воздуха с электроприводом. [136]
В декабре 2016 года Google объявила, что начиная с 2017 года она будет закупать достаточное количество возобновляемой энергии, чтобы обеспечить 100% энергопотребление ее центров обработки данных и офисов. Это обязательство сделает Google «крупнейшим в мире корпоративным покупателем возобновляемой энергии, обязательства которого достигнут 2,6 гигаватт (2600 мегаватт) ветровой и солнечной энергии». [137] [138] [139]
Ссылки [ править ]
- ^ «Сколько серверов у Google?» . Знание дата-центра . 16 марта 2017 г. Проверено 20 сентября 2018 г.
- ^ «Центры обработки данных Google, местоположения» . Проверено 21 июля 2014 г.
- ^ «ISO/IEC 27001 – Соответствие» . Гугл облако . Проверено 11 июля 2023 г.
- ^ Перейти обратно: а б Отчет, Times-Mirror Staff (19 июня 2019 г.). «Google ограничивает инвестиции в размере 600 миллионов долларов в округе Лаудоун» . LoudounTimes.com . Проверено 12 февраля 2021 г.
- ^ Перейти обратно: а б «Google планирует построить 2 центра обработки данных Loudoun» . LoudounNow.com . 29 ноября 2017 года . Проверено 12 апреля 2023 г.
- ^ Арельяно (CIPER), Альберто (25 мая 2020 г.). «Темные области экологической экспертизы, которая «слепо» санкционировала мегапроект Google в Серрильосе» . CIPER Чили (на испанском языке) . Проверено 10 июля 2023 г.
- ^ «Google установил новый центр обработки данных в Чили» . diarioeldia.cl (на испанском языке). Архивировано из оригинала 22 сентября 2021 года . Проверено 28 сентября 2019 г.
- ^ «Новый регион Google Cloud в Сантьяго, весь потенциал облака теперь ближе» . Google . 1 декабря 2021 г. . Проверено 10 июля 2023 г.
- ^ «Регион Google Cloud теперь доступен в Колумбусе, штат Огайо» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Намасте, Индия. Наш новый облачный регион в Дели, НКР, уже запущен» . Cloudonair.withgoogle.com .
- ^ «Новый регион Google Cloud теперь открыт в Катаре» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Дублин, Ирландия – Центры обработки данных – Google» . www.google.com . Проверено 2 апреля 2019 г.
- ^ «ПРОЕКТ В ГАНАУ: ЦЕНТР ДАННЫХ, РАЗРАБОТАННЫЙ ДЛЯ GOOGLE» . НДЦ ГАРБЕ . 2 сентября 2021 г.
- ^ «Google Cloud инвестирует в Германию в новую инфраструктуру и устойчивую энергетику» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Первый центр обработки данных Google в Дании» . Google . 20 ноября 2018 г. Проверено 10 июля 2023 г.
- ^ «Google получает зеленый свет для своего шестого центра обработки данных в Хамина, Финляндия» . 11 сентября 2020 г.
- ^ «Инвестируя в инфраструктуру Google, инвестируя в Неваду» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ Торрес-Кортес, Рикардо (16 сентября 2020 г.). «Google инвестирует дополнительно 600 миллионов долларов в дата-центр Хендерсона – газета Las Vegas Sun» . lasvegassun.com . Проверено 12 февраля 2021 г.
«Благодаря этому последнему объявлению Google доведет общий объем инвестиций в город Хендерсон до 1,2 миллиарда долларов», — заявила мэр Дебра Марч в своем сообщении.
- ^ Бакстел. «Центр обработки данных Google Хендерсон, штат Невада» . baxtel.com . Проверено 12 февраля 2021 г.
- ^ «Скоро: регион Гонконга GCP» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Расширение нашего присутствия в Азиатско-Тихоокеанском регионе: новые регионы GCP в Гонконге и Джакарте» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Новый регион Google Cloud в Джакарте открыт» . Блог Google Cloud . Проверено 15 сентября 2021 г.
- ^ «Регион Google Cloud Platform в Токио теперь открыт для бизнеса» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Гугл – Сингапур» . www.streetdirectory.com . Проверено 11 июля 2023 г.
- ^ «Облачная платформа Google теперь открыта в Лондоне» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Открыт новый регион Google Cloud в Мадриде, Испания» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Регион Google Cloud в Мельбурне теперь открыт» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ "Добро пожаловать" . Agriport A7 (на голландском языке) . Проверено 10 июля 2023 г.
- ^ «Google потратит 1,1 миллиарда долларов на новые центры обработки данных в Нидерландах» . Знание дата-центра . 24 июня 2019 г.
- ^ «Регион Google Cloud теперь доступен в Далласе, штат Техас» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Огромный дата-центр Google стоимостью 600 миллионов долларов формируется в округе Эллис, поскольку технологический гигант расширяет свое присутствие в Техасе» . Далласские новости . 14 июня 2019 г. Проверено 12 февраля 2021 г.
- ^ «Открыт новый регион Google Cloud в Милане, Италия» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Проект по расширению деятельности Google в Квебеке — Будущий компьютерный центр обработки данных в Богарнуа» . www.quebec.ca (на французском языке) . Проверено 10 мая 2021 г.
- ^ «GCP прибывает в Канаду с запуском региона Монреаль» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Постоянные обязательства Google в Квебеке» . Блог Google — Новости компании . Проверено 12 февраля 2021 г.
- ^ Стивер, Дэйв (1 ноября 2017 г.). «GCP прибывает в Индию с запуском региона Мумбаи» . Блог Google Cloud . Проверено 30 июля 2019 г.
- ^ Уильямс, Марк. «Google присоединяется к высокотехнологичной компании Нью-Олбани с центром обработки данных стоимостью 600 миллионов долларов» . Сообщение «Колумбус» . Архивировано из оригинала 30 декабря 2020 года . Проверено 12 февраля 2021 г.
- ^ «Нью-Олбани, Огайо – Центры обработки данных – Google» . Дата-центры Google . Проверено 12 февраля 2021 г.
- ^ «Google Cloud запускает новый регион Осака для поддержки растущей клиентской базы в Японии» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «GCP прибывает в Южную Америку с запуском региона Сан-Паулу!» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Google подтверждает, что стоит за проектом центра обработки данных Papillion стоимостью 600 миллионов долларов» . www.datacenterdynamics.com . Проверено 12 февраля 2021 г.
- ^ «Папиллион, Небраска – Центры обработки данных – Google» . Дата-центры Google . Проверено 12 февраля 2021 г.
- ^ «Регион Google Cloud в Париже, Франция, теперь открыт» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ Дон-Хискокс, Танвен (20 февраля 2018 г.). «Google потратит миллионы долларов на расширение дата-центра Pryor» . Динамика центра обработки данных . Архивировано из оригинала 23 апреля 2019 года . Проверено 23 апреля 2019 г.
- ^ «Google решила инвестировать миллионы долларов в свой дата-центр в Чили» . Newtechmag.net (на испанском языке). 28 сентября 2018. Архивировано из оригинала 30 марта 2019 года . Проверено 8 декабря 2018 г.
- ^ Танвен Дон-Хискокс (18 апреля 2017 г.). «Google планирует построить огромный центр обработки данных в Неваде» . Датацентрдинамика.com . Проверено 8 декабря 2018 г.
- ^ Джейсон Идальго (16 ноября 2018 г.). «Невада одобряет центр обработки данных Google M недалеко от Лас-Вегаса, M в налоговых льготах» . Rgj.com . Проверено 8 декабря 2018 г.
- ^ Джейсон Идальго (16 сентября 2020 г.). «Google инвестирует $600 млн в дата-центр недалеко от Рино и получает налоговые льготы» . Журнал Reno Gazette . Проверено 26 октября 2020 г.
Благодаря нашему новому центру обработки данных в округе Стори и расширению инвестиций в наш сайт в Хендерсоне у Google появится два объекта в Неваде, в результате чего общий объем наших инвестиций превысит 1,88 миллиарда долларов.
- ^ «Регион Google Cloud в Солт-Лейк-Сити теперь открыт» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Новый регион GCP в Сеуле» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Google Cloud расширяется в Австралию с новым регионом Сидней» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Google запускает регион GCP в Тель-Авиве, Израиль» . datacenterdynamics.com .
- ^ «Регион Google Cloud в Тель-Авиве, Израиль, теперь открыт» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Регион Google Cloud Торонто теперь открыт» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Открыт новый регион Google Cloud в Турине, Италия» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Google построит облачные центры обработки данных в Польше» . Знание дата-центра . 27 сентября 2019 г.
- ^ «Google начинает строительство дата-центра в штате Алабама» . Сделано в Алабаме . 9 апреля 2018 года . Проверено 19 августа 2019 г.
- ^ «Швейцарская облачная платформа Google переезжает в зеленый район Аргау» . Swiss IT Magazine (на немецком языке) . Проверено 10 июля 2023 г.
- ^ <<Cite web|url= https://www.datacenterknowledge.com/google-alphabet/google-building-cloud-data-centers-close-swiss-banks%7Ctitle=Google [ постоянная мертвая ссылка ] Создание облачных центров обработки данных рядом со швейцарскими банками ||
- ^ Перейти обратно: а б с д Это «Представляем 5 новых регионов Google Cloud» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Google планирует построить большой центр обработки данных к югу от аэропорта BER» . Зеркало (на немецком языке). 30 сентября 2022 г. ISSN 2195-1349 . Проверено 10 июля 2023 г.
- ^ «Google Cloud инвестирует в Германию в новую инфраструктуру и устойчивую энергетику» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Регион Google Cloud Берлин-Бранденбург открыт» . Блог Google Cloud . Проверено 3 февраля 2024 г.
- ^ «Обновления региона Google Cloud Platform» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Последний шаг филиала Google сигнализирует о выборе KC для центра обработки данных стоимостью 600 миллионов долларов» . www.bizjournals.com . Проверено 12 февраля 2021 г.
- ^ «Открытие нового региона Google Cloud в Кувейте» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ Перейти обратно: а б с «Анонс новых регионов Google Cloud в Азиатско-Тихоокеанском регионе» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Анонсируем новый регион Google Cloud в Мексике» . Блог Google Cloud . Проверено 10 июля 2023 г.
- ^ «Google покупает землю для нового дата-центра в Тайнане» . Тайбэй Таймс . 12 сентября 2019 г. . Проверено 20 декабря 2019 г.
- ^ «Google создаст центр обработки данных в Тайнане» . Фокус Тайвань . 11 сентября 2019 года . Проверено 20 декабря 2019 г.
- ^ «Google создаст второй дата-центр на Тайване» . Тайваньские новости . 11 сентября 2019 года . Проверено 20 декабря 2019 г.
- ^ «Google подтверждает планы построить третий дата-центр на Тайване» . Тайваньские новости . 3 сентября 2020 г. Проверено 3 сентября 2020 г.
- ^ "Our $1 billion investment in a new UK data centre". Google. January 18, 2024. Retrieved January 19, 2024.
- ^ " "Google Стэнфордское оборудование" " . Архивировано из оригинала 9 февраля 1999 года . Проверено 23 марта 2017 г.
{{cite web}}: CS1 maint: bot: исходный статус URL неизвестен ( ссылка ) . Стэнфордский университет (предоставлено Интернет-архивом ). Проверено 10 июля 2006 г. - ^ Мерлин, Марк (2013). «Кейс-стади: живое обновление многих тысяч серверов с древнего дистрибутива Red Hat на более новый, основанный на Debian, выпущенный на 10 лет» (PDF) . Фонд Linux . Проверено 9 июня 2017 г.
- ^ Тауфик Джеласси; Альбрехт Эндерс (2004). «Пример 16 — Google». Стратегии электронного бизнеса . Пирсон Образование. п. 424. ИСБН 978-0-273-68840-2 .
- ^ Перейти обратно: а б Компьютерная архитектура, пятое издание: количественный подход, ISBN 978-0123838728 ; Глава шестая; 6.7 «Компьютер масштаба склада Google», стр. 471 «Разработка материнских плат, которым требуется только один источник питания 12 В, чтобы функция ИБП могла обеспечиваться от стандартных батарей, связанных с каждым сервером»
- ^ Секретные источники питания Google на YouTube.
- ^ Google раскрывает некогда секретный сервер , 1 апреля 2009 г.
- ^ «Устойчивое развитие Google» . Google Устойчивое развитие .
- ^ «Аналитика Пресс-рост потребления электроэнергии в центрах обработки данных с 2005 по 2010 год» . Архивировано из оригинала 11 января 2012 года . Проверено 22 мая 2012 г.
- ^ Google превосходит сообщество суперкомпьютеров, незаметно? , 20 мая 2008 г.
- ^ Лам, Седрик Ф.; Лю, Хун; Колей, Бикаш; Чжао, Сяосюэ; Камалов, Валей; Гилл, Виджей (2010 г.), «Технологии оптоволоконной связи: что необходимо для работы сети центра обработки данных», Research , vol. 48
- ^ Лам, Седрик Ф. (2010), Взгляд в будущее FTTH — технологии и архитектуры (PDF) , стр. 4
- ^ «кумара ASN15169», пиринговая база данных
- ^ «Урс Хольцле», Спикеры , Open Network Summit, заархивировано из оригинала 10 мая 2012 г. , получено 22 мая 2012 г.
- ^ Перейти обратно: а б с Веб-поиск планеты: кластерная архитектура Google (Луис Андре Баррозу, Джеффри Дин, Урс Хёльцле)
- ^ «Компьютеры складского размера» (PDF) . Архивировано из оригинала (PDF) 19 июня 2012 года . Проверено 22 мая 2012 г.
- ^ Денис Абт Высокопроизводительные сети центров обработки данных: архитектуры, алгоритмы и возможности
- ^ Перейти обратно: а б с Фиах Рид (2004). «Пример: поисковая система Google» . Сетевое программирование в .NET . Цифровая пресса. стр. 251–253 . ISBN 978-1-55558-315-6 .
- ^ Перейти обратно: а б Рич Миллер (27 марта 2008 г.). «Часто задаваемые вопросы о центрах обработки данных Google» . Знание дата-центра . Архивировано из оригинала 13 марта 2009 года . Проверено 15 марта 2009 г.
- ^ Бретт Винтерфорд (5 марта 2010 г.). «Найдено: секретная сеть передачи данных Google Australia» . ITНовости . Проверено 20 марта 2010 г.
- ^ Сингх, Арджун; Онг, Джун; Агарвал, Амит; Андерсон, Глен; Армистед, Эшби; Бэннон, Рой; Бовинг, Себ; Десаи, Гаурав; Фелдерман, Боб; Джермано, Поли; Канагала, Ананд (2015). «Восход Юпитера: десятилетие закрытых топологий и централизованного управления в сети центров обработки данных Google» . Сигкомм '15 . дои : 10.1145/2785956.2787508 . S2CID 2817692 .
- ^ Маркофф, Джон; Ханселл, Сол. « Скрываясь на виду, Google ищет больше власти » . New York Times . 14 июня 2006 г. Проверено 15 октября 2008 г.
- ^ Google " Центр обработки данных в Даллесе, Орегон " Получено 3 января 2011 г.
- ^ Стрэнд, Джинджер. « Центр обработки данных Google », журнал Harper's Magazine . Март 2008 г. Проверено 15 октября 2008 г. Архивировано 30 августа 2012 г. в Wayback Machine.
- ^ «Stora Enso продает помещения завода Summa Mill в Финляндии за миллион» . Стора Энсо . 12 февраля 2009 года. Архивировано из оригинала 13 апреля 2009 года . Проверено 2 декабря 2009 г.
- ^ [ мертвая ссылка ] «Большой сюрприз: Google покупает завод Summa» . Кауппалехти (на финском языке). Хельсинки. 12 февраля 2009 года. Архивировано из оригинала 14 февраля 2009 года . Проверено 12 февраля 2009 г.
- ^ «Google инвестирует 200 миллионов евро в Хамину» . Финансовые новости (на финском языке). Хельсинки. 4 февраля 2009 года . Проверено 15 марта 2009 г.
- ^ «Хамина, Финляндия» . Проверено 23 апреля 2018 г.
- ^ Финляндия — лучший выбор для размещения вашего центра обработки данных облачных вычислений. Архивировано 6 июля 2013 г. на Wayback Machine , по состоянию на 4 августа 2010 г.
- ^ Рори Кэрролл (30 октября 2013 г.). «Самый тщательно охраняемый секрет Google: плавучие центры обработки данных у берегов США» . Theguardian.com . Проверено 8 декабря 2018 г.
- ^ Рич Миллер (29 апреля 2009 г.). «Google получает патент на баржи для центров обработки данных» . Datacenterknowledge.com . Проверено 8 декабря 2018 г.
- ^ Мартин Ламоника (8 сентября 2008 г.). «Google подает патент на плавучий центр обработки данных, работающий на волнах» . Cnet.com . Проверено 8 декабря 2018 г.
- ^ «Появляется патентная заявка на корабельный центр обработки данных Google» . Датацентрдинамика.com . 7 сентября 2008 года . Проверено 8 декабря 2018 г.
- ^ «Тайна барж Google раскрыта: они предназначены для «центров интерактивного обучения» » . Theguardian.com . 6 ноября 2013 г. Проверено 8 декабря 2018 г.
- ^ Брэндон Бэйли (1 августа 2014 г.). «Google подтверждает продажу загадочной баржи» . Сан-Хосе Меркьюри Ньюс . Проверено 7 апреля 2015 г.
- ^ Крис Морран (7 ноября 2014 г.). «Что случилось с этими баржами Google?» . Потребитель . Проверено 15 января 2017 г.
- ^ Марк Левен (2005). Введение в поисковые системы и веб-навигацию . Пирсон Образование. п. 73. ИСБН 978-0-321-30677-7 .
- ^ «Обновление статуса Python» . Артима. 10 января 2006 года . Проверено 17 февраля 2012 г.
- ^ "Предупреждение" . Панела . Блог-город. Архивировано из оригинала 28 декабря 2011 года . Проверено 17 февраля 2012 г.
- ^ «Цитаты о Python» . Питон . Проверено 17 февраля 2012 г.
- ^ «Архитектура Google» . Высокая масштабируемость. 22 ноября 2008 года . Проверено 17 февраля 2012 г.
- ^ Перейти обратно: а б с Файкс, Эндрю (29 июля 2010 г.), «Архитектура хранения данных и проблемы», TechTalk (PDF) [ постоянная мертвая ссылка ]
- ^ «Колосс: преемник файловой системы Google (GFS)» . Системные учебники. 29 ноября 2012 года . Проверено 10 мая 2016 г.
- ^ Дин, Джеффри «Джефф» (2009), «Проектирование, уроки и советы по созданию больших распределенных систем», Ладис (основной доклад) , Корнелл
- ^ Шут, Джеффри «Джефф»; Оанча, Мирча; Эллнер, Стефан; Хэнди, Бенджамин «Бен»; Роллинз, Эрик; Сэмвел, Барт; Вингалек, Радек; Уипки, Чад; Чен, Синь; Егерленер, Бит; Литтлфилд, Кайл; Тонг, Феникс (2012), «F1 — отказоустойчивая распределенная СУБД, поддерживающая рекламный бизнес Google», Исследование (презентация) , Sigmod
{{citation}}: CS1 maint: отсутствует местоположение издателя ( ссылка ) - ^ «Выпускники Google создают новую поисковую систему» . Лос-Анджелес Таймс . 28 июля 2008 года . Проверено 15 сентября 2021 г.
- ^ Перейти обратно: а б Регистр. Google Caffeine встряхивает поисковую систему по всему миру
- ^ «Официальное примечание к выпуску Google» . Проверено 28 сентября 2013 г.
- ^ Перейти обратно: а б «Google разрабатывает систему хранения кофеина | TechWeekEurope UK» . Eweekeurope.co.uk. 18 августа 2009 года. Архивировано из оригинала 15 ноября 2011 года . Проверено 17 февраля 2012 г.
- ^ «Руководство разработчика – Буферы протоколов – Код Google» . Проверено 17 февраля 2012 г.
- ^ http://static.googleusercontent.com/media/research.google.com/en/us/archive/bigtable-osdi06.pdf . [ пустой URL PDF ]
- ^ Уиндли он (24 июня 2008 г.). «Технометрия Фила Уиндли | Скорость 08: Хранение в масштабе» . Windley.com . Проверено 17 февраля 2012 г.
- ^ «Ограничение количества сообщений – Буферы протокола | Группы Google» . Проверено 17 февраля 2012 г.
- ^ «Выступление Джеффа Дина на WSDM 2009» (PDF) . Проверено 17 февраля 2012 г.
- ^ Дэниел Пэн, Фрэнк Дабек. (2010). Крупномасштабная инкрементальная обработка с использованием распределенных транзакций и уведомлений . Материалы 9-го симпозиума USENIX по проектированию и внедрению операционных систем.
- ^ Регистр. Google Percolator – глобальный поисковый толчок без отказа MapReduce
- ^ Чендлер Эванс (2008). «Платформа Google». Будущее Google Планета Земля . Издательство Мэдисон. п. 299. ИСБН 978-1-4196-8903-1 .
- ^ Крис Шерман (2005). «Как работает Google». Гугл Сила . МакГроу-Хилл Профессионал. стр. 10–11 . ISBN 978-0-07-225787-8 .
- ^ Майкл Миллер (2007). «Как работает Google». Гуглпедия . Пирсон Технолоджи Груп. стр. 17–18 . ISBN 978-0-7897-3639-0 .
- ^ Геллман, Бартон; Солтани, Ашкан (30 октября 2013 г.). «АНБ проникает в центры обработки данных Yahoo и Google по всему миру, говорится в документах Сноудена» . Вашингтон Пост . Проверено 1 ноября 2013 г.
- ^ Сэвидж, Чарли; Миллер, Клэр Кейн; Перлрот, Николь (30 октября 2013 г.). «АНБ приказало использовать Google и Yahoo за рубежом» . Нью-Йорк Таймс . Проверено 9 марта 2017 г.
- ^ Галлахер, Шон (31 октября 2013 г.). «Как MUSCULAR АНБ прослушивал частные сети Google и Yahoo» . Арс Техника . Конде Наст . Проверено 9 марта 2017 г.
- ^ Миллер, Клэр Кейн (31 октября 2013 г.). «Разгневанные наблюдением США, технологические гиганты укрепляют оборону» . Нью-Йорк Таймс . Проверено 9 марта 2017 г.
- ^ Хамфрис, Мэтью (27 марта 2012 г.). «Самый эффективный центр обработки данных Google работает при температуре 95 градусов» . geek.com . Архивировано из оригинала 13 июня 2016 года . Проверено 13 июня 2016 г.
- ^ Хёльцле, Урс (6 декабря 2016 г.). «Мы намерены достичь 100% возобновляемой энергии — и это только начало» . Ключевое слово Блог Google . Проверено 8 декабря 2016 г.
- ^ Статт, Ник (6 декабря 2016 г.). «Google только что одержал большую победу в борьбе с изменением климата» . Грань . Вокс Медиа . Проверено 8 декабря 2016 г.
- ^ Этерингтон, Даррелл (7 декабря 2016 г.). «Google заявляет, что к 2017 году достигнет 100% возобновляемой энергии» . ТехКранч . АОЛ . Проверено 8 декабря 2016 г.
Дальнейшее чтение [ править ]
- Л.А. Баррозу; Дж. Дин; У. Хёльцле (март – апрель 2002 г.). «Веб-поиск планеты: архитектура кластера Google» (PDF) . IEEE микро . 23 (2): 22–28. дои : 10.1109/MM.2003.1196112 .
- Шенкленд, Стивен, новости CNET « Google раскрывает некогда секретный сервер. Архивировано 16 июля 2014 года в Wayback Machine ». 1 апреля 2009 г.
Внешние ссылки [ править ]
- Исследовательские публикации Google
- Веб-поиск планеты: кластерная архитектура Google (Луис Андре Баррозу, Джеффри Дин, Урс Хёльцле)
