BigTable

Google BigTable
Разработчик (ы)	Google
Первоначальный выпуск	Февраль 2005 ; 19 лет назад
Написано в	C ++ (ядро), Java , Python , Go , Ruby
Платформа	Google Cloud Platform
Тип	Облачное хранилище
Лицензия	Запатентованный
Веб -сайт	облако .Google .с /BigTable /

BigTable -это полностью управляемый с ширококоломанной и ключевой стоимостью услуга базы данных NOSQL для крупных аналитических и эксплуатационных рабочих нагрузок в рамках портфеля Google Cloud .

История

Bigtable Development началась в 2004 году. ^{[ 1 ]} В настоящее время он используется рядом приложений Google, таких как Google Analytics , ^{[ 2 ]} веб -индексация, ^{[ 3 ]} MapReduce , который часто используется для генерации и изменения данных, хранящихся в BigTable, ^{[ 4 ]} Карты Google , ^{[ 5 ]} Google Books Search «My History», Google Earth , Blogger.com , Google Code хостинг , YouTube , ^{[ 6 ]} и Gmail . ^{[ 7 ]} Причины Google для разработки собственной базы данных включают масштабируемость и лучшую контроль характеристик производительности. ^{[ 8 ]}

Google F1 был построен с использованием Spanner для замены реализации на основе MySQL . ^{[ 9 ]}

Apache Hbase и Cassandra являются одними из самых известных проектов с открытым исходным кодом, которые были смоделированы после BigTable.

6 мая 2015 года была предоставлена публичная версия BigTable в рамках Google Cloud под названием Cloud BigTable. ^{[ 2 ]}

По состоянию на январь 2022 года BigTable управляет более чем 10 экзабитами данных и обслуживает более 5 миллиардов запросов в секунду. ^{[ 10 ]} 27 января 2022 года Google объявил о ряде обновлений BigTable, включая автоматизированную масштабируемость. ^{[ 11 ]}

Дизайн

BigTable-один из прототипных примеров ширококонкурентного магазина . Он отображает два произвольных значения строки (клавиша строки и ключ столбца) и TimeStamp (следовательно, трехмерное отображение) в соответствующий произвольный байтовый массив. Это не реляционная база данных и может быть лучше определена как разреженная, распределенная многомерная сортированная карта. ^{[ 3 ]}^: 1 Он построен на Colossus ( файловая система Google ), службу пухлого блокировки , SSTABE (Log-структурированное хранилище, например LevelDB ) и несколько других Google технологий . BigTable предназначен для масштабирования в диапазоне петабайтов по «сотням или тысячам машин, а также для того, чтобы легко добавить больше машин [к] системе и автоматически начать пользоваться этими ресурсами без каких -либо реконфигурации». ^{[ 12 ]} Например, копия Google в Интернете может храниться в BigTable, где ключ строки представляет собой URL-адрес с доменом , а столбцы описывают различные свойства веб-страницы, причем один конкретный столбец содержит саму страницу. В столбце страницы может быть несколько версий, описывающих различные копии веб -страницы, запертой, когда они были извлечены. Каждая ячейка BigTable может иметь нулевые или более временные версии данных. Другая функция TimeStamp - обеспечить как версию , так и сборы мусора истекших данных.

Таблицы разделены на несколько таблеток - сегменты таблицы разделены на определенных клавишах строк, так что каждая планшет составляет несколько сотен мегабайт или несколько гигабайт размера. BigTable в некоторой степени похож на бассейн работников MapReduce, в которых тысячи до сотен тысяч осколков таблеток могут подавать сотни до тысяч серверов. Когда размер таблицы угрожает расти за пределами указанного предела, таблетки могут быть сжаты с помощью алгоритма Bmdiff ^{[ 13 ]}^{[ 14 ]} и алгоритм сжатия молнии ^{[ 15 ]} публично известный и открытый как резкий , ^{[ 16 ]} что является менее оптимальным пространственным изменением LZ77 , но более эффективным с точки зрения вычисления времени. Места в GFS планшетов записываются в виде записей базы данных в нескольких специальных планшетах, которые называются планшетами «Meta1». Таблетки Meta1 обнаружены путем запроса единого планшета "Meta0", которая обычно находится на собственном сервере, поскольку клиенты часто задают его на местоположении таблетки «meta1», который сам по себе имеет ответ на вопрос о том, где Фактические данные расположены. Как и мастер -сервер GFS, сервер Meta0, как правило, не является узким местом , поскольку время процессора и пропускная способность, необходимые для обнаружения и передачи местоположений Meta1, минимальны, а клиенты агрессивно кэшируют местоположения, чтобы минимизировать запросы.

Ссылки

^ Хичкок, Эндрю, Bigtable Google , получил 29 июля 2007 года , сначала обзор. BigTable находится в разработке с начала 2004 года и активно используется в течение восьми месяцев (около февраля 2005 года). Полем
^ Jump up to: ^а ^{беременный} «Объявление Google Cloud Bigtable: та же база данных, которая мощет, Google Search, Gmail и Analytics теперь доступна на платформе Google Cloud» . Google блог . 6 мая 2015 года . Получено 21 сентября 2016 года .
^ Jump up to: ^а ^{беременный} Чан и соавт. 2006 .
^ Chang et al. 2006 , с. 3: «BigTable можно использовать с MapReduce, структурой для работы крупномасштабных параллельных вычислений, разработанных в Google. Мы написали набор обертка, которые позволяют использовать BigTable как источник ввода, так и в качестве выходной цели для заданий MapReduce '
^ Хичкок, Эндрю, Bigtable Google , извлеченные 29 июля 2007 года , в настоящее время существует около 100 ячеек для таких услуг, как печатная, история поиска, карты и Orkut .
^ Кордес, Кайл (12 июля 2007 г.), масштабируемость YouTube (разговор) , их новое решение для миниатюр - использовать Google BigTable, который обеспечивает высокую производительность для большого количества рядов, допуск разломов, кэширования и т. Д. Редкий?) Пример фактической синергии в приобретении. Полем
^ «Как хранятся организации и индексы», Google App Engine , Google Code, архив из оригинала 7 января 2012 года , извлечен 17 апреля 2014 года .
^ Chang et al. 2006 , заключение: «Мы описали BigTable, распределенную систему для хранения структурированных данных в Google ... Нашим пользователям нравится производительность и высокая доступность, обеспечиваемая в реализации BigTable, и что они могут масштабировать способность своих кластеров, просто добавляя больше Машины в систему, поскольку их требования к ресурсам со временем изменяются ... Наконец, мы обнаружили, что существуют значительные преимущества для создания нашего собственного решения для хранения в Google. Мы получили значительную гибкость от разработки нашей собственной модели данных для BigTable ».
^ Шуте, Джеффри «Джефф»; Oancea, Mircea; Эллнер, Стефан; Удобный, Бенджамин Бен '; Роллинс, Эрик; Сэмвель, Барт; Vingralek, Radek; Whipkey, Chad; Чен, Синь; Jegerlehner, Beat; Литтлфилд, Кайл; Tong, Phoenix (2012), «Сводка; F1-Распределенные RDBMS, устойчивые к неисправности, поддерживающие рекламный бизнес Google», Research (презентация) , Sigmod , p. 19, мы перенесли большой и критический набор приложений с MySQL на F1 {{citation}}: CS1 Maint: местоположение отсутствует издатель ( ссылка ) .
^ «Cloud Bigtable теперь еще проще в управлении с автоматической мастерской» .
^ Кернер, Шон Майкл (27 января 2022 года). «Google увеличивает базу данных NOSQL Cloud Bigtable» . TechTarget . Получено 10 октября 2022 года .
^ «File System Google и BigTable», Radar ( World Wide Web Log) , Военные истории базы данных, О'Рейли, май 2006 г.
^ «Google Bigtable, сжатие, Zippy и Bmdiff» . 12 октября 2008 года. Архивировано с оригинала 1 мая 2013 года . Получено 14 апреля 2015 года . Полем
^ Бентли, Джон; Макилрой, Дуглас (1999). Сжатие данных с использованием длинных общих строк . DCC '99: Материалы конференции по сжатию данных. IEEE Computer Society. Citeseerx 10.1.1.11.8470 . doi : 10.1109/dcc.1999.755678 .
^ «Google's Bigtable», Внешний суд (блог) , 23 октября 2005 года .
^ Snappy (Project) .

Библиография

Чанг, Фэй; Дин, Джеффри; Ghemawat, Sanjay; Sieh, Wilson C.; Уоллах, Дебора А.; Берроуз, Майк; Чандра, Тушар; Фикс, Эндрю; Грубер, Роберт Э. (2006). BigTable: распределенная система хранения для структурированных данных (PDF) . 7 -й Симпозиум USENIX по проектированию и реализации операционных систем (OSDI'06). Сиэтл, Вашингтон.

Внешние ссылки

BigTable: распределенная система структурированного хранения , Вашингтон . Видео , архивное из оригинала 18 апреля 2011 года , получило 11 июля 2006 года .
- UWTV , архив из оригинала (видео) 15 июня 2006 года .
- Хичкок, Эндрю, Bigtable Google (заметки о официальной презентации) , извлечен 29 июля 2007 года .
Карр, Дэвид Ф. (6 июля 2006 г.), «Как работает Google» , базовая линия .
«Обреченная реляционная база данных?», Read-Write Web , 12 февраля 2009 года .

[1st-blog-1] Хичкок, Эндрю, Bigtable Google , получил 29 июля 2007 года , сначала обзор. BigTable находится в разработке с начала 2004 года и активно используется в течение восьми месяцев (около февраля 2005 года). Полем

[:0-2] Jump up to: ^а ^{беременный} «Объявление Google Cloud Bigtable: та же база данных, которая мощет, Google Search, Gmail и Analytics теперь доступна на платформе Google Cloud» . Google блог . 6 мая 2015 года . Получено 21 сентября 2016 года .

[FOOTNOTEChangDeanGhemawatHsieh2006-3] Jump up to: ^а ^{беременный} Чан и соавт. 2006 .

[FOOTNOTEChangDeanGhemawatHsieh20063-4] Chang et al. 2006 , с. 3: «BigTable можно использовать с MapReduce, структурой для работы крупномасштабных параллельных вычислений, разработанных в Google. Мы написали набор обертка, которые позволяют использовать BigTable как источник ввода, так и в качестве выходной цели для заданий MapReduce '

[maps-orkut-5] Хичкок, Эндрю, Bigtable Google , извлеченные 29 июля 2007 года , в настоящее время существует около 100 ячеек для таких услуг, как печатная, история поиска, карты и Orkut .

[6] Кордес, Кайл (12 июля 2007 г.), масштабируемость YouTube (разговор) , их новое решение для миниатюр - использовать Google BigTable, который обеспечивает высокую производительность для большого количества рядов, допуск разломов, кэширования и т. Д. Редкий?) Пример фактической синергии в приобретении. Полем

[7] «Как хранятся организации и индексы», Google App Engine , Google Code, архив из оригинала 7 января 2012 года , извлечен 17 апреля 2014 года .

[FOOTNOTEChangDeanGhemawatHsieh2006Conclusion-8] Chang et al. 2006 , заключение: «Мы описали BigTable, распределенную систему для хранения структурированных данных в Google ... Нашим пользователям нравится производительность и высокая доступность, обеспечиваемая в реализации BigTable, и что они могут масштабировать способность своих кластеров, просто добавляя больше Машины в систему, поскольку их требования к ресурсам со временем изменяются ... Наконец, мы обнаружили, что существуют значительные преимущества для создания нашего собственного решения для хранения в Google. Мы получили значительную гибкость от разработки нашей собственной модели данных для BigTable ».

[9] Шуте, Джеффри «Джефф»; Oancea, Mircea; Эллнер, Стефан; Удобный, Бенджамин Бен '; Роллинс, Эрик; Сэмвель, Барт; Vingralek, Radek; Whipkey, Chad; Чен, Синь; Jegerlehner, Beat; Литтлфилд, Кайл; Tong, Phoenix (2012), «Сводка; F1-Распределенные RDBMS, устойчивые к неисправности, поддерживающие рекламный бизнес Google», Research (презентация) , Sigmod , p. 19, мы перенесли большой и критический набор приложений с MySQL на F1 {{citation}}: CS1 Maint: местоположение отсутствует издатель ( ссылка ) .

[10] «Cloud Bigtable теперь еще проще в управлении с автоматической мастерской» .

[11] Кернер, Шон Майкл (27 января 2022 года). «Google увеличивает базу данных NOSQL Cloud Bigtable» . TechTarget . Получено 10 октября 2022 года .

[o'reilly-12] «File System Google и BigTable», Radar ( World Wide Web Log) , Военные истории базы данных, О'Рейли, май 2006 г.

[algorithms1-13] «Google Bigtable, сжатие, Zippy и Bmdiff» . 12 октября 2008 года. Архивировано с оригинала 1 мая 2013 года . Получено 14 апреля 2015 года . Полем

[14] Бентли, Джон; Макилрой, Дуглас (1999). Сжатие данных с использованием длинных общих строк . DCC '99: Материалы конференции по сжатию данных. IEEE Computer Society. Citeseerx 10.1.1.11.8470 . doi : 10.1109/dcc.1999.755678 .

[algorithms2-15] «Google's Bigtable», Внешний суд (блог) , 23 октября 2005 года .

[16] Snappy (Project) .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]