PerfKitБенчмаркер
PerfKit Benchmarker — это инструмент сравнительного анализа с открытым исходным кодом, используемый для измерения и сравнения облачных предложений. PerfKit Benchmarker лицензируется на условиях лицензии Apache 2 . PerfKit Benchmarker — это проект сообщества, в котором принимают участие более 500 участников, включая исследователей, академические учреждения и компании, а также создателя Google .
Общий
[ редактировать ]PerfKit Benchmarker (PKB) — это попытка сообщества предоставить повторяемый, последовательный и открытый способ измерения производительности облака. Он поддерживает растущий список поставщиков облачных услуг, включая: Alibaba Cloud , Amazon Web Services , CloudStack , DigitalOcean , Google Cloud Platform , Kubernetes , Microsoft Azure , OpenStack , Rackspace , IBM Bluemix (Softlayer) . Помимо облачных провайдеров, он поддерживает оркестрацию контейнеров, включая Kubernetes [1] и Mesos [2] , а также локальные «статические» рабочие станции и кластеры компьютеров [3] .
Цель состоит в том, чтобы создать живой эталонный тест с открытым исходным кодом [фреймворк], который покажет, как разработчики облака создают приложения, оценивают альтернативы облака, учатся проектировать приложения для каждого облака. Живой, потому что он будет быстро меняться и трансформироваться по мере изменения разработчиков.
PerfKit Benchmarker измеряет сквозное время предоставления ресурсов в облаке, а также сообщает о самых стандартных показателях пиковой производительности, например: задержка, пропускная способность, время выполнения, количество операций ввода-вывода в секунду. PerfKit Benchmarker упрощает выполнение тестов поддерживаемых облачных провайдеров с помощью унифицированных и простых команд. Он предназначен для работы с помощью инструментов командной строки, предоставляемых поставщиком.
PerfKit Benchmarker содержит канонический набор общедоступных тестов. Все тесты работают с состоянием и конфигурацией по умолчанию/начальным (не настроены в пользу каких-либо поставщиков). Это дает возможность проводить сравнение облачных платформ, получая при этом прозрачное представление о пропускной способности приложения, задержке, дисперсии и накладных расходах. [1]
История
[ редактировать ]PerfKit Benchmarker (PKB) был запущен Энтони Ф. Воеллмом, Аленом Хамелем и Эриком Хэнклендом из Google в 2014 году. Как только была создана первоначальная «альфа-версия», Энтони Ф. Воеллм и Иван Санта-Мария Фильо создали сообщество, включающее ARM, Broadcom, Canonical, CenturyLink, Cisco, CloudHarmony, CloudSpectator, EcoCloud@EPFL, Intel, Mellanox, Microsoft, Qualcomm Technologies, Inc., Rackspace, Red Hat, Tradeworx Inc. и Thesys Technologies LLC.
Это сообщество тайно работало над частным проектом GitHub, чтобы создать открытый способ измерения производительности облака. Это сообщество выпустило первую публичную «бету», выпущенную 11 февраля 2015 года, и объявило в своем блоге , что с этого момента проект GitHub стал открыт для всех. Спустя почти год и после большой адаптации (более 600 участников на GitHub) была выпущена версия 1.0.0 вместе с подробным архитектурным проектом 10 декабря 2015 года .
Тесты
[ редактировать ]Список доступных тестов от PerfKitBenchmarker: (Последний набор тестов можно найти в файле readme на GitHub. [2] )
| Большие данные/Интернет вещей | Высокопроизводительные вычисления
Научные вычисления |
Моделирование | Веб-тесты | |
|---|---|---|---|---|
| Рабочие нагрузки | - Аэроспайк YCSB
- Кассандра YCSB - Хадуп Терасорт - HBase YCSB - МонгоБД YCSB - Редис YCSB |
- HPCC
- Скимарк2 |
- WASName
- и т.д. |
- Веб-поиск EPFL CS
- Кот |
| Тесты хранилища | Тесты процессора | Сетевые тесты | Система | |
|---|---|---|---|---|
| микро-тесты |
- Бонни - Копирование файла - Google Cloud BigTable - Хранилище объектов - Синтетическое хранилище - Системный тест OLTP |
- Основная отметка | - Иперф
- Ячеистая сеть - Нетперф - Пинг |
- Кластерная загрузка |
Участники отрасли
[ редактировать ]С тех пор как Google открыл исходный код PerfKitBenchmarker, он стал результатом усилий сообщества более 30 ведущих исследователей, академических школ и отраслевых компаний. В число этих организаций входят: ARM , Broadcom , Canonical , CenturyLink , Cisco , CloudHarmony , Cloud Spectator , EcoCloud @ EPFL , Intel , Mellanox , Microsoft , Qualcomm Technologies , Rackspace , Red Hat и Thesys Technologies . Кроме того, Стэнфорд и Массачусетский технологический институт ежеквартально проводят дискуссии по стандартным критериям и настройкам, предлагаемым сообществом. EcoCloud @ EPFL интегрирует CloudSuite в PerfKit Benchmarker.
Пример выполнения
[ редактировать ]Пример запуска на Google Cloud Platform
$ ./pkb.py --cloud=GCP --project=<GCP project ID> --benchmarks=iperf --machine_type=f1-micro
Пример запуска на AWS
$ ./pkb.py --cloud=AWS --benchmarks=iperf --machine_type=t1.micro
Пример запуска в Azure
$ ./pkb.py --cloud=Azure --machine_type=ExtraSmall --benchmarks=iperf
Пример запуска на Rackspace
$ ./pkb.py --cloud=Rackspace --machine_type=standard1 --benchmarks=iperf
Пример запуска на локальной машине
$ ./pkb.py --stack_vm_file=local_config.json --benchmarks=iperf