Тесты Rugg/Feldman

Тесты Rugg/Feldman представляют собой серию из семи коротких программ на языке программирования BASIC , которые используются для проверки производительности реализаций BASIC на различных микрокомпьютерах . Они были опубликованы Томом Раггом и Филом Фельдманом в июньском номере американского компьютерного журнала Kilobaud за 1977 год .

В статье сообщалось, что Integer BASIC , программа-интерпретатор, написанная Стивом Возняком для компьютера Apple II , работала намного быстрее, чем другие протестированные программы. Это вызвало широкие комментарии по поводу испытаний, включая длинное письмо Билла Гейтса . Последующая статья в октябрьском выпуске 1977 года подробно рассмотрела эти проблемы и добавила к набору результатов множество новых машин и BASIC.

Джон Колл добавил восьмой тест с использованием трансцендентных функций в статью в февральском выпуске британского журнала Personal Computer World (PCW) за 1978 год. Этот расширенный набор стал известен как PCW Benchmarks и был особенно популярен в качестве теста для машин, разработанных в Великобритании, таких как Grundy NewBrain и BBC Micro .

Этот тест широко использовался в конце 1970-х годов и фигурирует в качестве стандарта во многих компьютерных журналах и журналах. В 1980-х годах он не так широко использовался в США, как Creative Computing Benchmark или Byte Sieve , но продолжал широко использоваться в Великобритании.

История

Первые тесты

Набор тестов был представлен для проверки заявлений поставщиков о том, что их BASIC намного быстрее, чем другие, работающие на тех же машинах. Авторы не смогли найти набор стандартизированных тестов и решили написать свои собственные. Тесты намеренно игнорировали производительность строк и чисел с плавающей запятой, поскольку многие BASIC той эпохи, особенно те, которые произошли от Tiny BASIC , не имели этих функций. Строкам также мешали серьезные различия в синтаксисе между разными версиями.

Они проводили тесты на каждой машине, которую могли найти, обычно в домах друзей. Были протестированы все основные 8-битные процессоры, включая Intel 8080 , Zilog Z80 , Motorola 6800 и MOS 6502 . Для сравнения они также запускали его на CDC Cyber ​​174 суперкомпьютере , который настолько быстр, что им пришлось добавить код для расчета времени запуска с использованием системных часов, поскольку они не могли управлять секундомером достаточно быстро . Они использовали эту машину по двум причинам; одна заключалась в том, чтобы просто посмотреть, насколько быстро работает такая машина, а другая заключалась в том, чтобы гарантировать, что ни один микро не окажется в верхней части списка, а затем заявить, что они оказались самыми быстрыми.

В статье особое внимание уделяется языку BASIC, который поставлялся с компьютерами IMSAI , поскольку он по сути не работал. В то время машина была очень новой, и компания описывала BASIC как «предварительную». В этот период разные машины IMSAI поставлялись с разными версиями BASIC. Каждая версия имела разные функции, но ни одна из них не позволяла запускать даже большинство программ.

Apple II , использующий оригинальный Integer BASIC , финишировал значительно впереди всех остальных машин. Поскольку в тестах не использовались какие-либо функции с плавающей запятой , этот результат не был удивительным, учитывая гораздо более простое внутреннее представление чисел. Следующим по скорости, хотя и значительно медленнее, был Zapple BASIC на Zilog Z80 карте расширения в Altair 8800 . Остальная часть списка содержала ряд очень близко расположенных записей, в которых доминировал тот, который позже будет известен как Microsoft BASIC . По всему набору машин 8080 и Z80 и версий BASIC разброс составил всего 20%. Напротив, машины на базе 6800 были полностью изолированы в конце списка, на 30–40% медленнее, чем модели 8080 и Z80.

Когда статья была отправлена ​​в печать, редакторы Kilobaud посетили несколько местных компьютерных магазинов, чтобы протестировать программы на новых машинах. В ходе этого процесса были добавлены серийные версии IMSAI BASIC, North Star BASIC и BASIC объемом 11 КБ на Poly-88 . Результаты IMSAI оказались в самом низу рейтинга, а North Star и Poly оказались в середине.

Следовать за

Рагг и Фельдман вновь вернулись к этому люксу в октябрьском номере 1977 года. Новая статья начиналась с того, что они были завалены письмами об исходной статье. Среди них было письмо от Билла Гейтса , которого они представили как автора «Altair BASIC (версии 8080 и 6800), OSI BASIC и PET BASIC». Последняя запись относится к члену « 1977 года тройки » машин , Commodore PET , который был доступен в виде прототипа для включения в статью.

Гейтс жаловался, что исходная серия тестов «позволяла сравнивать целочисленный BASIC с… более мощным BASIC… с использованием чисел с плавающей запятой». Он предложил, чтобы тест включал в себя DEFINT A-Z в начале, что позволит более новым версиям Altair BASIC также использовать целочисленную математику. Вместо этого Рагг и Фельдман применили другой подход и исключили из новых результатов тестов все BASIC, работающие только с целыми числами. Это не исключило Apple II, которая к этому времени представила Applesoft BASIC, производную от MS, на кассете.

Гейтс также отметил, что результаты для машины 6800 не характерны для этого процессора. Машина, которую они использовали, Altair 680, работала на половине номинальной скорости процессора. Он предположил, что более типичная машина на базе 6800 будет немного быстрее, чем 8080. Однако 6800 снова показала плохие результаты даже на новых машинах, работающих на более высоких скоростях.

Гейтс также предположил, что появление Cyber ​​173, скорее всего, связано с тем, что он был компилятором, а не интерпретатором . Авторы отмечают, что это не относится к TRW BASIC, который они использовали в исходном тесте, а затем используют это как переход для сравнения различий между компиляторами и интерпретаторами.

Гейтс завершил свое письмо, отметив, что некоторые результаты были идентичны, несмотря на то, что они были получены на разных машинах. Он предполагает, что это связано с тем, что рассматриваемые BASIC содержат «подписи» Altair BASIC и, следовательно, являются «незаконным программным обеспечением». Он не уточнил, какие из них, по его утверждению, были украдены, и авторы ответили, что, если «Билл сможет помешать людям продавать их законными способами, мы прекратим их вносить в список».

Рагг и Фельдман завершают статью, упоминая некоторые другие проблемы, возникшие после оригинальной статьи. Одной из общих проблем было отсутствие более продвинутых математических функций, что они признают, но предполагают, что лучше оставить это читателю. Другим было отсутствие манипуляций со строками, но они отмечают, что синтаксис обработки строк значительно различался на разных платформах и поэтому не мог быть реализован в одной версии.

В этой серии тестов список возглавил OSI Challenger , машина на базе 6502, частота которой была «доведена» до 2 МГц, что вдвое больше, чем у типичных машин 6502 той эпохи с частотой 1 МГц, таких как Apple II и PET. При работе на обычной частоте 1 МГц Challenger только что обогнал Zapple BASIC на машинах Z80, работающих на частоте 4 МГц. Следующим был PET BASIC, лишь немного отстававший от Challenger. Они пришли к выводу, что 6502 является самым производительным из процессоров, согласившись с комментариями Гейтса в своем письме. 6800 снова оказывается на последнем месте.

PCW-версия

В рамках более длинной статьи, посвященной новым продуктам на компьютерном рынке, включая TRS-80 , Джон Колл использовал тесты Рагга/Фельдмана для сравнения различных машин, доступных ему в Великобритании в октябре 1977 года. Он добавил восьмой тест к выполнить математические процедуры и предоставить результирующее время выполнения как само по себе, так и дополнительное время по сравнению с тестом 7, в соответствии с более ранней концепцией, согласно которой каждый тест изменяет предыдущий. Результаты были опубликованы в первом выпуске журнала Personal Computer World в феврале 1978 года. с кратким продолжением в ноябрьском номере 1978 года.

Использовать

Как один из первых наборов тестов BASIC, тесты F/R использовались в основном в конце 1970-х и начале 1980-х годов. Это был стандарт среди обзоров в килободах , используемый для сравнения многих новых разновидностей BASIC, которые продолжали появляться для первых микрокомпьютеров. Вычислите! использовали его для обзора Challenger 1P в 1979 году . и 68 Journal использовали его, чтобы продемонстрировать чрезвычайно высокую производительность BASIC09 . InfoWorld использовал его для обзора нового BASIC для TRS-80 в 1981 году. и цветной компьютер TRS-80 в целом.

После этого Byte Sieve начал становиться популярным, и количество статей, относящихся к тесту FR, стало меньше, но его можно было найти даже в таких редких источниках, как HP Journal.

Версии PCW оставались очень популярными в Великобритании, и их можно найти во многих обзорах машин, ориентированных на Великобританию, таких как Grundy NewBrain , различные Sinclair Research , машины и BBC Micro .

Программы

Программы были разработаны так, чтобы позволить пользователю ввести первый тест, запустить его, а затем изменить его на месте для запуска последующих тестов. Это означало, что пользователю не нужно было вводить семь разных программ, а просто модифицировать одну. Первые семь списков являются оригиналами статьи 1977 года. восьмое — дополнение PCW.

Тест 1

300 PRINT"S"
400 FOR K=1 TO 1000
500 NEXT K
700 PRINT"E"
800 END

Циклы FOR-NEXT — одна из наиболее фундаментальных конструкций языка BASIC, и если производительность этих циклов низкая, весьма вероятно, что любая программа, работающая на этом BASIC, также будет работать медленно. Известным примером этого является Atari BASIC , у которого было несколько проблем, которые значительно замедляли производительность циклов FOR-NEXT по сравнению с современными примерами, и в результате программы BASIC на Atari обычно работали очень медленно.

Тест 2

300 PRINT"S"
400 K=0
500 K=K+1
600 IF K<1000 THEN 500
700 PRINT"E"
800 END

Этот тест в конечном итоге выполняет те же операции, что и тест 1, но в этом случае он использует явный тест и переход, а не встроенную конструкцию FOR-NEXT. Как правило, эта программа работает намного медленнее, чем 1, поскольку большинство BASIC анализируют параметры FOR, включая номер строки, только один раз, когда он встречается впервые. Использование IF, как в тесте 1, заставляет его анализировать значения каждый раз в цикле. Более того, большинство BASICов хранят не просто номер проанализированной строки начала цикла, а адрес памяти, тогда как THEN требует, чтобы интерпретатор просканировал программу на предмет соответствующего номера строки, в данном случае 500. Хотя этот тест не показывает этого из-за небольшого размера, этот поиск занимает все больше времени по мере увеличения длины программы. Некоторые версии BASIC оптимизировали GOTO, используя явные метки. или помещая цели GOTO в стек, чтобы они работали как NEXT. Turbo-Basic XL делал и то, и другое, и в результате работал намного быстрее, чем любой аналогичный BASIC.

Тест 3

300 PRINT"S"
400 K=0
500 K=K+1
510 LET A=K/K*K+K-K
600 IF K<1000 THEN 500
700 PRINT"E"
800 END

Тест 3 — это расширение теста 2, на этот раз с добавлением некоторых базовых математических вычислений и доступа к переменным. Сравнивая время выполнения тестов 2 и 3, можно получить представление о производительности математической библиотеки языка.

Тест 4

300 PRINT"S"
400 K=0
500 K=K+1
510 LET A=K/2*3+4-5
600 IF K<1000 THEN 500
700 PRINT"E"
800 END

То же, что и тест 3, за исключением того, что переменная K заменяется числовыми константами. Это требует от интерпретатора преобразования значений из их текстового представления во внутренний формат хранения, что требует времени (если только это не выполняется раз и навсегда, перед выполнением, как в некоторых более продвинутых BASICах). Некоторое представление о производительности этой функции преобразования можно получить, сравнив это время с эталонным показателем 3.

Тест 5

300 PRINT"S"
400 K=0
500 K=K+1
510 LET A=K/2*3+4-5
520 GOSUB 820
600 IF K<1000 THEN 500
700 PRINT"E"
800 END
820 RETURN

Тест 5 знакомит с вызовом подпрограммы. Длинные программы в ранних версиях BASIC широко использовали подпрограммы, поэтому эффективность механизма вызова была важна. В зависимости от того, как работает система, возврат может кэшировать местоположение вызывающей линии аналогично NEXT и, таким образом, выполняться очень быстро. Другие могут хранить номер вызывающей линии и, таким образом, требовать от кода сканирования листинга программы для возврата.

Тест 6

300 PRINT"S"
400 K=0
430 DIM M(5)
500 K=K+1
510 LET A=K/2*3+4-5
520 GOSUB 820
530 FOR L=1 TO 5
540 NEXT L
600 IF K<1000 THEN 500
700 PRINT"E"
800 END
820 RETURN

Тест 6 определяет небольшой массив в начале и добавляет еще один цикл FOR-NEXT внутри основного цикла. Это мало влияет на код, но используется для установки базового уровня для теста 7.

Тест 7

300 PRINT"S"
400 K=0
430 DIM M(5)
500 K=K+1
510 LET A=K/2*3+4-5
520 GOSUB 820
530 FOR L=1 TO 5
535 M(L)=A
540 NEXT L
600 IF K<1000 THEN 500
700 PRINT"E"
800 END
820 RETURN

Это присваивает значение каждому элементу массива каждый раз в цикле. Сравнение времени, необходимого для запуска 7 и 6, показывает эффективность доступа к массиву.

Тест 8

300 PRINT"S"
400 K=0
500 K=K+1
530 A=K^2
540 B=LOG(K)
550 C=SIN(K)
600 IF K<100 THEN 500
700 PRINT"E"
800 END

Тест 8 добавлен PCW, выполнение нескольких трансцендентных функций с целью проверки их работоспособности. Этот код не включает код из теста 7, который нарушает исходный шаблон каждого теста, добавляющего его к предыдущему. Вместо этого в соответствующей статье указано время запуска 8 и 7 и 8 вместе взятых.

Примеры результатов

Этот список не претендует на исчерпывающий характер, а представляет собой краткий обзор результатов, наблюдаемых на некоторых популярных системах ранней эры микрокомпьютеров и домашних компьютеров . В первую таблицу включена подборка машин из первоначальных испытаний в июне 1977 года, за указанными исключениями. Время теста в секундах.

Система	Процессор	БАЗОВЫЙ	Тест 1	Тест 2	Тест 3	Тест 4	Тест 5	Тест 6	Тест 7	Тест 8	Примечания
Яблоко II	6502 @ 1 МГц	Целочисленный БЕЙСИК	1.3	3.1	7.2	7.2	8.8	18.5	28.0		Числа PCW примерно на 0,1 с длиннее.
Яблоко II	6502 @ 1 МГц	Applesoft БЕЙСИК	1.3	8.5	16.0	17.8	19.1	28.6	44.8	55.5	от PCW, для сравнения с вышеизложенным
Альтаир 8800	8080 @ 2 МГц	Альтаир БЕЙСИК 4.0	1.7	10.2	21.0	22.5	24.3	36.7	52.4
Альтаир 8800	8080 @ 2 МГц	Альтаир БЕЙСИК 4.0	1.9	7.5	20.6	20.9	22.1	38.8	57.0	67.8	от PCW, включая FP
ЗПУ Альтаир 8800/ТДЛ	Z80 @ 4 МГц	Заппл	1.7	9.5	20.6	21.7	23.7	36.7	52.4		Дополнительная плата Z80, в комплект поставки входит Zapple BASIC.
Компюколор 8001	8080 @ 2 МГц	Компюколор 8к БАЗОВЫЙ	2.1	13.1	27.0	29.0	31.3	47.5	67.8
СВТПК 6800	6800 @ 898 кГц	SWT 8k БАЗОВЫЙ	1.4	9.0	16.8	18.1	20.0	31.0	45.2	53.7	из PCW
СВТПК 6800	6800 @ 898 кГц	Альтаир 680 БАЗОВЫЙ	14.9	24.7	96.1	105.3	109.8	174.1	204.5
Альтаир 680	6800 @ 500 кГц	Альтаир 680 БЕЙСИК 1.1	2.6	16.4	30.9	33.7	36.6	56.0	81.9	96.9	из PCW

Система	Процессор	БАЗОВЫЙ	Тест 1	Тест 2	Тест 3	Тест 4	Тест 5	Тест 6	Тест 7	Тест 8	Примечания
ИБМ 5100			4.5	21.1	57.4	54.5	59.0	88.2	174.9	201.6
Би-би-си Микро	6502 @ 2 МГц	Би-би-си БЕЙСИК	0.8	3.1	8.1	8.7	9.0	13.9	21.1	49.9	самый быстрый из английских/американских 8-битных BASICов
Желудь Электрон	6502A @ 2 МГц	Би-би-си БЕЙСИК	1.11	4.01	11.12	11.76	12.40	18.72	28.71	72.53	из PCW
Атари 800XL	6502 @ 1,79 МГц	Атари БЕЙСИК	2.2	7.3	19.7	24.1	26.3	40.3	60.1	уже	нет объяснения отсутствия теста 8
Коммодор 64	6510 @ 1 МГц	МС БЕЙСИК	1.2	9.3	17.6	19.5	21.0	29.5	47.5	119.3
ZX80	Z80 @ 3,25 МГц	Синклер БЕЙСИК	1.5	4.7	9.2	9.0	12.7	25.9	39.2	ЧТО	только целое число
ZX Спектр	Z80 @ 3,58 МГц	Синклер БЕЙСИК	4.4	8.2	20.0	19.2	23.1	53.4	77.6	239.1
Желудь Атом	6502 @ 1 МГц	Атом БЕЙСИК	0.5	5.1	9.5	10.8	13.9	19.1	31.1	92	из DatorHobby 1/84
Луксор АВС 80	Z80 @ 3 МГц	АБВ БЕЙСИК	1.1	2.3	11.1	12.1	12.6	17.7	23.9	136	из DatorHobby 1/84
ABC 80 (использование целочисленных переменных вместо чисел с плавающей запятой)	Z80 @ 3 МГц	АБВ БЕЙСИК	0.3	1.1	3.5	3.5	3.6	5.8	9.3	65	из Микрокомпьютера 1982 г.
ABC 800 (с использованием плавающей запятой одинарной точности)	Z80 @ 3 МГц	АВС БЕЙСИК II	0.9	1.8	6.0	5.9	6.3	11.6	19.6	29	из Микрокомпьютера 1982 г.
ABC 800 (с использованием плавающей запятой двойной точности)	Z80 @ 3 МГц	АВС БЕЙСИК II	1.2	2.2	10.0	10.6	11.0	17.8	26.4	144	из Микрокомпьютера 1982 г.
ВИК 20	6502 @ 1 МГц	МС БЕЙСИК	1.4	8.3	15.5	17.1	18.3	27.2	42.7	99	из DatorHobby 1/84
Дракон 32/64	6809E @ 0,89 МГц	MS расширенный БЕЙСИК	1.6	10.2	19.7	21.6	23.3	34.3	50.0	129	из DatorHobby 1/84
Спектравидео СВ-328	Z80 @ 3,6 МГц	MS расширенный БЕЙСИК	1.6	5.4	17.9	19.6	20.6	30.7	42.2	236	из DatorHobby 1/84
ТИ-99/4А	9900 @ 3 МГц	ВЫ БАЗОВЫЙ	2.9	8.8	22.8	24.5	26.1	61.6	84.4	382	из DatorHobby 1/84
Любой Телестрат	6502 @ 1 МГц	Что-нибудь БАЗОВОЕ	0.5	3.6	11.4	13.2	13.4	18.7	26.3	109	Картридж BASIC, измеренный участником сообщества
Любой Атмос	6502 @ 1 МГц	Любой БЕЙСИК 1.1	1.6	15.2	25.4	27.4	33.0	45.6	68.5	136	измерено членом сообщества
Любой 1	6502 @ 1 МГц	Что-нибудь БЕЙСИК 1.0	1.8	17.1	29.0	31.4	38.0	51.8	77.8	230	измерено членом сообщества
Мандарин Микротан 65	6502 @ 0,75 МГц	MS расширенный БЕЙСИК	1.9	12.8	24.7	27.8	29.6	43.2	68.9	243	с расширением ТАНЕКС? Измерено участником сообщества.
ВТех КреатиВижн	6502 @ 2 МГц	Креативижн БАЗОВЫЙ (1983)	20	60	79	119	180	298	398	120	выполняется во VRAM
ВТех Лазер 2001	6502 @ 2 МГц	VTech Laser 2001 БАЗОВЫЙ	1.7	6.7	11.6	12.9	15.3	26.0	39.7	64.5	то же оборудование, что и CreatiVision, но выполняется в оперативной памяти ЦП

Ссылки

Библиография

• Рагг, Том; Фельдман, Фил (июнь 1977 г.). «БАЗОВЫЕ Сравнения времени... информация для любителей скорости» . Килобод . стр. 66–70.
• Рагг, Том; Фельдман, Фил (октябрь 1977 г.). «БАЗОВЫЕ сравнения времени... переработаны и обновлены» . Килобод . стр. 20–25.
• Колл, Джон (февраль 1978 г.). «Прямая адресация: где взять персональный компьютер» . Мир персональных компьютеров . стр. 55–58.
• Колл, Джон (ноябрь 1978 г.). «Снова эталоны» . Мир персональных компьютеров . п. 52.

Дальнейшее чтение

• Справочник по компьютеру: Руководство для бизнесмена по выбору и использованию компьютерных систем , версии PCW перечислены как часть наборов тестов.