Юснет

Обсуждение 2004 года в группе Usenet comp.text.tex.

Схема серверов и клиентов Usenet. Цветные точки на серверах обозначают группы новостей, которые они транслируют. Цветные стрелки между серверами обозначают обмен контентом групп новостей (ленты новостей). Стрелки между клиентами и серверами указывают, что пользователь подписан на определенную группу новостей и читает или отправляет туда статьи.

Примечательно, что клиенты никогда не соединяются друг с другом, но по-прежнему имеют доступ к сообщениям друг друга, даже если они никогда не подключаются к одному и тому же серверу.

Usenet ( / ˈ j uː z n ɛ t / ), USENET , или, «полностью», Сеть пользователя , — это всемирная распределенная дискуссионная система, доступная на компьютерах. Он был разработан на основе Unix-to-Unix Copy (UUCP) архитектуры коммутируемого доступа . Том Траскотт и Джим Эллис придумали эту идею в 1979 году, а она была основана в 1980 году. Пользователи читают и публикуют сообщения (называемые статьями или сообщениями , а вместе они называются новостями ) в одной или нескольких тематических категориях, известных как группы новостей . Usenet во многих отношениях напоминает систему досок объявлений (BBS) и является предшественником интернет -форумов , которые стали широко использоваться. Обсуждения ведутся по цепочкам , как на веб-форумах и BBS, хотя сообщения хранятся на сервере последовательно.

Основное различие между BBS или веб-доской объявлений и Usenet заключается в отсутствии центрального сервера и выделенного администратора или хостинг-провайдера. Usenet распределен среди большого, постоянно меняющегося набора новостных серверов , которые хранят и пересылают сообщения друг другу через «ленты новостей». Отдельные пользователи могут читать сообщения и публиковать сообщения на локальном (или просто предпочитаемом) сервере новостей, которым может управлять кто угодно, и эти сообщения будут автоматически пересылаться на любые другие серверы новостей, соединенные с локальным, в то время как локальный сервер будет получать любые новости, которые есть у его коллег, которых ему сейчас не хватает. Это приводит к автоматическому распространению контента, опубликованного любым пользователем на любом сервере, среди любого другого пользователя, подписанного на те же группы новостей на других серверах.

Как и в случае с BBS и досками объявлений, отдельные новостные серверы или поставщики услуг не обязаны передавать какой-либо конкретный контент и могут отказаться делать это по многим причинам: сервер новостей может попытаться контролировать распространение спама, отказываясь принимать или пересылать спам. любые сообщения, которые активируют спам-фильтры , или сервер без хранилища данных большой емкости могут отказаться поддерживать любые группы новостей, используемые в основном для обмена файлами , ограничиваясь группами, ориентированными на обсуждения. Однако, в отличие от BBS и веб-форумов, рассредоточенный характер Usenet обычно позволяет пользователям, заинтересованным в получении определенного контента, получить к нему доступ, просто выбрав подключение к серверам новостей, которые передают нужные им каналы.

Usenet имеет культурное и историческое значение в сетевом мире, поскольку он породил или популяризировал множество широко известных концепций и терминов, таких как « FAQ », « флейм », « sockpuppet » и « спам ». В начале 1990-х годов, незадолго до того, как доступ к Интернету стал общедоступным, соединения Usenet через Fidonet коммутируемые сети BBS сделали широко распространенными международные или всемирные дискуссии и другие виды связи, не требующие сервера, а только (местную) телефонную связь.

Название Usenet происходит от термина «сеть пользователей». Первой группой Usenet была NET.general , которая быстро стала net.general . Первый коммерческий спам в Usenet был отправлен иммиграционными адвокатами Кантером и Сигелом, рекламирующими услуги грин-карт.

В Интернете Usenet передается через протокол передачи сетевых новостей (NNTP) через 119 протокола управления передачей (TCP) порт для стандартных незащищенных соединений и через порт TCP 563 для зашифрованных соединений Secure Sockets Layer (SSL).

Введение

Usenet был задуман в 1979 году и публично учрежден в 1980 году в Университете Северной Каролины в Чапел-Хилл и Университете Дьюка . более чем за десять лет до того, как Всемирная паутина вышла в Интернет (и, таким образом, до того, как широкая публика получила доступ к Интернету ) , что сделало ее одной из старейших компьютерных сетевых систем связи, которые до сих пор широко используются. для бедных Первоначально он был построен на основе « ARPANET », используя UUCP в качестве транспортного протокола для передачи почты и файлов, а также объявлений через недавно разработанное новостное программное обеспечение , такое как A News . Название «Usenet» подчеркивает надежду его создателей на то, что организация USENIX примет активное участие в его работе.

Статьи, которые пользователи публикуют в Usenet, организованы в тематические категории, известные как группы новостей , которые сами по себе логически организованы в иерархии тем. Например, sci.math и sci.физика находятся в иерархии sci.* . Или talk.origins и talk.atheism находятся в иерархии talk.* . Когда пользователь подписывается на группу новостей, программное обеспечение клиента новостей отслеживает, какие статьи он прочитал.

В большинстве телеконференций большинство статей являются ответами на другие статьи. Набор статей, которые можно отследить до одной статьи, на которую нет ответа, называется потоком . Большинство современных программ чтения новостей отображают статьи, разбитые на темы и подтемы. Например, в группе новостей о виноделии Rec.crafts.winemaking кто-то может создать тему под названием; «Какие дрожжи самые лучшие?» и эта ветка или разговор могут перерасти в десятки ответов, возможно, от шести или восьми разных авторов. В течение нескольких дней разговор о различных винных дрожжах может разветвиться на несколько подтем в древовидной форме.

Когда пользователь публикует статью, она изначально доступна только на сервере новостей этого пользователя. Каждый сервер новостей общается с одним или несколькими другими серверами (своими «каналами новостей») и обменивается с ними статьями. Таким образом, статья копируется с сервера на сервер и в конечном итоге должна достичь каждого сервера в сети. Более поздние одноранговые сети работают по аналогичному принципу, но в Usenet обычно передачу инициирует отправитель, а не получатель. Usenet был разработан в условиях, когда сети были намного медленнее и не всегда доступны. Многие сайты в исходной сети Usenet подключались только один или два раза в день для пакетной передачи сообщений. Во многом это связано с тем, что сеть POTS обычно использовалась для переводов, а стоимость телефонной связи в ночное время была ниже.

Формат и передача статей Usenet аналогичны форматам сообщений электронной почты в Интернете . Разница между ними заключается в том, что статьи Usenet могут быть прочитаны любым пользователем, чей сервер новостей содержит группу, в которой было опубликовано сообщение, в отличие от сообщений электронной почты, у которых есть один или несколько конкретных получателей.

Сегодня значение Usenet уменьшилось по сравнению с интернет-форумами , блогами , списками рассылки и социальными сетями . Usenet отличается от таких средств массовой информации по нескольким причинам: Usenet не требует личной регистрации в соответствующей группе; информацию не нужно хранить на удаленном сервере; архивы всегда доступны; а для чтения сообщений нужен не почтовый или веб-клиент, а новостной клиент. Однако теперь можно читать и участвовать в группах новостей Usenet в значительной степени с помощью обычных веб-браузеров , поскольку большинство групп новостей теперь копируются на несколько веб-сайтов. Группы в alt.binaries до сих пор широко используются для передачи данных.

Интернет-провайдеры, серверы новостей и ленты новостей

Карта провайдеров Usenet

Многие интернет-провайдеры и многие другие интернет-сайты имеют серверы новостей , к которым имеют доступ их пользователи. Интернет-провайдеры, которые не управляют собственными серверами напрямую, часто предлагают своим пользователям учетную запись от другого провайдера, который специально управляет новостными лентами. В ранних реализациях новостей сервер и программа чтения новостей представляли собой единый программный пакет, работавший в одной системе. Сегодня используется отдельное клиентское программное обеспечение для чтения новостей, программа, которая напоминает клиент электронной почты, но вместо этого обращается к серверам Usenet.

Не все интернет-провайдеры имеют серверы новостей. Сервер новостей — одна из самых сложных в администрировании интернет-служб из-за большого объема задействованных данных, небольшой клиентской базы (по сравнению с обычными интернет-службами) и непропорционально большого количества обращений в службу поддержки клиентов (часто жалующихся на отсутствие новостных статей). . Некоторые интернет-провайдеры передают новостные операции специализированным сайтам, которые обычно кажутся пользователю такими, как если бы сервер управлял самим интернет-провайдером. Многие из этих сайтов имеют ограниченную ленту новостей с ограниченным количеством групп новостей. В такую ​​ленту новостей обычно не включаются новостные группы на иностранных языках и иерархия alt.binaries , которая в основном содержит программное обеспечение, музыку, видео и изображения и на которую приходится более 99 процентов данных статей.

Существуют также провайдеры Usenet, которые предлагают полный неограниченный сервис пользователям, чьи интернет-провайдеры не передают новости или предоставляют ограниченные каналы.

Читатели новостей

Доступ к группам новостей обычно осуществляется с помощью программ чтения новостей : приложений, которые позволяют пользователям читать сообщения в группах новостей и отвечать на них. Эти приложения действуют как клиенты одного или нескольких серверов новостей. Исторически Usenet ассоциировался с операционной системой Unix , разработанной в AT&T , но вскоре программы чтения новостей стали доступны для всех основных операционных систем. Клиентские программы электронной почты и интернет-пакеты конца 1990-х и 2000-х годов часто включали встроенную программу чтения новостей. Энтузиасты телеконференций часто критиковали их за то, что они уступают автономным программам чтения новостей, которые правильно используют протоколы, стандарты и соглашения Usenet.

С появлением Всемирной паутины (WWW) веб-интерфейсы (web2news) стали более распространенными. Веб-интерфейсы снизили технические требования к входному барьеру до уровня одного приложения и отсутствия учетной записи сервера Usenet NNTP. В настоящее время существует множество веб-сайтов, предлагающих веб-шлюзы для групп Usenet, хотя некоторые люди по той или иной причине начали фильтровать сообщения, созданные некоторыми веб-интерфейсами. Группы Google является одним из таких веб-интерфейсов, и некоторые веб-браузеры могут получить доступ к группам Google напрямую через новости: ссылки на протоколы.

Модерируемые и немодерируемые группы новостей

Меньшая часть групп новостей модерируется, а это означает, что сообщения, отправленные читателями, не распространяются непосредственно в Usenet, а вместо этого отправляются по электронной почте модераторам группы новостей для утверждения. Модератор должен получать отправленные статьи, просматривать их и добавлять одобренные статьи, чтобы их можно было правильно распространить по всему миру. Статьи, одобренные модератором, должны содержать строку заголовка «Одобрено:». Модераторы следят за тем, чтобы сообщения, которые читатели видят в группе новостей, соответствовали уставу группы новостей, хотя они не обязаны следовать каким-либо таким правилам или рекомендациям. Обычно модераторы назначаются по предложению группы новостей, и смена модераторов осуществляется по плану преемственности.

Исторически сложилось так, что иерархия mod.* существовала до реорганизации Usenet. Теперь модерируемые группы новостей могут появляться в любой иерархии, обычно с .moderated добавлено к названию группы.

Группы новостей Usenet в иерархии «Большой восьмерки» создаются на основе предложений, называемых «Запрос на обсуждение» или RFD. RFD должен содержать следующую информацию: имя группы новостей, запись файла контрольной группы и модерируемый или немодерируемый статус. Если группа будет модерироваться, необходимо указать хотя бы одного модератора с действующим адресом электронной почты. Другая информация, которая полезна, но не обязательна, включает в себя: устав, обоснование и политику модерации, если группа должна модерироваться. Далее следует обсуждение предложения о новой группе новостей, которое завершается тем, что члены Правления «большой восьмерки» голосованием принимают решение либо одобрить, либо не одобрить новую группу новостей.

Немодерируемые группы новостей составляют большинство групп новостей Usenet, и сообщения, отправленные читателями в немодерируемые группы новостей, немедленно распространяются на всеобщее обозрение. Минимальная фильтрация редакционного контента и скорость распространения — вот одна из ключевых особенностей сообщества Usenet. Одним из немногих упоминаемых способов защиты от распространения является отмена распространяемого сообщения, но немногие пользователи Usenet используют эту команду, а некоторые программы для чтения новостей не предлагают команды отмены , отчасти потому, что срок хранения статей в любом случае истекает относительно быстро. Почти все немодерируемые группы Usenet, как правило, получают большое количество спама .

Технические подробности

Usenet — это набор протоколов для создания, хранения и получения новостных «статей» (которые напоминают почтовые сообщения Интернета) и для обмена ими среди читателей, которые потенциально широко распределены. Эти протоколы чаще всего используют алгоритм лавинной рассылки , который распространяет копии по сети участвующих серверов. Всякий раз, когда сообщение достигает сервера, этот сервер пересылает его всем своим соседям по сети, которые еще не видели статью. На каждом сервере хранится только одна копия сообщения, и каждый сервер предоставляет ее по требованию читателям (обычно локальным), имеющим доступ к этому серверу. Таким образом, совокупность серверов Usenet имеет определенный одноранговый характер, поскольку они совместно используют ресурсы путем их обмена, однако степень детализации обмена находится в другом масштабе, чем в современной одноранговой системе, и эта характеристика исключает реальных пользователей. системы, которые подключаются к серверам новостей с помощью типичного клиент-серверного приложения, очень похожего на программу чтения электронной почты.

RFC 850 был первой официальной спецификацией сообщений, которыми обмениваются серверы Usenet. Он был заменен RFC 1036, а затем RFC 5536 и RFC 5537.

В случаях публикации неподходящего контента Usenet поддерживает автоматическое удаление публикации из всей сети путем создания сообщения об отмене, хотя из-за отсутствия аутентификации и, как следствие, злоупотреблений, эта возможность часто отключается. Владельцы авторских прав по-прежнему могут запросить ручное удаление материалов, нарушающих авторские права, в соответствии с положениями соглашений Всемирной организации интеллектуальной собственности , таких как Закон США об ограничении ответственности за нарушение авторских прав в Интернете , но для этого потребуется уведомить каждого отдельного администратора сервера новостей.

В Интернете Usenet передается через протокол передачи сетевых новостей (NNTP) через порт TCP 119 для стандартных незащищенных соединений и через порт TCP 563 для SSL соединений с шифрованием .

Организация

Иерархия «Большой девятки» Usenet

Основной набор всемирных групп новостей содержится в девяти иерархиях, восемь из которых действуют в соответствии с согласованными правилами, регулирующими их администрирование и наименование. Текущая большая восьмерка :

• comp.* – обсуждения, связанные с компьютером ( comp.software , comp.sys.amiga )
• гуманитарные науки.* – изобразительное искусство , литература и философия ( humanities.classics , humanities.design.misc )
• разное.* – разные темы ( разное.образование , разное.для продажи , разное.дети )
• news.* — обсуждения и анонсы новостей (имеется в виду Usenet, а не текущие события) ( news.groups , news.admin )
• запись* – отдых и развлечения ( запись.музыка , запись.арт.фильмы )
• sci.* – дискуссии, связанные с наукой ( sci.psychology , sci.research )
• soc.* – социальные дискуссии ( soc.college.org , soc.cultural.african )
• talk.* — разговоры на различные спорные темы ( talk.religion , talk.politics , talk.origins )

См. также Великое переименование .

Иерархия .* alt не подчиняется процедурам, контролирующим группы «Большой восьмерки», и в результате она менее организована. Группы в иерархии alt.*, как правило, более специализированы или конкретны — например, в рамках «Большой восьмерки» может быть группа новостей, в которой обсуждаются детские книги, но группа в иерархии alt может быть посвящена одному конкретному автору детских книг. книги. Двоичные файлы размещаются в alt.binaries.* , что делает его самой большой из всех иерархий.

Наряду с ними распространяются многие другие иерархии групп новостей. Региональные и языковые иерархии, такие как japan.* , Malta.* и ne.*, обслуживают определенные страны и регионы, такие как Япония , Мальта и Новая Англия . Компании и проекты администрируют свои собственные иерархии для обсуждения своих продуктов и предлагают техническую поддержку сообществу, например, историческую иерархию gnu.* от Free Software Foundation . Microsoft закрыла свой сервер новостей в июне 2010 года, теперь обеспечивая поддержку своих продуктов через форумы. Некоторые пользователи предпочитают использовать термин «Usenet» для обозначения только иерархий «Большой восьмерки»; другие включают alt.* также . Более общий термин «сетевые новости» включает в себя всю среду, включая системы новостей частных организаций.

Также существуют неформальные соглашения подиерархии. *.ответы обычно представляют собой модерируемые группы перекрестных сообщений для часто задаваемых вопросов. Часто задаваемые вопросы будут публиковаться в одной группе, а перекрестная публикация в группе *.ответы во главе иерархии рассматривается некоторыми как уточнение информации в этой группе новостей. Некоторые подгруппы рекурсивны — вплоть до некоторой глупости в alt.* .

Бинарный контент

Наглядный пример множества сложных шагов, необходимых для подготовки данных для загрузки в группы новостей Usenet. Эти шаги необходимо выполнить еще раз в обратном порядке, чтобы загрузить данные из Usenet.

Usenet изначально был создан для распространения текстового контента, закодированного в 7- битном наборе символов ASCII . С помощью программ, кодирующих 8-битные значения в ASCII, стало практичным распространять двоичные файлы в качестве контента. Бинарные сообщения из-за их размера и часто сомнительного статуса авторских прав были временно ограничены определенными группами новостей, что облегчало администраторам разрешение или запрет трафика.

Самый старый широко используемый метод кодирования двоичного содержимого — uuencode из пакета Unix UUCP. В конце 1980-х годов статьи Usenet часто ограничивались 60 000 символов, а сегодня существуют более жесткие ограничения. Поэтому файлы обычно разбиваются на разделы, которые требуют повторной сборки читателем.

Благодаря расширениям заголовков и Base64 и Quoted-Printable кодировкам MIME появилось новое поколение двоичного транспорта. На практике MIME получил все большее распространение в текстовых сообщениях, но его избегают для большинства двоичных вложений. Некоторые операционные системы с прикрепленными к файлам метаданными используют специализированные форматы кодирования. Для Mac OS как BinHex используются , так и специальные типы MIME. Другими менее известными системами кодирования, которые, возможно, использовались когда-то, были кодирование BTOA , XX , BOO и USR.

В попытке сократить время передачи файлов в 2001 году была введена неофициальная кодировка файлов, известная как yEnc. Она позволяет сократить объем передаваемых данных примерно на 30% за счет предположения, что большинство 8-битных символов можно безопасно передавать по сети без предварительного кодирования в 7-битное пространство ASCII. Самый распространенный метод загрузки больших двоичных сообщений в Usenet — конвертировать файлы в архивы RAR и создавать Parchive для них файлы . Файлы четности используются для воссоздания недостающих данных, когда не каждая часть файлов достигает сервера.

Двоичные группы новостей можно использовать для распространения файлов, и по состоянию на 2022 год некоторые из них остаются популярными в качестве альтернативы BitTorrent для обмена и загрузки файлов.

Двоичное время хранения

Скриншот за октябрь 2020 г., показывающий 60 ПБ данных группы Usenet.

Каждый сервер новостей выделяет определенный объем места для хранения контента в каждой группе новостей. Когда это хранилище заполнено, каждый раз, когда поступает новое сообщение, старые сообщения удаляются, чтобы освободить место для нового контента. Если пропускная способность сети, доступная серверу, высока, но объем памяти невелик, огромный поток входящего контента может переполнить выделение и вытолкнуть все, что было в группе до этого. Средний период времени, в течение которого сообщения могут оставаться на сервере до удаления, обычно называют временем хранения .

Бинарные группы новостей могут надежно функционировать только в том случае, если выделено достаточно места для обработки количества добавляемых статей. Без достаточного времени хранения читатель не сможет загрузить все части двоичного файла до того, как он будет удален из хранилища группы. Когда-то именно так противодействовали публикации нежелательного контента; группа новостей будет переполнена случайными сообщениями с мусорными данными, в достаточном количестве, чтобы вытолкнуть весь контент, который нужно подавить. Это компенсируется тем, что поставщики услуг выделяют достаточно места для хранения всей публикуемой информации каждый день, включая потоки спама, ничего не удаляя.

Современные новостные серверы Usenet имеют достаточную мощность для архивирования многолетнего двоичного контента, даже когда он переполнен новыми данными на максимально доступной ежедневной скорости.

Отчасти из-за такого длительного времени хранения, а также растущей скорости загрузки в Интернет , Usenet также используется отдельными пользователями для хранения резервных копий данных. Хотя коммерческие поставщики предлагают более простые в использовании услуги онлайн-резервного копирования , хранение данных в Usenet является бесплатным (хотя доступ к самому Usenet может и не предоставляться). Этот метод требует, чтобы загрузчик уступил контроль над распространением данных; файлы автоматически распространяются среди всех провайдеров Usenet, обменивающихся данными для группы новостей, в которой они публикуются. Обычно пользователю приходится вручную выбирать, готовить и загружать данные. Данные обычно зашифрованы , поскольку каждый может загрузить файлы резервных копий. После загрузки файлов размещение нескольких копий в разных географических регионах мира на разных серверах новостей снижает вероятность потери данных.

Основные поставщики услуг Usenet имеют срок хранения более 12 лет. В результате получается более 60 петабайт (60 000 терабайт ) хранилища (см. изображение). При использовании Usenet для хранения данных предпочтение отдается поставщикам, предлагающим более длительный срок хранения, чтобы гарантировать сохранение данных в течение более длительных периодов времени по сравнению с услугами с более низким временем хранения.

Юридические вопросы

В то время как бинарные группы новостей могут использоваться для распространения полностью легальных произведений, созданных пользователями, бесплатного программного обеспечения и материалов, являющихся общественным достоянием, некоторые бинарные группы используются для незаконного распространения несвободного программного обеспечения , носителей, защищенных авторским правом, и порнографических материалов.

Серверы Usenet, управляемые интернет-провайдером, часто блокируют доступ ко всем группам alt.binaries.* , чтобы уменьшить сетевой трафик и избежать связанных с этим юридических проблем. Коммерческие поставщики услуг Usenet заявляют, что действуют как телекоммуникационные службы, и утверждают, что они не несут ответственности за публикуемый пользователями двоичный контент, передаваемый через их оборудование. В США провайдеры Usenet могут претендовать на защиту в соответствии с правилами DMCA Safe Harbor при условии, что они создадут механизм для соблюдения и реагирования на уведомления об удалении от правообладателей.

Удаление контента, защищенного авторским правом, из всей сети Usenet является практически невыполнимой задачей из-за быстрого распространения между серверами и сохранения, выполняемого каждым сервером. Подача петиции к провайдеру Usenet об удалении удаляет его только из кэша хранения этого одного сервера, но не других. Возможно об отмене поста распространение специального сообщения для его удаления со всех серверов, но многие провайдеры игнорируют сообщения об отмене в соответствии со стандартной политикой, поскольку их может легко подделать и отправить кто угодно. Чтобы ходатайство об удалении было наиболее эффективным во всей сети, оно должно быть отправлено на исходный сервер, на котором был размещен контент, прежде чем оно будет распространено на другие серверы. Удаление контента на этой ранней стадии предотвратит дальнейшее распространение, но благодаря современным высокоскоростным каналам контент может распространяться так же быстро, как он поступает, не оставляя времени для проверки контента и удаления его правообладателями.

Установить личность человека, публикующего незаконный контент, не менее сложно из-за структуры сети, основанной на доверии. Как и электронная почта SMTP , серверы обычно предполагают, что информация о заголовке и источнике сообщения верна и точна. Однако, как и в электронной почте SMTP, заголовки сообщений Usenet легко подделать, чтобы скрыть истинную личность и местоположение источника сообщения. В этом смысле Usenet существенно отличается от современных P2P-сервисов; большинство пользователей P2P, распространяющих контент, обычно сразу идентифицируются всеми другими пользователями по их сетевому адресу , но информация об источнике публикации в Usenet может быть полностью скрыта и недоступна после того, как она распространится за пределы исходного сервера.

Кроме того, в отличие от современных P2P-сервисов, личность загрузчика скрыта от глаз. В службах P2P загрузчик идентифицируется всеми остальными по сетевому адресу. В Usenet загрузчик подключается напрямую к серверу, и только сервер знает адрес того, кто к нему подключается. Некоторые провайдеры Usenet ведут журналы использования, но не все делают эту зарегистрированную информацию доступной для сторонних сторон, таких как Американская ассоциация звукозаписывающей индустрии . Существование анонимных шлюзов в USENET также усложняет отслеживание истинного происхождения сообщений.

История

Эксперименты с группами новостей впервые были проведены в 1979 году. Том Траскотт и Джим Эллис из Университета Дьюка придумали эту идею в качестве замены местной программы объявлений и установили связь с близлежащим Университетом Северной Каролины, используя сценарии оболочки Bourne , написанные Стивом Белловином . Публичный выпуск новостей осуществлялся в виде обычного скомпилированного программного обеспечения , написанного Стивом Дэниелом и Траскоттом. В 1980 году Usenet был подключен к ARPANET через Калифорнийский университет в Беркли , который имел соединения как с Usenet, так и с ARPANET. Мэри Энн Хортон , аспирантка, устанавливавшая соединение, начала «передавать списки рассылки из ARPANET в Usenet» с помощью «fa» («Из ARPANET» ) идентификатор. За первый год существования Usenet приобрела 50 сайтов-членов, включая Reed College , Университет Оклахомы и Bell Labs . и количество людей, пользующихся сетью, резко возросло; однако прошло еще некоторое время, прежде чем пользователи Usenet смогли внести свой вклад в ARPANET.

Сеть

Сети UUCP быстро распространяются благодаря более низким затратам и возможности использовать существующие выделенные линии, каналы X.25 или даже соединения ARPANET . К 1983 году в нем приняли участие тысячи людей с более чем 500 хостов, в основном университетов и сайтов Bell Labs, а также растущего числа компаний, связанных с Unix; число хостов почти удвоилось до 940 в 1984 году. Существовало более 100 групп новостей, более 20 посвящено Unix и другим темам, связанным с компьютерами, и по крайней мере треть - отдыху. Поскольку сеть хостов UUCP быстро расширялась, стало желательно выделить подмножество Usenet из общей сети. На конференции USENIX 1982 года было проведено голосование по выбору нового названия. Название Usenet было сохранено, но было установлено, что оно применимо только к новостям. Имя UUCPNET стало общим названием всей сети.

Помимо UUCP, ранний трафик Usenet также обменивался с Fidonet с коммутируемым доступом и другими сетями BBS . К середине 1990-х годов действовало почти 40 000 систем FidoNet, и можно было общаться с миллионами пользователей по всему миру, используя только местную телефонную связь. Широкому использованию Usenet сообществом BBS способствовало введение каналов UUCP, ставших возможными благодаря реализациям UUCP в MS-DOS, таким как UFGATE (UUCP to FidoNet Gateway), FSUUCP и UUPC. В 1986 году RFC 977 предоставил спецификацию протокола передачи сетевых новостей (NNTP) для распространения статей Usenet через TCP/IP как более гибкую альтернативу неформальной передаче через Интернет трафика UUCP. После интернет-бума 1990-х годов почти все распространение Usenet осуществляется через NNTP.

Программное обеспечение

Ранние версии Usenet использовали программное обеспечение Duke's A News , рассчитанное на одну или две статьи в день. Мэтт Гликман и Хортон из Беркли выпустили улучшенную версию под названием B News , которая могла справиться с растущим трафиком (около 50 статей в день по состоянию на конец 1983 года). Благодаря формату сообщений, обеспечивающему совместимость с почтой Интернета и улучшенной производительностью, он стал доминирующим серверным программным обеспечением. C News , разработанный Джеффом Коллайером и Генри Спенсером из Университета Торонто , был сравним с B News по функциям, но предлагал значительно более быструю обработку. В начале 1990-х годов Рич Зальц разработал InterNetNews, преимуществами чтобы воспользоваться непрерывного потока сообщений, ставшего возможным благодаря NNTP, по сравнению с пакетным дизайном с промежуточным хранением UUCP. С тех пор разработка INN продолжалась, а также разрабатывалось другое программное обеспечение для серверов новостей.

Общественное место

Usenet был первым Интернет-сообществом и местом многих наиболее важных общественных событий в докоммерческом Интернете. Это было место, где Тим Бернерс-Ли объявил о запуске Всемирной паутины . где Линус Торвальдс анонсировал проект Linux , и где Марк Андриссен объявил о создании браузера Mosaic и введении тега изображения, который произвел революцию во Всемирной паутине, превратив ее в графическую среду. Активистка Эми Гудло использовала платформу для ведения списка адресов электронной почты для ЛГБТ-активизма .

и

Многие жаргонные термины, которые сейчас широко используются в Интернете, возникли или были популяризированы в Usenet. множество конфликтов, которые позже распространились на остальную часть Интернета, например, продолжающиеся проблемы со спамом . Аналогичным образом, в Usenet началось

«Usenet похож на стадо выступающих слонов с диареей. Огромный, трудно перенаправить, внушающий трепет, развлекательный и источник ошеломляющего количества экскрементов, когда вы меньше всего этого ожидаете».

— Джин Спаффорд , 1992 г.

Отклонить

Саша Сеган из журнала PC Magazine сказал в 2008 году, что «Usenet умирает уже много лет». Сеган сказал, что некоторые люди указали на «Вечный сентябрь» 1993 года как на начало упадка Usenet, когда AOL начала предлагать доступ к Usenet. Он утверждает, что, когда к концу 1990-х годов пользователи начали размещать большие (нетекстовые) файлы в Usenet, дисковое пространство и трафик Usenet соответственно увеличились. Интернет-провайдеры задаются вопросом, зачем им нужно размещать на хостинге двоичные статьи.

AOL прекратила доступ к Usenet в 2005 году. В мае 2010 года Университет Дьюка , реализация которого запустила Usenet более 30 лет назад, вывел из эксплуатации свой сервер Usenet, сославшись на низкий уровень использования и рост затрат. 4 февраля 2011 года ссылка на службу новостей Usenet в Университете Северной Каролины в Чапел-Хилл (news.unc.edu) была закрыта спустя 32 года.

В ответ Джон Биггс из TechCrunch сказал: «Пока есть люди, которые считают, что командная строка лучше мыши, оригинальная текстовая социальная сеть будет жить». Хотя в Usenet все еще существуют активные текстовые группы новостей, система теперь в основном используется для обмена большими файлами между пользователями, а базовая технология Usenet остается неизменной.

Usenet

Со временем объем трафика Usenet неуклонно увеличивался. По состоянию на 2010 год количество всех текстовых сообщений, сделанных во всех группах новостей «большой восьмерки», составляло в среднем 1800 новых сообщений в час, в среднем 25 000 сообщений в день. Однако эти средние значения ничтожны по сравнению с трафиком в бинарных группах. Большая часть этого увеличения трафика отражает не увеличение количества отдельных пользователей или дискуссий в группах новостей, а сочетание массовой автоматической рассылки спама и увеличения использования .binaries. групп новостей в котором большие файлы часто публикуются публично. Ниже приведена небольшая выборка изменений (измеренная в размере корма в день):

Источник: altopia.com

Дневной объем	Ежедневные сообщения	Дата
4,5 ГиБ		1996 декабрь
9 ГиБ		1997 июль
12 ГиБ	554 тыс.	1998 январь
26 ГиБ	609 тыс.	1999 январь
82 ГиБ	858 тыс.	2000 январь
181 ГиБ	1,24 М	2001 январь
257 ГиБ	1,48 М	2002 январь
492 ГиБ	2,09 М	2003 январь
969 ГиБ	3,30 М	2004 январь
1,52 ТиБ	5,09 М	2005 январь
2,27 ТиБ	7,54 М	2006 январь
2,95 ТиБ	9,84 М	2007 январь
3,07 ТиБ	10,13 М	2008 январь
4,65 ТиБ	14,64 М	2009 январь
5,42 ТиБ	15,66 М	2010 январь
7,52 ТиБ	20,12 М	2011 январь
9,29 ТиБ	23,91 М	2012 январь
11,49 ТиБ	28,14 М	2013 январь
14,61 ТиБ	37,56 М	2014 январь
17,87 ТиБ	44,19 М	2015 январь
23,87 ТиБ	55,59 М	2016 январь
27,80 ТиБ	64,55 М	2017 январь
37,35 ТиБ	73,95 М	2018 январь
60,38 ТиБ	104,04 М	2019 январь
62,40 ТиБ	107,49 М	2020 янв.
100,71 ТиБ	171,86 М	2021 янв.
220,00 ТиБ	279,16 М	2023 август
274,49 ТиБ	400,24 М	2024 февраль

В 2008 году Verizon Communications , Time Warner Cable и Sprint Nextel подписали соглашение с генеральным прокурором Нью-Йорка Эндрю Куомо о закрытии доступа к источникам детской порнографии . Time Warner Cable прекратила предлагать доступ к Usenet. Verizon сократил свой доступ к иерархии «Большой восьмерки». Sprint остановил доступ к иерархии alt.* . AT&T прекратила доступ к иерархии alt.binaries.* . Куомо никогда конкретно не упоминал Usenet в своей кампании против детской порнографии. Дэвид ДеЖан из PC World сказал, что некоторые обеспокоены тем, что интернет-провайдеры использовали кампанию Куомо как предлог для прекращения доступа к Usenet, поскольку это дорого обходится провайдерам интернет-услуг и не пользуется большим спросом у клиентов. В 2008 году AOL , которая больше не предлагала доступ к Usenet, и четыре провайдера, откликнувшиеся на кампанию Куомо, были пятью крупнейшими провайдерами интернет-услуг в США; у них было более 50% доли рынка интернет-провайдеров в США. 8 июня 2009 г. AT&T объявила, что с 15 июля 2009 г. больше не будет предоставлять доступ к услуге Usenet.

AOL объявила, что прекратит работу своего интегрированного сервиса Usenet в начале 2005 года, сославшись на растущую популярность блогов, чат-форумов и онлайн-конференций. Сообщество AOL сыграло огромную роль в популяризации Usenet примерно 11 лет назад.

В августе 2009 года Verizon объявила, что прекратит доступ к Usenet 30 сентября 2009 года. JANET объявила о прекращении обслуживания Usenet с 31 июля 2010 г., сославшись на группы Google в качестве альтернативы. Microsoft объявила, что прекратит поддержку своих общедоступных групп новостей (msnews.microsoft.com) с 1 июня 2010 года, предложив в качестве альтернативы веб-форумы.

Основные причины прекращения обслуживания Usenet обычными интернет-провайдерами включают снижение количества реальных читателей из-за конкуренции со стороны блогов , а также проблемы стоимости и ответственности, связанные с увеличением доли трафика, предназначенного для обмена файлами и спама в неиспользуемых или прекращенных группах.

Некоторые интернет-провайдеры не назвали давление со стороны кампании Куомо против детской порнографии одной из причин отказа от каналов Usenet как части своих услуг. Интернет-провайдеры Cox и Atlantic Communications сопротивлялись тенденции 2008 года, но оба в конечном итоге отказались от своих каналов Usenet в 2010 году.

Архивы

Публичные архивы статей Usenet существовали с первых дней существования Usenet, например, система, созданная Кеннетом Алмквистом в конце 1982 года. Распределенное архивирование сообщений Usenet было предложено в ноябре 1982 года Скоттом Оршаном, который предложил: «Каждый сайт должен хранить все опубликованные статьи навсегда». Также в ноябре того же года Рик Адамс ответил на сообщение с вопросом: «Кто-нибудь архивировал сетевые новости или кто-нибудь планирует это сделать?» заявив, что он «боится признать это, но с 18 сентября я начал архивировать самые «полезные» группы новостей». В июне 1982 года Грегори Г. Вудбери предложил систему «автоматического доступа к архивам», которая заключалась в «автоматическом ответе на сообщения фиксированного формата специальному получателю почты на определенных машинах».

две системы архивирования новостей и одна RFC В 1985 году в Интернете были размещены . Первая система, названная Keepnews, разработанная Марком М. Свенсоном из Университета Аризоны , была описана как «программа, которая пытается обеспечить разумный способ извлечения и хранения информации, поступающей через Usenet». Основным преимуществом этой системы было то, что пользователи могли отмечать статьи как достойные сохранения. Вторая система, YA News Archiver от Chuq Von Rospach, была похожа на Keepnews, но была «предназначена для работы с гораздо большими архивами, где замечательная функция Unix с квадратичным временем поиска... становится настоящей проблемой». Фон Роспах в начале 1985 года опубликовал подробный RFC для «архивирования статей Usenet и доступа к ним с помощью поиска по ключевым словам ». В этом RFC описана программа, которая может «генерировать и поддерживать архив статей Usenet и разрешать поиск статей на основе идентификатора статьи, темы или ключевых слов, взятых из самой статьи». Также был включен код C для внутренней структуры данных системы.

Желание иметь индекс полнотекстового поиска по архивным новостным статьям также не ново: один из таких запросов был сделан в апреле 1991 года Алексом Мартелли, который стремился «создать своего рода индекс ключевых слов для [архива новостей]». В начале мая Мартелли опубликовал в Usenet сводку своих ответов, отметив, что «награда за самое популярное предложение обязательно должна достаться пакету lq-text Лиама Куина, недавно опубликованному на alt.sources».

Сайт Alt Sex Stories Text Repository (ASSTR) архивирует и индексирует эротические и порнографические истории, размещенные в группе Usenet alt.sex.stories .

Архивирование Usenet привело к опасениям потери конфиденциальности. Архив упрощает способы составления профилей людей. Частично этому удалось противодействовать введением заголовка X-No-Archive: Yes , который сам по себе является спорным.

групп Google и

Основная статья: Группы Google

Архивирование сообщений Usenet через Интернет началось в марте 1995 года в Deja News с очень большой базой данных с возможностью поиска. В феврале 2001 года эта база данных была приобретена Google ; Google начал архивировать сообщения Usenet для себя, начиная со второй недели августа 2000 года.

В группах Google хранится архив сообщений Usenet, начиная с мая 1981 года. Самые ранние сообщения, датированные периодом с мая 1981 года по июнь 1991 года, были переданы в дар Google Университетом Западного Онтарио с помощью Дэвида Уайзмана и других. и первоначально были заархивированы Генри Спенсером на факультете зоологии Университета Торонто. Архивы за конец 1991 - начало 1995 года были предоставлены Кентом Лэндфилдом из серии компакт-дисков NetNews. и Юрген Кристоффель из GMD .

Google подвергся критике со стороны сотрудников Vice и Wired , а также бывших сотрудников за управление архивом и нарушение функций поиска.

По состоянию на январь 2024 года в группах Google есть заголовок, в котором говорится:

С 22 февраля 2024 года группы Google больше не будут поддерживать новый контент Usenet. Публикация и подписка будут запрещены, а новый контент от узлов Usenet не будет появляться. Просмотр и поиск исторических данных по-прежнему будет поддерживаться, как и сегодня.

На пояснительной странице добавлено:

Кроме того, сервер протокола передачи сетевых новостей Google (NNTP) и связанный с ним пиринг больше не будут доступны, а это означает, что Google не будет поддерживать обслуживание нового контента Usenet или обмен контентом с другими серверами NNTP. Это изменение не повлияет на какой-либо контент, не относящийся к Usenet, в группах Google, включая все группы, созданные пользователями и организациями.

См. также

• Ассоциация прогрессивных коммуникаций
• Федиверс
• ПЛАТОН Заметки
• Юснет II
• Личность Usenet

Программы чтения новостей Usenet

• Читалка новостей (Usenet)
• Сравнение программ чтения новостей Usenet
• Список программ чтения новостей Usenet

Поставщики услуг Usenet/групп новостей

• Астравеб
• Easynews
• Гиганьюс
• Суперновости

История Usenet

• Саентология и Интернет
• Сардар Аргыч

Администраторы Usenet

У Usenet были администраторы на уровне каждого сервера, а не в целом. Несколько известных администраторов:

• Крис Льюис
• Джин Спаффорд , он же Спаф
• Генри Спенсер
• Когда Пуоламяки
• Мэри Энн Хортон

Дальнейшее чтение

• Брюс Джонс (1 июля 1997 г.). «Архив списка рассылки истории USENET за 1990–1997 годы» . Архивировано из оригинала 7 мая 2019 года.
• Майкл Хаубен , Ронда Хаубен и Томас Траскотт (27 апреля 1997 г.). Пользователи сети: об истории и влиянии Usenet и Интернета (перспективы) . Компьютерное общество Wiley-IEEE P. ISBN  978-0-8186-7706-9 . Архивировано из оригинала 10 июня 2015 года . Проверено 6 июня 2015 г. {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
• Брайан Пфаффенбергер (31 декабря 1994 г.). Книга USENET: Поиск, использование и сохранение групп новостей в Интернете . Эддисон Уэсли. ISBN  978-0-201-40978-9 .
• Кейт Грегори; Джим Манн; Тим Паркер и Ноэль Эстабрук (июнь 1995 г.). Использование групп новостей Usenet . Que. ISBN  978-0-7897-0134-3 .
• Марк Харрисон (июль 1995 г.). Справочник USENET (Краткий справочник) . О'Рейли. ISBN  978-1-56592-101-6 .
• Генри Спенсер; Дэвид Лоуренс (январь 1998 г.). Управление Usenet . О'Рейли. ISBN  978-1-56592-198-6 .
• Дон Риттнер (июнь 1997 г.). Полевое руководство Риттнера по Usenet . Издательство МНС. ISBN  978-0-937666-50-0 .
• Konstan, J., Miller, B., Maltz, D., Herlocker, J., Gordon, L., and Riedl, J. (March 1997). "GroupLens: applying collaborative filtering to Usenet news". Communications of the ACM. 40 (3): 77–87. CiteSeerX 10.1.1.377.1605. doi:10.1145/245108.245126. S2CID 15008577.{{cite journal}}: CS1 maint: multiple names: authors list (link)
• Miller, B.; Riedl, J.; Konstan, J. (January 1997). Proceedings of the 1997 Usenix Winter Technical Conference (PDF). Experiences with GroupLens: Making Usenet useful again. Archived (PDF) from the original on March 6, 2006. Retrieved December 13, 2005.
• "20 Year Usenet Timeline". Archived from the original on January 5, 2007. Retrieved June 27, 2006.
• "Web 2.0, Meet Usenet 1.0". Linux Magazine. Archived from the original on February 16, 2007. Retrieved February 13, 2007.{{cite web}}: CS1 maint: unfit URL (link)
• Schwartz, Randal (June 15, 2006). "Web 2.0, Meet Usenet 1.0". Archived from the original on February 16, 2007. Retrieved June 4, 2007.{{cite web}}: CS1 maint: unfit URL (link)
• Kleiner, Dmytri; Wyrick, Brian (January 29, 2007). "InfoEnclosure 2.0". Archived from the original on October 25, 2011. Retrieved June 4, 2007.

External links

• Usenet information, software, and service providers at Curlie
• IETF working group USEFOR (USEnet article FORmat), tools.ietf.org
• A-News Archive: Early Usenet news articles: 1981 to 1982., quux.org
• UTZoo Archive: 2,000,000 articles from early 1980s to July 1991
• "Netscan". Archived from the original on June 21, 2007. Social Accounting Reporting Tool
• Living Internet A comprehensive history of the Internet, including Usenet. livinginternet.com
• Usenet Glossary A comprehensive list of Usenet terminology
• Usenet free servers A list of free providers of Usenet server access