✖


Jump to content

НИМЭ

НИМЭ
Разработчик(и) НИМЭ
Стабильная версия
5.2 / 6 декабря 2023 г. [1]
Репозиторий github.com/knime/knime-core [3]
Написано в Java , JavaScript , Питон
Операционная система Linux , MacOS , Windows
Доступно в Английский
Тип Наука о данных / Низкий код / ​​Управляемая аналитика / ИИ / Корпоративная отчетность / Бизнес-аналитика / Интеллектуальный анализ данных / Машинное обучение / Глубокое обучение / Интеллектуальный анализ текста / Большие данные / Геопространственный анализ / Визуализация данных / Создание сценариев / CI/CD
Лицензия Стандартная общественная лицензия GNU
Веб-сайт www .имя .с

KNIME (/naɪm/), Konstanz Information Miner , — это глобальная компания по производству компьютерного программного обеспечения, первоначально основанная в Констанце (Германия), в настоящее время со штаб-квартирой в Цюрихе (Швейцария) с офисами в Германии, США и Швейцарии.

KNIME разрабатывает программное обеспечение KNIME, состоящее из аналитической платформы KNIME и концентратора KNIME .

Аналитическая платформа KNIME [2] — это бесплатное программное обеспечение с открытым исходным кодом , требующее минимального кода / без кода, предназначенное для доступа , смешивания , преобразования , моделирования и визуализации данных . Аналитическая платформа KNIME подходит для проведения анализа различного типа и сложности: от процессов ETL до информационных панелей , от генеративного искусственного интеллекта до анализа изображений и приложений для медико-биологических наук. Программное обеспечение имеет визуальный интерфейс перетаскивания, который позволяет пользователям с различными аналитическими навыками создавать решения на основе данных, повышать квалификацию групп, проводить исследования или преподавать. Более продвинутые пользователи также могут интегрировать внешние инструменты и языки сценариев (например, Python , R , Java ) в свои конвейеры в аналитической платформе KNIME.

Центр сообщества KNIME, [3] Центральный репозиторий для сбора общей базы знаний сообщества KNIME представляет собой среду совместной работы решений для обработки данных и экосистему повышения квалификации. Оно позволяет отдельным пользователям изучить основы или углубиться в науку о данных, получить доступ к расширениям аналитической платформы KNIME , открыть для себя чертежи, созданные сообществом, а также бесплатно хранить и делиться своей работой в общественных местах. С февраля 2024 г. [4] KNIME Community Hub также имеет подписку на групповой план, которая обслуживает небольшие команды до 10 участников и включает некоторые коммерческие функции, такие как планирование выполнения рабочих процессов и совместная работа в частном пространстве.

Бизнес-центр KNIME, [5] коммерческий компонент программного обеспечения KNIME служит дополнением к бесплатной аналитической платформе KNIME с открытым исходным кодом. KNIME Business Hub Облачная архитектура и командное управление способствуют повышению эффективности операций внутри организации, помогая автоматизировать развертывание и мониторинг рабочих процессов, а также масштабировать аналитику в малых и крупных организациях. Пользователи с разным уровнем данных и опытом в предметной области могут сотрудничать, обмениваться рабочими процессами и создавать репозитории решений для повторного использования. Организации могут распространять аналитическую информацию с помощью REST API или приложений самообслуживания данных.

С 2006 года KNIME используется в фармацевтических исследованиях. Помимо этой области, использование KNIME в настоящее время распространяется на целый ряд отраслей, включая здравоохранение, розничную торговлю, CPG-аналитику, путешествия и транспорт, телекоммуникации, энергетику и коммунальные услуги, а также государственный сектор. Программное обеспечение позволяет интегрировать его в различные отделы корпоративных структур, включая маркетинг, финансы, человеческие ресурсы и управление цепочками поставок.

История [ править ]

Разработка KNIME началась в январе 2004 года группой исследователей и инженеров-программистов под руководством Майкла Бертольда из Университета Констанца как платформы с открытым исходным кодом . До переезда в Германию члены команды основателей работали в компании в Кремниевой долине, занимающейся программным обеспечением для фармацевтической промышленности. Первоначальная цель заключалась в создании модульной, хорошо масштабируемой платформы обработки данных с открытым исходным кодом, которая позволяла бы легко интегрировать различные данных модули загрузки , обработки , преобразования , анализа и визуального исследования без сосредоточения внимания на какой-либо конкретной области применения. Платформа была задумана как платформа для сотрудничества и исследований, а также служить платформой интеграции для различных других проектов по анализу данных.

В 2006 году была выпущена первая версия KNIME, и несколько фармацевтических компаний начали использовать KNIME, а ряд поставщиков программного обеспечения для медико-биологических наук начали интегрировать свои инструменты в KNIME. [6] [7] [8] [9] [10]

Позже в том же году, после статьи в немецком журнале c't , [11] к кораблю присоединились пользователи из ряда других регионов. [12]

По состоянию на 2012 год программное обеспечение KNIME используется не только в области наук о жизни. [13] [14] [15] но также в банках, издательствах, производителях автомобилей, телекоммуникационных компаниях, консалтинговых фирмах и различных других отраслях, а также в большом количестве исследовательских групп по всему миру. [16]

2022 год [17] увидел появление KNIME Business Hub, коммерческого продукта KNIME, направленного на предоставление управляемой клиентом среды для сотрудников, работающих с данными, для совместной разработки и развертывания решений для обработки данных в рамках организации. Разработанный для полной замены KNIME Server (предыдущее коммерческое решение KNIME), KNIME Business Hub был построен с нуля на масштабируемой облачной архитектуре , обладающей надежными возможностями совместной работы и значительными улучшениями в области простоты использования, развертывания , мониторинга и предоставления разрешений .

В том же году KNIME добавила среду разработки узлов на Python (в дополнение к Java ) и в сотрудничестве с Центром географического анализа Гарвардского университета разработала расширение Geospatial Analytics Extension, предоставляющее конкретные узлы для обработки, анализа и визуализации геопространственных данных . [18]

В 2023 году [19] Аналитическая платформа KNIME представила K-AI, чат-бота- помощника с искусственным интеллектом, который интегрирует OpenAI технологию для автоматического создания рабочих процессов , ответов на вопросы и создания сценариев из подсказок на естественных языках. Кроме того, функциональность создания статических отчетов была значительно упрощена благодаря введению специального расширения Reporting. [20]

и дизайна особенности Философия

Программное обеспечение KNIME руководствуется неизменными принципами и функциями проектирования. Эти основополагающие принципы воплощают основную философию, лежащую в основе разработки платформы: [21]

  • Визуальная интерактивная среда : Программное обеспечение KNIME отдает приоритет удобному и интуитивно понятному подходу к анализу данных. Это достигается с помощью визуальной и интерактивной структуры, в которой потоки данных можно объединять с помощью интерфейса перетаскивания . Пользователи могут разрабатывать индивидуальные и интерактивные приложения, создавая простые и сложные высокоавтоматизированные конвейеры данных . Они могут включать, например, доступ к базам данных , библиотекам машинного обучения , логике управления рабочим процессом (например, циклы, переключатели и т. д.), абстракцию (например, интерактивные виджеты ), вызов, приложения с динамическими данными, интегрированное развертывание или обработку ошибок. .
  • Модульность : платформа построена по принципу модульности , подчеркивая, что блоки обработки и контейнеры данных должны оставаться независимыми друг от друга. Такой выбор конструкции позволяет легко распределять вычисления и позволяет независимо разрабатывать различные алгоритмы . Типы данных в KNIME инкапсулированы , то есть никакие типы не определены заранее. Такой выбор дизайна облегчает добавление новых типов данных и их интеграцию с существующими, включая средства визуализации и компараторы для конкретных типов. Кроме того, этот принцип позволяет проверять результаты в конце каждой отдельной операции с данными.
  • Простая расширяемость : Программное обеспечение KNIME разработано с учетом высокой расширяемости . Добавление новых узлов обработки или представлений упрощается благодаря механизму плагинов . Этот механизм гарантирует, что пользователи могут распространять свои пользовательские функции без необходимости сложных процедур установки или удаления. Такое стремление к простоте расширения позволяет пользователям адаптировать платформу к своим конкретным аналитическим потребностям.
  • Чередование кода без кода : платформа поддерживает интеграцию как визуального программирования ( без кода ), так и программирования на основе сценариев (например, Python , R , Javascript подходов к анализу данных ). Этот принцип проектирования называется low-code .
  • Автоматизация и масштабируемость : они являются неотъемлемыми аспектами разработки программного обеспечения. Например, использование параметризации с помощью переменных потока или инкапсуляция сегментов рабочего процесса в компонентах способствуют сокращению ручной работы и ошибок при анализе. Кроме того, планирование выполнения рабочих процессов (доступно в KNIME Business Hub и KNIME Community Hub для Teams) снижает зависимость от человеческих ресурсов. Что касается масштабируемости, несколько примеров включают в себя возможность обрабатывать большие наборы данных (миллионы строк), одновременно выполнять несколько процессов, повторно использовать сегменты рабочего процесса и использовать визуальную среду для быстрой разработки и быстрого повышения квалификации пользователей.
  • Полное удобство использования : благодаря открытому исходному коду платформа KNIME Analytics обеспечивает бесплатное полное удобство использования без ограниченных пробных периодов. Это гарантирует, что пользователи имеют неограниченный доступ к функциям платформы, позволяя им полностью исследовать и использовать ее возможности.

Аналитическая платформа KNIME [ править ]

KNIME Analytics Platform — это бесплатная платформа для анализа данных, отчетности и интеграции с открытым исходным кодом. Благодаря графическому пользовательскому интерфейсу ( GUI ) в своей основе KNIME позволяет пользователям визуально проектировать и выполнять потоки данных, используя модульную систему взаимосвязанных узлов. Узлы являются строительными блоками рабочих процессов KNIME и используются для выполнения различных задач обработки данных и моделирования. Сочетание графического пользовательского интерфейса и структуры рабочего процесса на основе узлов делает KNIME доступным для широкого круга пользователей, от новичков до опытных, которым необходимо разбираться в данных. [22]

Пример рабочего процесса, открытого в графическом интерфейсе аналитической платформы KNIME версии 5.2.

GUI[editГрафический интерфейс

В выпуске программного обеспечения 5.2 KNIME принял новый графический интерфейс по умолчанию , имеющий современный и элегантный вид.

К основным элементам интерфейса относятся:

  • Навигация по боковой панели : эта панель в левой части интерфейса позволяет пользователям получить доступ к «Описанию» рабочего процесса, «Репозиторию узлов», где можно найти узлы KNIME, и «Проводнику пространства», который позволяет пользователям перемещаться по локальным пространствам или пространствам KNIME Hub.
  • Редактор рабочих процессов : это центральная область интерфейса, где пользователи могут проектировать и создавать рабочие процессы анализа данных . Он может похвастаться интерфейсом перетаскивания для добавления узлов, их подключения и настройки их параметров.
  • Монитор узла : эта область, расположенная под редактором рабочего процесса, показывает выходные данные текущего выбранного узла, статистику и значения доступных переменных потока.

Рабочий процесс [ править ]

Соединение между узлом чтения Excel и узлом объединения столбцов.

Рабочий процесс — это визуальное представление задачи анализа или обработки данных. Он содержит один или несколько узлов, последовательно соединенных друг с другом через входные и выходные порты узла. При выполнении рабочего процесса данные внутри рабочего процесса передаются слева направо через соединения, следуя последовательности узлов.

Рабочие процессы служат универсальной структурой, позволяющей пользователям переключаться между простыми задачами извлечения, преобразования, загрузки ( ETL ) и сложной областью обучения алгоритмам глубокого обучения . Модульная структура, присущая рабочим процессам KNIME, позволяет применять их в различных областях, охватывая такие задачи, как комплексная обработка данных и моделирование сложных химических данных.

Узлы [ править ]

Пример поиска по ключевым словам в Node Repository и его результаты.

Узлы являются строительными блоками рабочих процессов KNIME и выполняют определенные операции с данными, включая чтение/запись файлов, преобразование данных, обучение моделей или создание визуализаций. Узлы можно искать в Node Repository . [23]

По состоянию на март 2024 года программное обеспечение насчитывает около 3500 узлов, охватывающих очень широкий спектр функций. Узлы отображаются в виде цветного прямоугольника с входными и выходными портами и, как правило, соответствуют цветовой схеме. Это сделано для повышения удобства использования платформы. Например, узлы доступа к данным и файлам обычно окрашены в оранжевый цвет.

Чтобы начать сборку рабочего процесса KNIME, узлы необходимо перетащить из репозитория узлов в редактор рабочих процессов. Альтернативно, выходные порты узлов в редакторе рабочих процессов можно перетаскивать на холст, чтобы отобразить предлагаемые следующие узлы.

Попав в редактор рабочих процессов, узлы приобретают статус и могут быть настроены для выполнения операций с данными.

Цветовая схема узлов (неполный список)
Значок узла Цвет Функция

Апельсин Читатель
Желтый Общие манипуляции с данными
Красный Писатель
Светло-голубой Контурное управление
Светло-зеленый Модель ученика
Темно-зеленый Модельный предсказатель
Коричневый Служебные узлы
Синий Визуализация
Фиолетовый Интегрированное развертывание

Конфигурация [ править ]

Диалог настройки узла «Фильтр столбцов». Пользователь выбирает, какие столбцы включить, а какие исключить.

Многим узлам требуется соответствующая конфигурация для выполнения операций с данными. Параметры, управляющие конкретными операциями во время выполнения, задаются пользователем вручную через визуальные диалоги или программно путем ссылки на переменные потока.

Статусы узлов
без фронта
framless
Не настроено Узел не настроен и не может выполнять какие-либо операции с данными.
без фронта
framless
Настроен Узел настроен правильно и может быть запущен для выполнения настроенных операций с данными.
без фронта
framless
Выполнено Узел выполнен, и настроенные операции с данными выполнены успешно. Результаты можно просмотреть и использовать на последующих узлах.
без фронта
framless
Ошибка Во время выполнения узла произошла ошибка.

Порты [ править ]

Наиболее распространенные порты
Таблица данных
Переменная потока
Модель ПММЛ
Подключение к базе данных
Модель ансамбля деревьев
Изображение

Порты обеспечивают соединение между узлами в рабочем процессе, тем самым предоставляя выходные данные некоторых узлов в качестве входных данных для других узлов.

Количество портов узла может варьироваться в зависимости от его типа и функциональных возможностей. Для некоторых узлов можно динамически расширять количество портов путем добавления или удаления одного или нескольких входных (например, узла объединения) или выходных портов (например, узла представления Python).

Порты могут иметь разные формы и цвета в зависимости от типа данных, которые они обрабатывают. Можно подключить только порты одного типа, обозначенные одним цветом.

Пример: рабочий процесс KNIME для обнаружения мошенничества. [24] [ редактировать ]

В этом рабочем процессе используется алгоритм случайного леса на аналитической платформе KNIME для классификации мошеннических и законных транзакций по кредитным картам:

Рабочий процесс, в котором модель случайного леса обучается обнаружению мошенничества.
  1. Устройство чтения CSV : этот узел считывает данные из файла .csv с именем «credicard.csv».
  2. Число на строку : этот узел изменяет тип столбца «Класс» с целого числа на строку.
  3. Разделение : этот узел разбивает набор данных на два набора: обучающий и тестовый набор. Обучающий набор будет использоваться для обучения модели и составит 70% исходного набора данных. Набор тестов будет позже использоваться для оценки производительности модели и представляет собой 30% исходного набора данных.
  4. Учащийся случайного леса : этот узел принимает в качестве входных данных обучающие данные, которые используются для обучения алгоритма случайного леса . В конфигурации узла можно, среди прочего, определить целевой столбец и количество деревьев решений, которые следует включить.
  5. Model Writer : этот узел экспортирует обученную модель. Таким образом, модель можно будет повторно использовать в будущем.
  6. Предиктор случайного леса : этот узел применяет обученную модель случайного леса к тестовому набору для получения прогнозов и вероятностей классов.
  7. Механизм правил : этот узел используется для изменения порога вероятности класса по умолчанию (с 0,5 до 0,3) и переназначения прогнозируемого класса на основе нового порога.
  8. Счетчик : этот узел оценивает производительность модели на тестовом наборе. Он выводит матрицу путаницы , а также статистику классов и общую точность.

Метаноды и компоненты [25] [ редактировать ]

Выполненный метанод на аналитической платформе KNIME.

Метаноды [ править ]

Метанод выступает в качестве ключевого организационного элемента, предназначенного для повышения ясности и структуры сложных рабочих процессов, выступая в качестве контейнера нескольких узлов, используемых вместе для выполнения определенной операции. Основная цель метанода — привести в порядок сложные потоки данных и уменьшить визуальный беспорядок. Это позволяет пользователям сосредоточиться на конкретных разделах анализа, не отвлекаясь на весь процесс.

Исполняемый компонент аналитической платформы KNIME.

Компоненты [ править ]

Интерактивная панель мониторинга шоу и сериалов Netflix с использованием составного представления компонентов в KNIME. Визуализируйте анимацию, щелкнув этот значок. [26]

Компоненты упорядочивают рабочие процессы, инкапсулируя логические блоки операций, предоставляя пользователям возможность создавать свои собственные «узлы», объединяя существующие в контейнер. Компоненты поддерживают создание интерактивных информационных панелей, приложений для обработки данных и статических отчетов в их составном представлении, предоставляя пользователям дополнительные функции, такие как настраиваемые меню, динамический выбор, фильтрация, ввод/вывод данных и повторное выполнение последующих операций. Компоненты можно использовать совместно и повторно.

Расширения и интеграции [ править ]

В дополнение к основным возможностям, которые автоматически включаются при установке программного обеспечения, KNIME позволяет пользователям обогащать свои рабочие процессы разнообразным набором узлов, инструментов и функций, полученных из более широкой экосистемы с открытым исходным кодом, создавая комплексную и адаптируемую среду для данных. аналитика и управление рабочими процессами. Расширения и интеграции могут быть написаны на Python или Java, и их можно просмотреть в центре сообщества KNIME. [27]

Расширения [ править ]

Расширения KNIME, также известные как расширения KNIME с открытым исходным кодом, поставляются бесплатно специализированными наборами узлов, адаптированными к конкретным типам данных, отраслям или этапам жизненного цикла науки о данных. Эти дополнительные функции в основном разрабатываются и поддерживаются собственными силами. [28]

Некоторые из более чем 150 расширений, разработанных собственными силами, включают:

  • Базовые узлы для доступа к данным, манипулирования и майнинга [29]
  • Инженерия данных [30]
  • Большие данные [31]
  • Статистика [32]
  • AI и LLM [33]
  • Обработка текста [34]
  • Сетевой майнинг [35]
  • Манипулирование и анализ временных рядов [36]
  • Визуализация данных [37]
  • Интегрированное развертывание [37]
  • Отчетность [38]

Поскольку программное обеспечение KNIME имеет открытый исходный код, его возможности могут быть дополнительно расширены за счет расширений сообщества KNIME с открытым исходным кодом, которые разрабатываются и поддерживаются разработчиками сообщества. Расширения сообщества KNIME делятся на проверенные и экспериментальные. Доверенные расширения были протестированы на обратную совместимость и соответствие модели использования KNIME и стандартам качества. [39] С другой стороны, экспериментальные расширения обычно не соответствуют строгим требованиям, предъявляемым к доверенным расширениям, поскольку они создаются непосредственно в лабораториях разработчиков сообщества. Некоторые из наиболее популярных расширений сообщества относятся к областям: геопространственной аналитики, [40] науки о жизни, [41] и анализ изображений. [42]

Помимо расширений сообщества, существуют партнерские расширения. Это дополнительные наборы возможностей, от отраслевых приложений до сложной интеграции научного программного обеспечения, созданные и поддерживаемые доверенными партнерами KNIME. Некоторые из этих расширений бесплатны, для других требуется лицензия на базовую технологию.

Интеграции [ править ]

Интеграции KNIME служат для пользователей шлюзом, позволяющим использовать возможности различных проектов с открытым исходным кодом, интегрируя их функциональные возможности в рабочие процессы KNIME. [43] Примеры включают включение алгоритмов глубокого обучения от Keras. [44] и ТензорФлоу, [45] высокопроизводительное машинное обучение от H2O, [46] возможности обработки больших данных для создания контекста Apache Spark в Databricks, [47] или функции сценариев из Python, [48] Ява, [49] JavaScript [50] и Р. [51]

Бизнес-центр KNIME [ править ]

KNIME Business Hub — это корпоративный компонент KNIME Software, предназначенный для совместной работы по разработке и развертыванию решений для обработки данных для получения аналитической информации во всей организации. [52] [53]

Эта платформа представляет собой единую масштабируемую среду, которая облегчает автоматизацию, безопасное сотрудничество, совместное использование рабочих процессов и компонентов, а также развертывание и мониторинг аналитических решений, таких как приложения для обработки данных. [54] Считалось, что этот продукт удовлетворяет потребности организаций в масштабируемости, облачной архитектуре и контролируемом выполнении. [55]

Жизненный цикл науки о данных с KNIME [ править ]

Комплексное программное обеспечение в контексте анализа данных представляет собой комплексное решение, охватывающее весь жизненный цикл процесса, объединяющее различные этапы: от первоначального сбора данных до окончательного развертывания и мониторинга аналитических приложений.

Жизненный цикл науки о данных — это стандартизированный подход к процессам науки о данных в современной корпоративной среде, который учитывает развитие науки о данных внутри организаций, подчеркивая необходимость обращать внимание на то, как используются аналитические данные. [56]

Представление жизненного цикла науки о данных KNIME.

Основываясь на существующих платформах, таких как CRISP-DM, SEMMA и KDD, интерпретация KNIME жизненного цикла науки о данных делает упор на производство, выдвигая на первый план пробелы в этих структурах в отношении вопросов после развертывания и подробно описывая шаги после развертывания.

Жизненный цикл науки о данных KNIME подчеркивает двойственную природу процессов обработки данных, включая в проект два взаимосвязанных итерационных цикла: цикл создания и цикл производства. Итеративные циклы включают этапы пересмотра и уточнения на основе оценок производительности, обеспечивая постоянное улучшение выпускаемых решений.

Смешать и трансформировать [ править ]

На начальном этапе Blend & Transform фокусируется на гармонизации данных из различных источников. Он включает в себя объединение, очистку и подготовку данных в соответствии с конкретными требованиями предполагаемого метода обработки данных, создавая целостную основу для анализа.

Доступ к данным и их смешивание [57] [ редактировать ]

Примеры различных типов источников данных (.csv, .xlsx, .sqlite, .png, .json), доступных в KNIME.

Первый шаг каждого проекта интеллектуального анализа данных включает в себя доступ к данным. KNIME обеспечивает надежную поддержку сотен форматов, включая файлы CSV, форматированные текстовые файлы, книги Excel, веб-сервисы, базы данных, платформы больших данных и собственные форматы файлов из различных программных инструментов. [58]

Будучи платформой с открытым исходным кодом, обширное сообщество KNIME со временем постепенно расширяло диапазон совместимых типов файлов.

данных Преобразование ​ ​

Манипулирование данными — это процесс очистки, агрегирования, фильтрации и изменения формы данных, чтобы упростить их моделирование и интерпретацию. Более сложные процессы манипулирования данными включают обработку пропущенных значений, обнаружение выбросов и выбор признаков.

Все узлы манипуляции рабочего процесса объединены в метанод.

KNIME охватывает все основные и расширенные задачи обработки данных.

Моделировать и визуализировать [ править ]

В модели и визуализации аналитики используют статистический анализ , интеллектуальный анализ данных и машинное обучение для понимания данных. Визуализация играет решающую роль, обеспечивая осязаемое представление сложных закономерностей. На этом этапе необработанная информация преобразуется в значимые идеи, которые будут определять последующие этапы.

Моделирование [59] [ редактировать ]

KNIME поддерживает обширные возможности моделирования, подходящие как для академических, так и для бизнес-приложений. Платформа включает в себя полный набор инструментов, предназначенных для определения, обучения, оценки и развертывания моделей машинного обучения, охватывающих такие задачи, как классификация, регрессия, кластеризация и многое другое.

Этот рабочий процесс KNIME показывает, как можно использовать библиотеку Keras для определения и обучения глубокой нейронной сети.

Разнообразный набор алгоритмов машинного обучения позволяет использовать как классические, так и передовые методы моделирования. Платформа поддерживает интеграцию с популярными внешними библиотеками машинного обучения, такими как Weka , H2O, Keras и TensorFlow , предоставляя пользователям гибкость моделирования.

Визуализация [60] [ редактировать ]

Пример интерактивной панели управления в KNIME. Создание таких информационных панелей предполагает инкапсуляцию узлов визуализации внутри компонента. Визуализируйте анимацию, щелкнув этот значок.

Платформа поддерживает различные собственные визуализации и функции, помогающие пользователям эффективно исследовать и интерпретировать данные. KNIME Графический интерфейс позволяет пользователям создавать интерактивные диаграммы, графики и графики в удобной и наглядной форме, обеспечивая обновление визуализаций в режиме реального времени по мере изменения данных.Платформа также интегрируется с внешними библиотеками визуализации, такими как Plotly и Apache ECharts, для дальнейшего расширения диапазона доступных опций.

Двухмерный график плотности, созданный с помощью библиотеки Plotly.
Карта США с круговыми диаграммами, созданными с помощью Apache ECharts.

Оптимизация и захват [61] [ редактировать ]

На этапе оптимизации и сбора данных уточняются модели и методы, повышая общую производительность. Специалисты по данным настраивают компоненты и фиксируют точные сегменты рабочего процесса (например, преобразование данных и обучение), которые необходимы для определения комплексного производственного процесса.

Проверка и развертывание [ править ]

В Validate & Deploy захваченный производственный процесс подвергается тщательному тестированию и проверке. Ключевыми факторами являются измерение стоимости бизнеса , подтверждение статистических показателей и обеспечение соответствия требованиям. Успешная проверка позволяет осуществлять развертывание в различных формах, переходя от разработки к производству приложений.

Потребляйте и взаимодействуйте [ править ]

После развертывания Consume & Interact делает производственный процесс доступным удаленно. Это может быть посредством удобного приложения для обработки данных, интеграции в виде веб-сервиса многократного использования , компонента или автоматизированного производственного процесса, обеспечивающего рутинные результаты. На этом этапе особое внимание уделяется удобству использования и интеграции.

Мониторинг и обновление [ править ]

Заключительный этап, «Мониторинг и обновление», лежит в основе постоянного контроля и совершенствования. Постоянный мониторинг выявляет аномалии, перебои в обслуживании или неточности и позволяет вносить обновления, улучшения и исправления ошибок . Такой итеративный подход обеспечивает долговечность, актуальность и ценность развернутого решения в динамичной бизнес-среде.

Обучение KNIME [ править ]

Обширная и бесплатная онлайн-экосистема KNIME предназначена для облегчения обучения и повышения квалификации пользователей. Сюда входят курсы и программа сертификации, книги и шпаргалки. В дополнение к этому KNIME поддерживает свое сообщество через форум и бесплатный обмен рабочими процессами и компонентами в Центре сообщества KNIME.

Курсы KNIME [ править ]

KNIME разработал комплексные и разнообразные учебные программы, состоящие из четырех отдельных уровней, предназначенных для обучения специалистов различных профилей данных: аналитиков данных , инженеров данных и ученых, работающих с данными . [62] Первые два уровня одинаковы для всех профилей и углубляются в фундаментальные концепции науки о данных с использованием KNIME. Третий и четвертый уровни являются профильными и ориентированы на определенные подполя. По завершении каждого курса участники имеют возможность получить сертификат, сдав онлайн-экзамен. Эти курсы доступны онлайн бесплатно в формате самостоятельного обучения и периодически предлагаются за плату за курс на онлайн-сессиях под руководством инструктора.

Помимо курсов для специалистов по работе с данными, KNIME также создал программу обучения для тренеров. Этот путь предназначен для специалистов по работе с данными, которые хотят преподавать KNIME и получить официальный сертификат KNIME после успешного завершения пути. [57]

На этой блок-схеме показаны курсы KNIME, разделенные по карьерным путям. Вот объяснение того, что означают эти аббревиатуры. AP: аналитическая платформа, DA: аналитик данных, DE: инженер по данным, DS: специалист по данным, CD: непрерывное развертывание и MLOps, ML: машинное обучение. DL: глубокое обучение, TS: временные ряды, TP: обработка текста, CH: химические данные, CT: сертифицированный тренер

Программа сертификации KNIME [ править ]

Программа сертификации KNIME предназначена для проверки знаний программного обеспечения KNIME (и смежных областей специализации). Успешное прохождение сертификационного экзамена приводит к вручению цифрового значка , который остается действительным в течение двух лет. Экзамены можно сдать онлайн по запросу. [63] В настоящее время доступны следующие сертификационные экзамены:

  • L1: Базовые знания аналитической платформы KNIME.
  • Уровень 2: Продвинутые навыки работы с аналитической платформой KNIME.
  • L3: Владение программным обеспечением KNIME для совместной работы и производства.
  • L4-DA: анализ и визуализация данных на аналитической платформе KNIME
  • L4-DE: Инжиниринг данных в аналитической платформе KNIME
  • L4-ML: машинное обучение на аналитической платформе KNIME
  • L4-TS: анализ временных рядов на аналитической платформе KNIME
  • L4-TP: обработка текста на аналитической платформе KNIME
  • L4-DL: глубокое обучение на аналитической платформе KNIME
  • Администрирование сервера KNIME

KNIME Пресс [ править ]

Некоторые публикации KNIME Press

KNIME Press является собственным издателем KNIME и специализируется на публикации контента по науке о данных с использованием программного обеспечения KNIME. Некоторые из категорий, представленных издателем, включают коллекции вариантов использования, буклеты по переходу (например, «От Excel к KNIME»), учебники и технические коллекции. Все книги можно бесплатно скачать на сайте KNIME Press. [64]

Шпаргалка по обработке данных

Шпаргалки [ править ]

KNIME Press также публикует шпаргалки, которые доступны для бесплатного скачивания в Интернете. Шпаргалки KNIME содержат основной набор узлов, которые пользователи должны иметь под рукой для решения общих задач по работе с данными. Примеры шпаргалок включают «Создание рабочего процесса KNIME для начинающих». [65] или «Аналитическая платформа KNIME для пользователей электронных таблиц». [66]

Сообщество KNIME [ править ]

Форум KNIME [ править ]

KNIME Forum — это основное пространство для поддержки внутри сообщества KNIME с открытым исходным кодом . Он предоставляет пользователям платформу, позволяющую обращаться за помощью, задавать вопросы и отвечать на них, предлагать улучшения функций, запрашивать новые функции, сообщать об ошибках или публиковать предложения о работе для профессионалов с навыками KNIME. [67]

Благодаря активному участию и системе, которая признает вклад и авторитет участников, пользователи имеют возможность искать достоверные ответы, помогать коллегам решать проблемы для завоевания престижа или публиковать новые вопросы. Эта модель взаимодействия способствует созданию среды сотрудничества, в которой сообщество коллективно вносит свой вклад в обмен знаниями об анализе данных и аналитической платформе KNIME .

Центр сообщества KNIME [ править ]

Центр сообщества KNIME позволяет пользователям разных дисциплин сотрудничать и обмениваться аналитическими решениями, созданными с помощью аналитической платформы KNIME . По сути, KNIME Community Hub служит хранилищем для совместного использования и бесплатного доступа к различным ресурсам, включая узлы , рабочие процессы , компоненты и расширения, созданные пользователями KNIME. [68]

Пользователи могут быстро импортировать и использовать ресурсы, перетаскивая их на аналитическую платформу KNIME, даже не входя в центр сообщества KNIME. Однако вход на платформу позволяет пользователям публично делиться своими рабочими процессами и компонентами.

Hub также является ценным ресурсом для обучения, предоставляющим разнообразные примеры, решения и передовой опыт. Пользователи могут изучить различные рабочие процессы и получить представление об эффективном анализе данных и управлении рабочими процессами. [69]

Саммит KNIME [ править ]

Первый саммит KNIME прошел в Берлине весной 2016 года. [70] Это мероприятие представляет собой эволюцию небольших собраний, известных как «Встречи групп пользователей», которые впервые состоялись в 2007 году. [71] а затем постепенно превратился в комплексный саммит, на котором проводятся многочисленные доклады профессионалов отрасли, сеансы врачей по рабочему процессу, обновления технологий, групповые дискуссии и многое другое. С 2016 года саммиты KNIME проводятся ежегодно весной или осенью. [72] попеременно между городами Остин ( Техас , США ) и Берлином .

KNIME DataHop [ править ]

DataHop — это мероприятия, организованные KNIME в разных местах. Мероприятия DataHop были разработаны, чтобы дать пользователям возможность лично встретиться с коллегами и экспертами отрасли. [73] Предыдущие мероприятия DataHop проводились в Европе и США . [74]

KNIME Data Connect [ править ]

Сообщество KNIME регулярно организует мероприятия Meetup под названием «KNIME Data Connect». [75] Мероприятия Data Connect обычно включают несколько презентаций о KNIME и науке о данных и предназначены для пользователей KNIME, принадлежащих к определенной географической области, для личного и/или онлайн-подключения. Мероприятия Data Connect прошли во многих странах, в том числе в Южной Корее , [76] Турция , [77] Бразилия , [78] Индия , [79] Малайзия , [80] Катар , [81] США ​ , [82] Великобритания ​ , [83] Италия , [84] Франция , [85] и Германия . [86] Часто эти мероприятия проводятся на местном языке.

См. также [ править ]

Примечания [ править ]

  1. ^ «Что нового в аналитической платформе KNIME 5.2» . knime.com .
  2. ^ «Аналитическая платформа KNIME | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  3. ^ «Центр сообщества KNIME» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  4. ^ «Новые функции Центра сообщества KNIME позволяют автоматически выполнять рабочие процессы аналитики» . www.businesswire.com . 15 февраля 2024 г. Проверено 22 мая 2024 г.
  5. ^ «Деловой центр KNIME | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  6. ^ «Треверен Консультанты» . www.treweren.com . Проверено 22 мая 2024 г.
  7. ^ «Шредингер -> Продукты -> Расширения KNIME» . веб.архив.орг . 25 сентября 2009 г. Проверено 22 мая 2024 г.
  8. ^ «JChemExtensions» . веб.архив.орг . 17 июля 2011 г. Проверено 22 мая 2024 г.
  9. ^ [1] ООО «НоваМеханикакс ».
  10. ^ [2] Консультанты Треверен
  11. ^ Интеллектуальный анализ данных мозаики базы данных или искусство получения идей из миллионов наборов данных, c't 20/2006, стр. 164ff.
  12. ^ «Повсеместный DataRush для KNIME» . веб.архив.орг . 29 августа 2010 г. Проверено 22 мая 2024 г.
  13. ^ Мазанец и др. (2012)
  14. ^ Варр 2012
  15. ^ Вызовы 2012 г.
  16. ^ Тиль 2012
  17. ^ «Knime представляет центр совместной работы для аналитики и обработки данных | TechTarget» . Бизнес-аналитика . Проверено 22 мая 2024 г.
  18. ^ «Новый выпуск геопространственной аналитики для KNIME» . project.iq.harvard.edu . Проверено 22 мая 2024 г.
  19. ^ «KNIME AI Assistant (Labs)» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  20. ^ «Репортаж КНИМЕ» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  21. ^ Бертольд 2009
  22. ^ «Руководство по началу работы | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  23. ^ https://hub.knime.com/search?type=Node
  24. ^ «Обнаружение мошенничества: обучение модели – нож» . Центр сообщества KNIME . 20 октября 2023 г. Проверено 22 мая 2024 г.
  25. ^ «Руководство по компонентам KNIME» . docs.knime.com . Проверено 22 мая 2024 г.
  26. ^ https://www.knime.com/blog/how-to-create-an-interactive-dashboard-in-three-steps-with-knime
  27. ^ «Расширения ножа» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  28. ^ «Расширения KNIME | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  29. ^ «Базовые узлы KNIME» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  30. ^ «База данных KNIME» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  31. ^ «Соединители больших данных KNIME» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  32. ^ «Узлы статистики KNIME» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  33. ^ «Расширение KNIME AI (лаборатории)» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  34. ^ «Текстовая обработка KNIME» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  35. ^ «Сетевой майнинг KNIME» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  36. ^ «Расширение временного ряда» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  37. ^ Jump up to: Перейти обратно: а б «Интегрированное развертывание KNIME» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  38. ^ «Репортаж КНИМЕ» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  39. ^ «Руководство по расширениям и интеграции» . docs.knime.com . Проверено 22 мая 2024 г.
  40. ^ «Расширение геопространственной аналитики для KNIME» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  41. ^ «Функция узлов RDKit» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  42. ^ «Обработка изображений KNIME» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  43. ^ «Открытая экосистема KNIME | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  44. ^ https://docs.google.com/document/d/1u0tyQ5wy2STW0tq-qNZv2nxOTkecDB-rjlgS8MWbWB8/edit
  45. ^ «Глубокое обучение KNIME — интеграция с TensorFlow» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  46. ^ «Интеграция машинного обучения KNIME H2O» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  47. ^ «Интеграция блоков данных KNIME» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  48. ^ «Интеграция KNIME с Python» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  49. ^ "Явский фрагмент KNIME" . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  50. ^ «Общее представление JavaScript (JavaScript)» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  51. ^ «Интеграция статистики KNIME Interactive R» . Центр сообщества KNIME . Проверено 22 мая 2024 г.
  52. ^ «Руководство пользователя KNIME Business Hub» . docs.knime.com . Проверено 22 мая 2024 г.
  53. ^ «Что все это говорит о бизнес-центре KNIME? | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  54. ^ «Экскурсия по бизнес-центру KNIME | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  55. ^ «Анонсируем бизнес-центр KNIME | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  56. ^ «Новый стандарт процесса обработки данных | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  57. ^ Jump up to: Перейти обратно: а б «Учебный центр KNIME | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  58. ^ Ганзароли, Деннис (3 августа 2022 г.). «Доступ к данным с помощью KNIME, SQL и Co» . Минимальный код для науки о данных . Проверено 22 мая 2024 г.
  59. ^ «Классификация и прогнозное моделирование | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  60. ^ «Управляемая визуализация и исследование | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  61. ^ «Новая версия программного обеспечения усиливает приверженность жизненному циклу науки о данных | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  62. ^ «Изучите науку о данных на онлайн-курсе для самостоятельного обучения | KNIME» . www.knime.com . Проверено 22 мая 2024 г.
  63. ^ https://www.knime.com/certification-program
  64. ^ https://www.knime.com/knimepress
  65. ^ https://www.knime.com/sites/default/files/2022-04/cheat-sheet-building-knime-workflow-for-beginners.pdf
  66. ^ https://www.knime.com/sites/default/files/2023-02/Spreadsheet%20cheat%20sheet%20v5.pdf
  67. ^ https://forum.knime.com
  68. ^ https://www.techtarget.com/searchbusinessanalytics/news/252527267/Knime-unveils-collaboration-hub-for-analytics-data-science
  69. ^ https://hub.knime.com
  70. ^ https://www.knime.com/summit-talk-collection
  71. ^ https://www.knime.com/sites/default/files/inline-images/01_Michael_Berthold.pdf
  72. ^ https://www.youtube.com/watch?v=k1GPB8eCDjs&list=PLz3mQ6OlTI0aDgrsUr8xCJPjV8Nyghm57&index=1
  73. ^ https://www.knime.com/events/knime-datahop-europe-munich
  74. ^ https://www.knime.com/data-hop-cincinnati-2023
  75. ^ https://medium.com/low-code-for-advanced-data-science/knime-data-connects-meet-your-local-low-code-community-f8169598cdc1
  76. ^ https://www.zalesia.com/knimedataconnectkorea
  77. ^ https://www.knime.com/about/news/follow-knime-on-the-road
  78. ^ https://www.youtube.com/watch?v=k_77hDOVS8M&ab_channel=KNIMETV
  79. ^ https://forum.knime.com/t/data-connect-india-6th-july-2022-6-8-pm-ist/44233
  80. ^ https://www.meetup.com/malaysia-knime-users/events/289494669/
  81. ^ https://www.knime.com/events/data-connect-qatar-0223
  82. ^ https://www.knime.com/events/data-connect-milpitas-0124
  83. ^ https://www.knime.com/events/data-connect-uk-0323
  84. ^ https://www.knime.com/events/data-connect-italy-1223
  85. ^ https://www.meetup.com/france-knime-users/events/288668005/
  86. ^ https://forum.knime.com/t/data-connect-dach-april-6-2022/40802

Ссылки [ править ]

  • П. Мазанец, Майкл и др. «Приложения для поиска лекарств для KNIME: платформа интеллектуального анализа данных с открытым исходным кодом». Актуальные темы медицинской химии 12.18 (2012): 1965-1979.
  • Уорр, Венди А. «Системы научных рабочих процессов: Pipeline Pilot и KNIME». Журнал компьютерного молекулярного дизайна 26.7 (2012): 801-804.
  • Элисейри, Кевин В. и др. «Инструменты программного обеспечения для биологических изображений». Природные методы 9.7 (2012): 697-710.
  • Тиль, Киллиан и др. «Создание полезной информации о клиентах на основе данных социальных сетей: сетевая аналитика и анализ текста». Технический документ KNIME (2012 г.).
  • Бертольд, Майкл Р. и др. «KNIME-информационный майнер Констанца: версия 2.0 и выше». Информационный бюллетень об исследованиях AcM SIGKDD 11.1 (2009 г.): 26-31.

Внешние ссылки [ править ]

  • Домашняя страница КНИМЕ
  • KNIME Hub — официальная платформа сообщества для поиска узлов, компонентов, рабочих процессов и совместной работы над новыми решениями.
  • Nodepit — коллекция узлов KNIME, поддерживающая управление версиями и установку узлов.
Retrieved from "https://en.wikipedia.org/w/index.php?title=KNIME&oldid=1227660407"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 60a5007e3b48c29e08a8816bab8906b8__1717718160
URL1:https://arc.ask3.ru/arc/aa/60/b8/60a5007e3b48c29e08a8816bab8906b8.html
Заголовок, (Title) документа по адресу, URL1:
KNIME - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)