Talend что это

Разработка ETL-процессов с помощью talend Open Studio Текст научной статьи по специальности «Компьютерные и информационные науки»

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Рубашенков Антон Михайлович, Бобров Андрей Виорелович

Talend Open Studio ( TOS ) технология с открытым исходным кодом, применяемая для интеграции данных и разработки ETL-процессов . Интеграция данных включает в себя такие задачи, как: загрузка данных , миграция данных , синхронизация данных . Загрузка данных применяется, когда нужно загрузить на хранилище данные из источника, примером может послужить загрузка данных из CSV-файла в базу данных . TOS позволяет быстро загрузить большие объёмы данных . Миграция данных происходит при переходе на новую версию хранилища или на другую систему хранения. TOS обеспечивает корректный перенос данных без потерь и искажений. Синхронизация данных необходима для поддержания совместимости данных между несколькими хранилищами . ETL-процессы (Extract, Transform, Load) используются для извлечения, преобразования и загрузки данных . Обеспечивают взаимодействие между бизнесом и IT . Используется графическая среда, что облегчает разработку процессов. В крупных компаниях стоит вопрос решения данных двух проблем. Talend предоставляет мощное и универсальное решение.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Разработка ETL-процессов с помощью talend Open Studio»

РАЗРАБОТКА ETL-ПРОЦЕССОВ С ПОМОЩЬЮ TALEND OPEN

1 2 Рубашенков А.М. , Бобров А.В.

1Рубашенков Антон Михайлович — студент;

2Бобров Андрей Виорелович — студент, кафедра защиты информации, Институт комплексной безопасности и специального приборостроения, Российский технологический университет, г. Москва

Аннотация: Talend Open Studio (TOS) — технология с открытым исходным кодом, применяемая для интеграции данных и разработки ETL-процессов. Интеграция данных включает в себя такие задачи, как: загрузка данных, миграция данных, синхронизация данных. Загрузка данных применяется, когда нужно загрузить на хранилище данные из источника, примером может послужить загрузка данных из CSV-файла в базу данных. TOS позволяет быстро загрузить большие объёмы данных. Миграция данных происходит при переходе на новую версию хранилища или на другую систему хранения. TOS обеспечивает корректный перенос данных без потерь и искажений. Синхронизация данных необходима для поддержания совместимости данных между несколькими хранилищами. ETL-процессы (Extract, Transform, Load) -используются для извлечения, преобразования и загрузки данных. Обеспечивают взаимодействие между бизнесом и IT. Используется графическая среда, что облегчает разработку процессов. В крупных компаниях стоит вопрос решения данных двух проблем. Talend предоставляет мощное и универсальное решение. Ключевые слова: Talend Open Studio, TOS, ETL-процессы, CSV-файл, IT, данные, хранилище.

Перенос и изменение данных из CSV-файла в базу данных Создадим и заполним CSV-файл, как показано на рисунке 1.

Рис. 1. Создание CSV-файла

В качестве базы данных будем использовать postgresql. Создадим базу данных «users», как представлено на рисунке 2.

Рис. 2. Создание базы данных

В TOS создадим новый проект «ETL» и запустим его [1]. Создадим новую работу, выбрав во вкладке «Jobs Designs» «Создать работу» и зададим имя работы «users_ETL» [2].

Настроим соединения к CSV-файлу и к базе данных. Во вкладке «Metadata» выберем «File delimited», «Создать файл с разделителями», указав путь к CSV-файлу. Как представлено на рисунке 3. Во вкладке «Metadata» выберем «Db connections», «Создать соединение», указав данные для подключения к базе данных. Как показано на рисунке 4.

Рис. 3. Настройка подключение к CSV-файлу

Рис. 4. Настройка соединения к базе данных

Перетащим созданное соединение к CSV-файлу в рабочую область и выберем «tFileInputDelimited». Перетащим созданное соединение к базе данных в рабочую область и выберем «tPostgresqlOutput». Соединим данные соединения в рабочей области, с помощью строки «main» [3]. Как показано на рисунке 5.

Рис. 5. Рабочая область users_ETL

Настроим компонент «users», укажем таблицу «user», и в поле «Action on table» выберем «Create table if not exist». Как показано на рисунке 6.

ta Работать users_ETL 0.1) If» Contexts(users_ETL) % users db(tDBOutput 1)(PostgreSQL)

Run (Работа users_ETL)

Advanced settings Dynamic settings View

Имя пользователя «Anton»

I* Схема | «public» Пароль

Action on table Create table if not exists v Действие над данными Вставить Edit schema E] [sync columns

□ Use spatial options Data source

This option only applies when deploying and running in the Talend Runtime П Specify a data source alias

IH Die on error v

Рис. 6. Настройка компонента «users» Запустим работу, нажав «Run» во вкладке «Run».

В базу данных занеслись значения из CSV-файла, как показано на рисунке 7.

2 Andrey Bobrov

Рис. 7. Содержание базы данных

Talend — лидер среди решений по работе с данными

Универсальная платформа Talend включает в себя все необходимые для работы с данными продукты: ETL, Big Data, Data Integration, Data Governance и другие. Мы поможем подобрать конфигурацию и приобрести лицензию. Компания Реюнико — партнер Talend с 2019 года.

Clean, complete, uncompromised data for everyone

Решения от Talend подойдут клиентами любой сферы деятельности и направлений: финансы, ретейл, телеком, здравоохранение, строительство и многие другие:

Data Integration (Интеграция данных): это процесс объединения данных из разных источников в единое унифицированное представление. Интеграция начинается с процесса приема и включает в себя такие шаги, как очистка, сопоставление ETL и преобразование. Интеграция данных в конечном итоге позволяет инструментам аналитики производить эффективный и действенный анализ.
Application and API integration: С помощью Talend вы можете обмениваться услугами и надежными данными между внутренними отделами и внешними группами с помощью удобных API-интерфейсов. Оптимизируйте DevOps и сократите эксплуатационные расходы за счет внедрения API-интерфейсов и микросервисов, которые ваши команды могут повторно использовать для создания новых проектов, вместо того, чтобы каждый раз изобретать колесо.
Data integrity and data governance: Плохие и неконтролируемые данные могут поставить под угрозу вашу способность принимать обоснованные бизнес-решения и улучшать опыт автоматизации. Talend помогает бороться с хаосом данных с помощью единой платформы для обнаружения, объединения и обмена надежными данными всем людям, которые в них нуждаются, чтобы они могли тратить свое время на задачи, приносящие доход.
Powered by Talend Trust Score™: Talend — первая и единственная компания, которая объединила интеграцию и целостность данных на одной платформе. Объедините людей, данные и технологии машинного обучения, чтобы легко получать доступ, отслеживать и исправлять ваши данные. Оценка доверия Talend дает вам возможность сразу увидеть надежность любого набора данных, так что вы можете поставить надежные данные в центр бизнеса, двигаться быстрее и принимать более обоснованные решения.

Почему Talend?

Тысячи клиентов по всему миру уже используют Talend для работы с данными.
Управление чистыми и проверенными данными
Безопасность данных
Расширенные возможности работы с данными
Использование, а не сбор данных

Нужна помощь в подборе решения и приобретению лицензии? Свяжитесь с нами.

Учебник Talend

Talend – это программная платформа с открытым исходным кодом, которая предлагает решения для интеграции данных и управления данными. Talend специализируется на интеграции больших данных. Инструмент предоставляет такие функции, как облако, большие данные, интеграция корпоративных приложений, качество данных и управление основными данными. Он также предоставляет единый репозиторий для хранения и повторного использования метаданных.

Он доступен как с открытым исходным кодом, так и в премиум-версии. Это один из лучших инструментов для облачных вычислений и интеграции больших данных.

В этом уроке вы узнаете

Что такое Таленд?
История Таленда
Talend Product Suite
Таленд Большие Данные
Преимущества Talend для больших данных Hadoop
Интеграция данных
Преимущества Talend для интеграции данных
Облако интеграции
Льготы
Что такое Talend Open Studio?
Talend Open Studio- Архитектура
Расширения Talend Open Studio

История Таленда:

Год	веха
2002	R & D
2005	Создание компании – Первый раунд финансирования AGF private equity & Galle Partners
2006	Open Studio V1.0 – запущенные нами операции
2007	Интеграционный пакет / закрытый второй раунд финансирования
2008	Открыть Профилировщик / Качество данных
2009	Integration Suite RTx / MPx / MDM приобретение
2010	IDM Community Edition / MDM Enterprise Edition
Открытая студия V
2014	OW2 Лучший проект
2015	Признанный Trendsetting продукт
2016	DBTA 100
2017	Gartner Magic Quadrant для инструментов интеграции данных

Talend Product Suite:

Наборы продуктов Talend состоят из 3 основных продуктов, как описано ниже:

Talend Big Data:

Talend может легко автоматизировать интеграцию больших данных с помощью графических инструментов и мастеров. Это позволяет организации разрабатывать среду для удобной работы с базами данных Apache Hadoop, Spark и NoSQL для облачных или локальных заданий.

Сегодня многие компании используют Hadoop для экономии средств и повышения производительности. Часто компании используют дорогое время вычислений с корпоративными решениями. С помощью Hadoop данные могут быть преобразованы, очищены, обогащены и интегрированы для более высокой аналитической рабочей нагрузки.

Песочница Talend включает четыре варианта использования

Оптимизация хранилища данных
Аналитика кликов
Анализ настроений в социальных сетях
Аналитика веб-блогов Apache.

Вы можете создавать свои собственные сложные варианты использования.

Преимущества Talend для больших данных Hadoop

Повышение эффективности проектирования заданий на большие данные путем организации и настройки в графическом интерфейсе.
Добавляет качество данных, масштабируемость и функции управления
Функция MapReduce позволяет быстрее параллельной обработки данных
Общий репозиторий и удаленное развертывание
Качество данных и профилирование с очисткой данных
Повышает эффективность проектирования больших данных с помощью графического интерфейса
Встроенная поддержка HBase, HDFS, Hive, Sqoop, Mahout и Pig
Встроенный в платформу данных Hortonworks

Интеграция данных:

Программный инструмент интеграции данных Talend имеет открытую масштабируемую архитектуру. Это позволяет быстрее реагировать на бизнес-запросы. Инструмент предлагает разрабатывать и развертывать задания по интеграции данных быстрее, чем ручное кодирование.

Это позволяет вам легко интегрировать все ваши данные с другими хранилищами данных или синхронизировать данные между системами. Интеграция данных включает в себя объединение данных, хранящихся в разных источниках, и предоставление пользователям единого представления этих данных. Он помогает вам управлять различными заданиями ETL и предоставляет пользователям простую подготовку данных самообслуживания.

Преимущества Talend для интеграции данных

Гибкая интеграция: более быстрая реакция на бизнес-запросы без написания кода с использованием более 1000 готовых соединителей, графических инструментов на основе Eclipse и оптимизированного для производительности генератора кода.

Производительность команды: совместная работа с использованием мощного управления версиями, анализа последствий, тестирования и отладки, а также управления метаданными.

Простое управление: инструмент предлагает расширенные функции планирования и мониторинга. Он обеспечивает интеграцию данных в реальном времени с панелями мониторинга и централизованным управлением для быстрого развертывания на нескольких узлах.

Будьте впереди в конкурентной борьбе: если вы используете этот инструмент, вам не придется ждать использования новейших и самых крутых функций интеграции данных.

Платите самую низкую цену за владение: Talend предлагает модель оценки на основе подписки. Вам нужно заплатить за количество разработчиков, использующих Talend Studio, тем самым сэкономив деньги по сравнению с фиксированным лицензированием.

Облако интеграции:

Вы можете ускорить проекты по интеграции облачных и локальных данных с помощью масштабируемой и безопасной облачной платформы интеграции как услуга (iPaaS). Облачный инструмент интеграции Talend предлагает возможность подключения, качество встроенных данных и генерацию собственного кода.

Talend – это защищенная облачная платформа интеграции, которая позволяет ИТ-специалистам и бизнес-пользователям подключаться к общим и локальным ресурсам. Он открывает возможности облачного проектирования, поскольку он может управлять, контролировать и контролировать в облаке.

Льготы:

Облако интеграции Talend	Другие инструменты
900+ компонентов drag-n-drop	Ручное кодирование, которое непродуктивно
Создает оптимизированный код	Нужны специализированные навыки
Сотрудничество и управление	Трудно поддерживать
Золотая поддержка (SLA)	Ограниченная поддержка

Что такое Talend Open Studio?

Talend Open Studio – это открытая архитектура для интеграции данных, профилирования данных, больших данных, облачной интеграции и многого другого.

Это среда графического интерфейса, которая предлагает более 1000 готовых разъемов. Это облегчает выполнение таких операций, как преобразование файлов, загрузка данных, перемещение и переименование файлов. Это позволяет каждому компоненту определять сложные процессы.

Интеграционные задания создаются из компонентов, которые настроены, а не закодированы. Кроме того, задания можно запускать из среды разработки или в виде автономных сценариев.

Преимущества использования Talend Open studio:

Это сокращает время, необходимое для разработки интеграции, с недель и месяцев до дней или даже часов.
Он преобразует и обновляет данные, представленные из различных источников.
Мониторинг и управление сложными развертываниями с легкостью
Вы можете иметь самую низкую стоимость владения любым решением
Talend Open Source может легко комбинировать, конвертировать и обновлять данные, представленные из различных источников.
Инструмент Talend Open Source наследует потенциальную мощь программной платформы.
Широкий выбор разъемов источника / цели делает его лучшим выбором в отрасли.
Поставляется с широкими возможностями файла журнала нескольких схем / отчета о сверке (поток данных после переноса / миграция)

Talend Open Studio- Архитектура:

Ниже приведены 3 ключевых компонента архитектуры Talend Open Studio.

Клиенты:

Блок Clients включает в себя один или несколько Talend Studio и веб-браузеры, которые используют одни и те же или разные компьютеры. Talend Studio позволяет выполнять процессы интеграции данных независимо от уровня объемов данных и сложности процесса.

Talend Server:

Сервер Talend является еще одним важным блоком, который включает сервер веб-приложений. Это позволяет администрирование и сопровождение всех проектов. Он включает в себя учетные записи пользователей, права доступа и авторизацию проекта в базе данных администрирования.

База данных:

Компонент Базы данных включает в себя Администрирование, Аудит и Мониторинг баз данных. Этот компонент помогает управлять учетными записями пользователей, правами доступа и авторизацией проектов. База данных аудита помогает оценить различные аспекты рабочих мест для разработки идеальной системы поддержки принятия решений, ориентированной на процессы.

Рабочее пространство:

В Talend рабочее пространство – это каталог, в котором хранятся все папки проекта. Однако для этого вам потребуется по крайней мере один каталог рабочей области на соединение (соединение с репозиторием). Talend позволяет подключаться к различным каталогам рабочей области, если вы не хотите использовать каталоги по умолчанию.

Repository:

Хранилище – это область хранения, которую инструмент TOS использует для сбора данных для объяснения бизнес-моделей или для разработки рабочих мест.

Расширения Talend Open Studio

Talend Integration Suite
Talend On Demand
Качество данных Talend
Таленд ESB
Talend Big Data Integration

Вывод:

Talend – это программная платформа с открытым исходным кодом, которая предлагает решения для интеграции данных и управления данными
Talend может легко автоматизировать интеграцию больших данных с помощью графических инструментов и мастеров
Talend Product Suite состоит из 3 основных продуктов 1) Talend Big Data 2) Интеграция данных 3) Облако интеграции
Talend повышает эффективность проектирования заданий на большие данные путем организации и настройки в графическом интерфейсе
Программный инструмент интеграции данных Talend имеет открытую масштабируемую архитектуру. Это позволяет быстрее реагировать на бизнес-запросы.
Облачный инструмент интеграции Talend предлагает возможность подключения, качество встроенных данных и генерацию собственного кода.
Talend Open Studio – это открытая архитектура для интеграции данных, профилирования данных, больших данных, облачной интеграции и многого другого.
Пять расширений студии Talend: Talend Integration Suite, Talend On Demand, Качество данных Talend, Talend Seanad Talend Интеграция больших данных

Talend Open Studio — среда для утилит интеграции данных ETL

Talend Open Studio (TOS) это построенная на платформе Eclipse среда для утилит интеграции данных ETL (Extract, Transform, Load) которая позволяет работать с данными в визуальном режиме.

Оставьте свой комментарий!