Datalore jetbrains что это
Перейти к содержимому

Datalore jetbrains что это

  • автор:

Анонсируем версию Datalore Enterprise для команд Data Science

Jupyter-ноутбуки хоть и вызывают споры, однако все равно являются самым часто используемым инструментом для решения задач Data Science. Ноутбуки просты в личном использовании. Но если вы когда-либо пробовали организовать командную работу с ними, то наверняка сталкивались со сложностями. Именно поэтому мы в JetBrains решили выпустить специальную версию Datalore Enterprise для команд Data Science!

Аннонсируем Datalore Enterprise - Умная Jupyter-среда для команд Data Science

В привычные Jupyter-ноутбуки мы интегрировали умную поддержку написания кода из PyCharm, персистентное хранилище данных, сервисы по аутентификации, гранулярную настройку среды и менеджмент вычислительных ресурсов, версионирование, а также возможность работать вместе в реальном времени.

Читайте дальше, чтобы узнать о возможностях Datalore для командной работы.

Настройте командную среду

Многие команды по-прежнему тратят огромное количество времени и сил на создание собственных решений вокруг Jupyter-технологий.

Мы не стараемся изменить привычную для вас среду работы, а лишь предлагаем сделать построение командной среды комфортным и предоставляем многие решения из коробки. При этом мы оставляем вам простор для дальнейшей настройки.

Аутентификация пользователей

Вместе с Datalore компании получают доступ к JetBrains Hub — инструменту, который позволяет настроить практически любой возможный метод аутентификации пользователей. Чтобы приступить к работе, членам вашей команды достаточно перейти по вашей ссылке на Datalore и авторизоваться на платформе.

Настройка окружения

Вы можете заранее настроить несколько дефолтных командных сред. При необходимости пользователи смогут динамически менять список пакетов для каждого ноутбука, используя Library Manager.

Управление вычислительными ресурсами

Вы можете подключить любые используемые вами вычислительные ресурсы и сделать их доступными для пользователей через интерфейс Datalore. Более того, вы можете настроить внутренние планы, чтобы контролировать совместное использование ресурсов членами вашей команды.

Подключение данных

Мы интегрировали в Datalore собственное персистентное хранилище, дающее быстрый доступ к ноутбукам и данным. Сейчас вы можете подключиться к любой базе данных из Python-кода, и в ближайшем будущем мы также планируем добавить возможность работать с базами через интерфейс.

Datalore поддерживает установку бакетов AWS S3, а логины и пароли, вы можете безопасно хранить в секретных переменных.

Создайте общую экосистему для работы

В Datalore работа команд осуществляется в вокрспейсах — общих пространствах для данных, настроек среды и ноутбуков. Воркспейсы снижают риск того, что сотрудники оставят или потеряют свою работу на локальных машинах, что является безусловным плюсом для компаний. Также они облегчают сотрудникам совместную работу над проектами и позволяют переиспользовать предыдущие наработки.

Вы можете поделиться ноутбуком или целым воркспейсом всего за несколько кликов: для этого настройте права доступа и пригласите коллег по ссылке или через электронную почту. Настройки окружения, данные и другие вложения автоматически станут доступны приглашенным. А командная работа будет происходить в реальном времени, не выходя за пределы вашей приватной сети.

Чтобы поделиться результатами с коллегами не технического профиля, вы можете свернуть ячейки кода, опубликовать статическую копию ноутбука и поделиться отчетом с помощью ссылки. Коллеги затем смогут прокомментировать любую ячейку и поделиться своим мнением.

Мы интегрировали в Datalore систему контроля версий, чтобы отслеживать прогресс и при необходимости отменять изменения. Вы можете создавать контрольные точки, просматривать различия между версиями и возвращаться к предыдущим состояниям в любое время. Мы не храним историю аутпутов ноутбуков, благодаря чему вам будет легче просматривать изменения в коде.

Улучшите продуктивность написания кода

Datalore — это платформа, ориентированная на работу с ноутбуками. Наша основная цель — помочь специалистам Data Science работать с кодом более продуктивно.

Мы интегрировали в Datalore возможности анализа кода из PyCharm. Они включают автодополнение кода, подсказки из документации, рефакторинги и быстрые исправления. Это помогает писать более качественный код с меньшей когнитивной нагрузкой, позволяя сосредоточиться на достижении бизнес-результатов.

Чтобы вы не тратили много времени на написание шаблонного кода для визуализаций, мы добавили виджет автоматического создания графиков для Pandas DataFrames. Он помогает быстро выявлять тенденции в данных и генерирует шаблоны кода для дальнейшей кастомизации.

Попробуйте Datalore в своей команде

30-дневная бесплатная пробная версия и возможности по продлению

Ваша команда может попробовать Datalore Enterprise бесплатно в течение 30 дней. В процессе установки мы будем на связи и ответим на любые ваши вопросы.

После пробного периода вы сможете приобрести платную подписку на Datalore по цене $125 долларов за пользователя в месяц. В эту стоимость входит приоритетная поддержка для корпоративных клиентов и возможность напрямую влиять на развитие продукта. Мы регулярно встречаемся с нашими первыми пользователями и следим за тем, как проходит интеграция Datalore в их процессы.

Чтобы запросить пробную версию и задать любые вопросы, свяжитесь с нами либо запишитесь на встречу с нашей командой.

  • Запросить пробную версию: datalore-enterprise@jetbrains.com
  • Забронировать демо: https://calendly.com/d/nqdw-5n63/datalore-enterprise-demo
Технические требования

В настоящее время доступны два типа установки:

  • на кластер Kubernetes
  • в частной учетной записи AWS

Процесс включает установку и настройку ваших экземпляров Datalore и JetBrains Hub. Для получения дополнительной информации ознакомьтесь с нашим руководством по установке.

Вы также можете бесплатно попробовать облачную версию Datalore. Настройка и запуск займут всего несколько секунд, после чего вы сможете сразу начать знакомиться с основной функциональностью.

И мы уверены, вам есть что сказать. Напишите в комментариях, что больше всего болит при работе с Jupyter-ноутбуками. А мы постараемся решить это в Datalore 🙂

Ну а чтобы быть в курсе обновлений, подписывайтесь на наш блог и Twitter!

Алена из команды Datalore

  • jupyter
  • jupyter notebooks
  • jupyterhub
  • jupyterlab
  • data science
  • инструменты для команды
  • python
  • анализ данных
  • машинное обучение
  • datalore

Что такое Datalore?

Мы довольно давно начали работу над этим проектом и хотим напомнить, что такое Datalore и как он поможет вам в путешествии по миру Data Science.

Datalore — это онлайн-блокнот для Data Science c функциями умного редактора кода.

А теперь по порядку.

Онлайн-инструмент

Все вычисления Datalore выполняет в облаке. Чтобы запустить код на Python или Kotlin, достаточно открыть браузер, зарегистрироваться на www.jetbrains.com/datalore/ и создать свой первый notebook-файл. Не нужно ничего настраивать. Datalore включает набор лучших библиотек для Data Science, готовых к использованию.

Инструмент для Data Science

Datalore был создан для того, чтобы помогать аналитикам и специалистам Data Science в решении повседневных задач.

  • собирать и исследовать данные,
  • создавать модели машинного и глубокого обучения,
  • визуализировать результаты и делиться ими с другими.

Работа с блокнотами

Вы можете импортировать и экспортировать файлы формата .ipynb, а также notebook-файлы формата .datalore. Для запуска кода используется ядро Ipython, экспериментальное ядро Datalore либо ядро Zeppelin.

Редактор кода поддерживает Markdown и LaTex, которые позволяют записывать текст и формулы в удобном формате.

Также мы дополнили интерфейс. Теперь в работе с notebook-файлами вы можете использовать:

  • режим погружения и возможность разделения окна редактора;
  • панель инструментов для ячеек (быстрое добавление Markdown и новых ячеек кода);
  • контекстное меню ячеек (создание оглавлений, доступ к вкладке Variable и др.)

Функции умного редактора кода

Пожалуй, лучшей из возможностей Datalore является функциональность IDE, унаследованная от PyCharm.

Автодополнение кода, быстрые исправления, автоимпорты, возможности переименования и переформатирования помогут вам писать код более эффективно. Попробуйте их и поделитесь с нами своими впечатлениями!

И еще одна важная вещь: Datalore создан не только для самостоятельной, но и для командной работы.

Командная работа в Datalore

Datalore предлагает несколько способов организации командной работы:

  • Работайте над notebook-файлами вместе с командой в реальном времени.
  • Публикуйте notebook-файлы, делитесь ими при помощи ссылок и получайте обратную связь.
  • Делитесь рабочими средами с любым количеством notebook-файлов и наборов данных.
  • Предоставляйте удаленный доступ к notebook-файлам PyCharm, публикуя их при помощи плагина Datalore.

Готовы начать работу с Datalore? Предлагаем вам посмотреть небольшой видеоурок для знакомства с инструментом:

Регистрируйтесь в Datalore!

Подробнее о возможностях Datalore читайте в нашем блоге. Как и всегда, мы рассчитываем на вашу обратную связь. Пишите нам в комментариях либо на нашем форуме.

Путешествуйте по миру Data Science с удовольствием!

Ваша команда Datalore
The Drive to Develop

Datalore jetbrains что это

Что нового в Datalore: итоги 2021 года, улучшенная визуализация и многое другое

Вас приветствует команда Datalore! Вы уже посмотрели видео об итогах 2021 года в нашем Twitter? В нем мы рассказываем, чего нам удалось достичь в прошедшем году. Если вы еще не подписаны на нас в Twitter, обязательно подпишитесь: там вы сможете первыми узнавать об обновлениях Datalore. А вот и …

Alena Guzharina

Datalore Enterprise 2021.3: ячейки SQL, подключение Jupyter-ноутбуков к БД, интерактивные отчеты и многое другое

Datalore Enterprise — это data science платформа для совместной работы с Jupyter-ноутбуками. Ее можно установить в частное облако или на приватный сервер компании. Новая версия 2021.3 позволяет специалистам по анализу и обработке данных работать с базами данных и SQL-кодом внутри Jupyter-ноу…

Oksana Mandryka

�� Новые возможности Datalore: интерактивные элементы управления, скрытые ячейки, сворачивание блоков ввода и вывода и другое

Мы уверены, что Jupyter-ноутбуки могут стать прекрасным инструментом для создания презентаций и отчетов. Уже сейчас, используя возможности Markdown и визуализации, вы можете продемонстрировать результаты работы, но большое количество ячеек кода мешает нетехническим специалистам воспринимать самую ва…

Oksana Mandryka

Datalore Enterprise для команд Data Science

Jupyter-ноутбуки хоть и вызывают споры, однако все равно являются самым часто используемым инструментом для решения задач Data Science. Ноутбуки просты в личном использовании. Но если вы когда-либо пробовали организовать командную работу с ними, то наверняка сталкивались со сложностями. Именно поэто…

Alena Guzharina

Datalore's November updates

Что нового в Datalore: обновленный план Professional, сотрудничество с Anaconda, темная тема, автоматический перенос строк и руководство по продвинутой визуализации

Вас приветствует команда Datalore! В ноябре мы выпустили крупное обновление: теперь пользователям Datalore доступен план Professional ��. За прошедшее время он успел претерпеть изменения, о которых мы рассказываем далее. План Professional: изменения В середине ноября мы представили новый пла…

Oksana Mandryka

Datalore

Что такое Datalore?

Мы довольно давно начали работу над этим проектом и хотим напомнить, что такое Datalore и как он поможет вам в путешествии по миру Data Science. Datalore — это онлайн-блокнот для Data Science c функциями умного редактора кода. А теперь по порядку. Онлайн-инструмент Все вычисления Datalore выполняе…

Как изменился Datalore за 2020 год: мощная онлайн-среда для Jupyter-ноутбуков

Datalore — это мощная онлайн-среда для Jupyter-ноутбуков, разработанная в JetBrains. Здесь мы собрали описание самых важных обновлений Datalore за прошедший год.

image

Профессиональный план Datalore

В ноябре мы запустили Datalore Professional. Этот план был разработан для решения сложных задач с большими наборами данных, которым требуется мощное вычислительное оборудование.

Вот сравнительная таблица параметров Datalore Community и Datalore Professional.

Community Professional
Базовый CPU-процессор (4 ГБ RAM, имя AWS: t3.medium) 120 часов ♾️
Мощный CPU-процессор (16 ГБ RAM, 2 ядра vCPUs, на 400% быстрее базового CPU-процессора, имя AWS: r5.large) 120 часов
GPU-процессор (1 NVIDIA T4 GPU, 16 ГБ RAM GPU, 4 ядра vCPU, имя AWS: g4dn.xlarge) 20 часов
Хранилище 10 ГБ 20 ГБ
Цена Бесплатно 19,90$ в месяц

Улучшения в редакторе кода

Анализ кода из PyCharm

В начале года мы интегрировали анализ кода из PyCharm, добавив автодополнение кода, рефакторинги, быстрые исправления и навигацию в Datalore. Теперь вы можете пользоваться такой же первоклассной помощью при написании кода, как в PyCharm, в своих онлайновых Jupyter-ноутбуках.

Совместимость с ядром Jupyter

В прошлом году мы также много работали над стабильностью ядра IPython в Datalore, и сейчас оно стало намного надежнее. Еще есть над чем работать, так что мы продолжим делать ядро более стабильным в этом году.

Ядро Jupyter теперь полностью поддерживается вместе с виджетами, графическими библиотеками и shell-командами.

Кроме того, ноутбуки теперь загружаются значительно быстрее, так как нам удалось вдвое сократить время запуска Conda.

Поддержка Kotlin

Kotlin — это язык программирования с открытым исходным кодом, разработанный в JetBrains. Он хорошо подходит для анализа данных и разработки мультиплатформенных приложений. В Datalore мы добавили поддержку Kotlin в ноутбуки IPython. Попробуйте! Просто выберите Kotlin в качестве языка при создании ноутбука.

Поддержка workspace-файлов и S3-бакетов

В декабре мы реализовали поддержку workspace-файлов, что позволяет обмениваться файлами данных между несколькими ноутбуками.

Для тех, кто работает с большим объемом данных, мы также добавили поддержку подключения S3-бакетов. Подробности читайте в этом блогпосте.

Улучшения пользовательского интерфейса

Боковая панель для быстрых действий

Чтобы вы могли быстрее работать с файлами и перемещаться по содержимому ноутбуков, мы добавили вкладку боковой панели внутри редактора. С этой панели есть прямой доступ к прикрепленным файлам, включая файлы ноутбука и workspace-файлы. Кроме того, вы можете использовать оглавление и обозреватель переменных. Окно быстрых команд (Shortcuts) также появится на боковой панели при открытии из меню Help.

Темный режим

В прошлом году мы представили темный режим. Вы можете изменить тему ноутбука в меню View в редакторе, где также можно включить режим Distraction free и опцию разделенного просмотра Split view.

Панель инструментов Markdown

Мы также представили панель инструментов для более удобного редактирования Markdown. Она помогает описывать код с помощью текста, формул LaTex и HTML-кода внутри ячеек Markdown.

Сотрудничество с Anaconda

У JetBrains долгая история сотрудничества с Anaconda, а PyCharm — IDE для Python, рекомендованная в установщике Anaconda. С октября 2020 года и Datalore, и PyCharm представлены в новом Anaconda Navigator! Обновите Anaconda Navigator до последней версии и запускайте Datalore прямо оттуда.

Исследования и уроки:

В прошлом году мы сделали несколько интересных исследовательских и обучающих проектов:

  • Мы скачали 10 000 000 Jupyter-ноутбуков с GitHub и поделились набором данных с сообществом.
  • Мы проанализировали 495 спецификаций AMD Radeon и Nvidia GPU и опубликовали полученные данные.
  • Видеоурок по началу работы в Datalore.
  • Видеоурок по визуализации с помощью Pyplot.
  • Урок продвинутой визуализации на наборе данных моделей GPU.

Вот и все, что касается основных обновлений, представленных в 2020 году. Следите за нашим блогом, чтобы узнавать о новых возможностях Datalore.

Всем здорового и продуктивного года!

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *