Big data как пишется

Поиск ответа

Здравствуйте! Вопрос такой: в следующем предложении есть ошибка в употреблении однородных членов, но я не могу ее найти. Помогите, пожалуйста. «На праздник пришли все учащиеся, преподаватели, родители и дети.» Заранее благодарна. Людмила

Ответ справочной службы русского языка

При таком употреблении получается, что учащиеся, преподаватели, родители и дети – это четыре разные группы людей, пришедши х на праздник. Но учащиеся, очевидно, и есть дети (если только речь не идет о каком-то заведении, где учатся взрослые люди, к которым на праздник пришли их родители и их дети, но это маловероятно).

Вопрос № 300569

Подскажите, пожалуйста, как перенести слово «транзакция»? Возможен ли перенос транз-акция? В ответе на вопрос 269755 вы говорили о частях слова, пришедши х из немецкого языка, но отсутствующих в русском. Однако в транзакции можно выделить части, значимые в русском языке. Или всё-таки отрывать гласную и в этом случае нельзя? Спасибо!

Ответ справочной службы русского языка

Вопрос № 290578

Здравствуйте, Грамота! Снова спешу к вам с вопросом: корректно ли словосочетание «самый первый»? Разве есть первый, но не самый? Благодарю за скорый ответ.

Ответ справочной службы русского языка

Сочетание самый первый очень употребительно и не противоречит лексическим нормам. Первый может употребляться в речи не только как числительное, но и как прилагательное, образующее степени сравнения. Например, словарями фиксируются такие значения: ‘предшествующий другим однородный, подобный’, ‘такой, который начал какое-либо действие’.

Примеры употребления оборота: Но странно, эти самые первые, пришедши е ночью в Сталинград без оружия солдаты, отдавая хлеб защитникам города, обнимая и целуя их, словно были печальны, не веселились и не пели (В. Гроссман); Письмо было датировано самыми первыми годами нового века , и город , который стоял около даты , Ганка знал хорошо ( Ю. Домбровский); В самых первых статьях о формализме « Правда » специально говорила о формалистских ошибках В . Мейерхольда , но он отнесся к этой критике , по обыкновению , несерьезно и безответственно ( Ю. Анненков).

Вопрос № 288155

Добрый день! Подскажите, пожалуйста, как правильно писать термины, пришедши е из английского языка? В частности big data, Big data или биг дата? Буду очень признательна за ответ!

Ответ справочной службы русского языка

Этот термин лучше писать или в переводе: большие данные, или на английском: big data.

Вопрос № 284117

Уважаемые господа! Вы ответили на вопрос: почему в фамилии Доплер одна буква «п», а Манн и Кеннеди 2 буквы «н»? Очень благодарна за неформальный подход. Но апелляция к традициям, пришедши м из XIX века, не совсем понятна. В «Энциклопедическом словаре» Брокгауза и Ефрона, который сейчас держу в руках (год издания 1893, том 11, с. 43), фамилия Допплер пишется с двумя буквами «п» (причем в двух статьях). Мало того, французская фамилия Доппе (на этой же странице) – также с двумя буквами «п». Слово «допплерография» (от фамилии Допплер), которым профессионально пользуюсь, в медицинской среде употребляется только с двумя буквами «п». И предложение, высказанное профессиональному сообществу, писать с одной буквой «п» (как рекомендуете вы) вызвало у большинства специалистов, определяющих мнение, негативную реакцию. Теперь вы понимаете, как важно для меня продолжение разговора на эту тему. Почему одна буква «п»? В законодательных документах Минздрава РФ зафиксировано написание с двумя буквами «п». Может, стоит прислушаться к профессиональному сообществу (и к Брокгаузу и Ефрону, если вы апеллируете к XIX веку) и как минимум зафиксировать два варианта? С большим уважением к вашему труду.

Ответ справочной службы русского языка

Мы не утверждаем, что Кристиан Доплер «потерял» в русском языке одну букву «п» в XIX веке, мы лишь высказали предположение, когда это могло произойти. Но в любом случае это произошло. Фамилия Доплер зафиксирована с одной буквой п не только в современных словарях, такая фиксация – еще в Большой советской энциклопедии. Вариант Допплер тоже дан в энциклопедических словарях, но как отсылка к основной статье Доплер. В «Русском орфографическом словаре» РАН (4-е изд. М., 2012) – самом полном современном орфографическом справочнике – все слова, производные от этой фамилии, даны только с одной буквой п (доплер-исследование, доплерография, доплерометрия и др.).

Вопрос № 280280

Нужна ли запятая в следующем предложении: Все гости, пришедши е на юбилей(,) — коллеги и сослуживцы.

Ответ справочной службы русского языка

Вопрос № 278089

Подскажите, сколько «н» пишется в слове «ранен(н)ый» (т.е. чем оно в данном случае является — причастием или прилагательным) в таком предложении: «Отец, пришедши й с фронта ранен(н)ым, долго восстанавливал хозяйство»?

Ответ справочной службы русского языка

Вопрос № 277776

Сколяняется ли и куда падает ударение в итальянской фамилии Sala?

Например: вышла замуж за Марко Сал[*]

Ответ справочной службы русского языка

В собственных именах, пришедши х в русский язык из итальянского, ударение ставится преимущественно на втором слоге от конца, что, как правило, соответствует ударению в языке-источнике: Пер у джа, Пал е рмо, Д а нте Алигь е ри, Гв и до, Леон а рдо, Ник о ло Паган и ни, Джорд а но Бр у но .

Вероятное ударение в фамилии: Марко С а ла.

Все фамилии, кончающиеся на неударное а после согласных, склоняются по первому склонению: Рибера — Риберы, Рибере, Риберу, Риберой, Сенека — Сенеки и т.д.; так же склоняются Кафка, Спиноза, Сметана, Петрарка, Куросава, Глинка, Дейнека, Гулыга, Олеша, Нагнибеда, Окуджава и др. Все такие фамилии, независимо от происхождения, являются морфологически членимыми в русском языке, т. е. в них выделяется окончание -а.

Вопрос № 277294

Здравствуйте! Нужна ли запятая перед как в предложении: «Даже студенты, пришедши е в ветеринарный бизнес как я, становились местными знаменитостями»? Спасибо.

Ответ справочной службы русского языка

Вопрос № 275733

Добрый день. Нужно ли отбивать пробелами с двух сторон косую черту в строке из перечня:
люди, совершившие целевое действие/люди, пришедши е с источника трафика

Ответ справочной службы русского языка

Если косая черта заменяет слова и, или, то пробелы по обе стороны от нее обычно не ставятся.

Вопрос № 275259

Скажите, допустимо ли нахождение причастного оборота между предлогом и существительным и нужно ли его обособление?

Пример: Он живёт по принципам, изначально пришедши м из(,) так ненавидимых им(,) религиозных трактатов.

Вроде обособлять не надо, но рука сама тянется поставить запятые. Разъясните, пожалуйста, этот момент. Заранее благодарен.

Ответ справочной службы русского языка

Вопрос № 270654

Здравствуйте. Вопрос о правильности написания состава в рецептуре и на этикетке шампуня.
Есть конкретный случай, а именно мы должны указать, что в составе шампуня используется лавандовое эфирное масло.
В соответствии с требованиями указания состава на шампуне первое слово должно быть именем существительным. Тогда получается следующие два варианта:
1) масло эфирное лавандовое;
2) масло эфирное лаванды.
Какое из этих двух наименований более грамотное? Хотелось бы уточнить, что слово «Лаванда» — является иностранным словом, пришедши м в русский язык в начале 20-го века.

Ответ справочной службы русского языка

Оба варианта грамотны, Вы можете выбрать любой из них. Прилагательное лавандовый есть в русском языке, словари фиксируют словосочетание лавандовое масло.

Вопрос № 269996

Здравствуйте,уважаемые работники «Грамоты».
Как будет правильно «Тысяча людей, пришедши х на праздник» или «Тысяча людей,пришедшая на праздник»?
Спасибо.

Ответ справочной службы русского языка

Вопрос № 264110

Здравствуйте! Я учусь сейчас в США и преподаю русский язык студентам, изучающим его (т.е. как носитель языка). На днях столкнулся со следующей проблемой: беглая гласная в суффиксе -ок (например, ботинок — ботинки). Американские студенты спрашивают, почему не «ботиноки», а я объяснить не могу. Есть какое-то определенное правило, и как оно сложилось?
Спасибо!

Ответ справочной службы русского языка

К сожалению, на «синхронном» уровне выявить беглую гласную в корне слова иностранные студенты могут, только обратившись к словарю. Беглая гласная О характерна для слов, пришедши х из древнерусского языка (т. е. для весьма значительной, подавляющей части исконно русских слов), и нехарактерна для «новых» и заимствованных слов (например, слово бифидок склоняется без выпадения гласной, слово альпеншток — также). Беглую гласную Е можно обнаружить в некоторых суффиксах, например -ЕК (замочек — замочка). Беглыми в русском языке бывают только гласные Е и О.

Вопрос № 260309

Добрый день.
Скажите, пожалуйста, есть ли у слова «режим» отрицательные коннотации?
В выражениях типа, «коммунистический режим», «режим, пришедши й к власти после..» и т.п.

Ответ справочной службы русского языка

Значение слова режим ‘государственный строй’ в «Толковом словаре русского языка» С. И. Ожегова и Н. Ю. Шведовой дано с указанием: «обычно об антинародном, антидемократическом строе». Таким образом, отрицательные коннотации у слова режим есть.

Что такое Data Science и кто такой Data Scientist

Что делает Data Scientist, сколько получает и как им стать, даже если вы не программист. Объясняем и делимся полезными ссылками.

Даниил Гапешин

Пишу научпоп, люблю делать сложное понятным. Рисую фантастику. Увлекаюсь спелеологией. Люблю StarCraft, шахматы, «Монополию».

Что такое Data Science?

Data Science — это работа с большими данными (англ. Big Data). Большие данные — это огромные объёмы неструктурированной информации: например, метеоданные за какой-то период, статистика запросов в поисковых системах, результаты спортивных состязаний, базы данных геномов микроорганизмов и многое другое. Ключевые слова здесь — «огромный объём» и «неструктурированность». Чтобы работать с такими данными, используют математическую статистику и методы машинного обучения.

Специалист, который делает такую работу, называется дата-сайентист (или Data Scientist). Он анализирует большие данные (Big Data), чтобы делать прогнозы. Какие именно прогнозы — зависит от того, какую задачу нужно решить. Итог работы дата-сайентиста — прогнозная модель. Если упростить, то это программный алгоритм, который находит оптимальное решение поставленной задачи.

Эти прогнозы и правда полезны?

Да. Очень многие сервисы, к которым мы уже привыкли, создали дата-сайентисты. И вы сталкиваетесь с результатами их работы каждый день. Например, это прогнозы погоды, чат-боты, голосовые помощники… А ещё — алгоритмы, рекомендующие музыку и видео под вкус конкретного пользователя. Список возможных друзей в социальных сетях — тоже результат Data Science. В основе поисковых систем и программ для распознавания лиц тоже лежат алгоритмы, написанные дата-сайентистами.

То есть Data Science — то же самое, что и обычная бизнес-аналитика?

Нет, это не одно и то же. Основная разница заключается в результате. Data Scientist ищет в массивах данных связи и закономерности, которые позволят ему создать модель, предсказывающую результат, — то есть можно сказать, что Data Scientist работает на будущее. Он использует программные алгоритмы и математическую статистику и решает поставленную задачу в первую очередь как техническую.

Бизнес-аналитик сосредоточен не столько на технической, программной стороне задачи, сколько на коммерческих показателях компании. Он работает со статистикой и может оценить, например, насколько эффективна была рекламная кампания, сколько было продаж в предыдущем месяце и так далее. Вся эта информация может использоваться для улучшения бизнес-показателей компании. Если данных много и нужен какой-то прогноз или оценка, то для решения технической стороны этой задачи бизнес-аналитик может привлечь дата-сайентистов.

Поясним на примере. Допустим, программа анализирует финансовые операции клиента и рекомендует выдать ему кредит или отказать. То есть задача программы — оценить платёжеспособность клиента. Создание такого програмного алгоритма — работа дата-сайентиста.

А бизнес-аналитик не занимается такими техническими задачами. Его не интересует работа с конкретным клиентом, но он может проанализировать всю статистику банка по кредитам, например, за последние три месяца — и рекомендовать банку сократить или увеличить объёмы кредитования. Это бизнес-задача: предлагаются действия, которые увеличат доходность банка либо снизят финансовые риски.

Работа бизнес-аналитика и дата-сайентиста нередко пересекается, просто каждый занимается своей частью задачи.

А где обычно работает Data Scientist?

Вот несколько вариантов:

• В бизнесе — в любом его направлении. Например, дата-сайентист создаёт алгоритмы, прогнозирующие спрос на услуги компании. Другие алгоритмы помогут решить, нужно ли компании открывать новое направление бизнеса. Вариантов много.
• В банках. Один из примеров мы разобрали в предыдущей карточке.
• В транспортных компаниях. Например, программы помогают выстроить оптимальный маршрут.
• В IT-сфере. Дата-сайентист разрабатывает ботов, поисковые алгоритмы, системы искусственного интеллекта.
• На производстве. Например, программы прогнозируют сбои оборудования и дефекты продукции.
• В страховых компаниях. Машинные алгоритмы оценивают вероятность страхового случая.
• Медицина. Появляется всё больше приборов, автоматически ставящих диагноз на основании данных. Например, программа может указать повреждённые органы на рентгеновских снимках.
• В сельском хозяйстве. Алгоритмы дают прогноз по урожаю, подбирают оптимальные системы землепользования.
• Биоинформатика и современные генетические исследования немыслимы без Data Science. Программы строят генетические карты, определяют вид организма.
• Физические исследования. Например, алгоритмы выявляют элементарные частицы и их следы.
• Метеослужбы. Да, современные прогнозы погоды тоже готовятся с помощью Data Science.

И это далеко не полный список. Везде, где нужны прогнозы, совершаются сделки или оцениваются риски, пригодится Data Scientist. Вот несколько примеров рабочих моделей. Некоторые неожиданные: например, Corrupt Social Interactions — модель, выявляющая коррупцию в Департаменте строительства (Department of Building) США. Или сервис А Roommate Recommendation — он помогает подобрать соседа по комнате в кампусе или хостеле.

Понятно. А работу найти легко? Это точно востребовано?

Легко ли найти работу — зависит и от кандидата тоже. Но сама профессия весьма востребована. В 2016 году американская компания Glassdoor опубликовала рейтинг 25 лучших вакансий в США и профессия Data Scientist возглавила этот список. С тех пор востребованность стала даже выше.

Алгоритмы машинного обучения сейчас стремительно развиваются, прогнозы на их основе становятся точнее, а сфер их применения всё больше. Это значит, что у профессии Data Scientist большое будущее.

Но это за рубежом. А что в России?

У нас спрос на этих специалистов тоже постоянно растёт. Например, в 2018 году вакансий с названием Data Scientist было в 7 раз больше по сравнению с 2015 годом, а в 2019 году рост продолжился.

На середину апреля 2020 года на hh.ru — 323 вакансии с заголовком Data Scientist, из них 204 вакансии — в Москве, 39 — в Санкт-Петербурге и остальные — в других городах.

А сколько они зарабатывают?

Как и везде, это зависит от опыта работы и навыков дата-сайентиста, особенностей компании и сложности конкретного проекта. Но общий расклад примерно такой (данные приведены по состоянию на февраль 2020 года):

• Зарплаты по вакансии Data Scientist на HH.ru начинаются от 70 тысяч рублей по России и от 100 тысяч рублей в Москве. Это деньги, на которые могут претендовать новички в отрасли. Чтобы было проще сориентироваться, средняя зарплата в Москве в начале 2020 года составляет около 86 тысяч рублей.
• Основной диапазон зарплат по вакансиям дата-сайентиста — примерно от 100 до 160 тысяч рублей по России и от 150 до 200 тысяч рублей в Москве. На такие зарплаты могут претендовать специалисты с опытом.

Высококвалифицированные специалисты по Data Science могут получать в месяц 250 тысяч рублей и более.

Вы сказали, что Data Scientist создаёт программный алгоритм. А что конкретно он делает?

В разных компаниях деятельность дата-сайентиста будет различаться. Однако основные этапы похожи:

• сначала он выясняет, что нужно заказчику (внутреннему или внешнему);
• теперь надо оценить, можно ли решить эту задачу методами машинного обучения;
• если да, то дата-сайентист готовит данные для анализа и ищет критерии оценки — чтобы понять, насколько эффективна модель, которую он создаёт;
• затем программирует и тренирует модель машинного обучения;
• после ему нужно оценить, насколько применение этой модели целесообразно экономически. Здесь ему могут помочь другие специалисты;
• теперь полученная модель внедряется в производственный цикл или продукт;
• когда модель уже введена в эксплуатацию, обязанность дата-сайентиста — вести её, то есть дорабатывать и изменять под текущие нужды.

Что нужно знать и уметь, чтобы работать в Data Science?

Если в общих чертах, то нужно знать математику, математическую статистику, программирование, принципы машинного обучения и ту отрасль, где всё это будет использоваться.

И умение работать в команде тоже никто не отменял: дата-сайентисту приходится общаться с разными специалистами.

Если у меня нет технического образования, то о работе в Data Science лучше не мечтать?

Будем откровенны — гуманитариям осваивать эту профессию может быть непросто: для работы в Data Science нужно хорошее знание математики и программирования. А у гуманитария этих знаний чаще всего нет. И наоборот: чем увереннее вы чувствуете себя в этом уже на старте, тем проще будет учиться.

Однако не стоит опускать руки: очень многое зависит от мотивации, от того, насколько вы готовы восполнять пробелы в своем образовании. Сейчас люди приходят в Data Science с разным бэкграундом и в разном возрасте. Вот пример одной такой истории — возможно, она вас поддержит.

А с чего лучше начать?

Начать лучше с математики. Очень сложная математика не понадобится, но вы должны свободно ориентироваться в таких понятиях, как производная, дифференциал, определитель матрицы, и в том, что с ними связано. Освоить это вам помогут книги и лекционные курсы. Например, книга «Математический анализ» Липмана Берса, написанная довольно простым языком.

А что дальше? Там было что-то о статистике?

Да, потому что математическая статистика используется в любой аналитике. И Data Science не исключение. Вот несколько бесплатных курсов, которые помогут вам изучить статистику.

• Курс «Основы статистики» подойдёт тем, кто знакомится с ней с нуля.
• «Математическая статистика» — курс для более продвинутых, там много практических заданий.
• «Статистические методы в гуманитарных исследованиях» — здесь, помимо самой статистики, вы научитесь работать с программами и пакетами, нужными для анализа данных.

Кажется, с математической частью закончили. Что по программированию?

Следующим шагом будет изучение Python. Сейчас этот язык программирования, пожалуй, основной инструмент в Data Science. Среди его достоинств — относительная простота и гибкость. Освоить Python вполне по силам новичку, который до того не программировал. Неслучайно этот язык нередко рекомендуют для начинающих.

По Python есть много курсов, как платных, так и бесплатных. Вот один из бесплатных курсов. И ещё один: «Питонтьютор».

У Skillbox тоже есть курс, он называется «Профессия Python-разработчик». Курс платный, длится год, и за это время студенты фактически осваивают с нуля новую профессию (как теорию, так и практику) и собирают личное портфолио — с помощью наставника. Поэтому по окончании курса им уже есть что показать потенциальному работодателю.

Что учить после Python?

Теперь можно изучать алгоритмы машинного обучения. Когда освоитесь с ними, уже сможете работать в Data Science.

Вот несколько бесплатных онлайн курсов по машинному обучению (много курсов на английском, но кое-что есть и на русском).

• Курс МФТИ «Машинное обучение и анализ данных». Там можно освоить современные инструменты для анализа больших данных и научиться проводить сам анализ — от сбора данных до представления результатов. Курс на русском языке.
• Курс машинного обучения от Google помимо объяснений содержит около 40 практических упражнений. Также на английском языке.
• Запись цикла лекций профессора факультета машинного обучения из университета Карнеги — Меллона. Бесплатный курс, рассчитан на людей с хорошей базой в программировании и математике. На английском языке, но можно поставить русские субтитры.
• Продвинутый курс об использовании алгоритмов машинного обучения в творчестве. Создан при поддержке проекта Google Magenta. На курсе изучаются основные компоненты глубокого обучения: свёрточные сети, генеративные состязательные сети, вариационные автокодеры и рекурсивные нейросети. Если эти слова вас пока пугают — начните с курсов выше, рассчитанных на новичков.

Мало знать методы машинного обучения, нужно уметь применять их для решения практических задач. Научиться этому можно на платформе Kaggle, где собрано огромное количество реальных задач.

Если вы хорошо знаете английский, он поможет вам быстрее развиваться в Data Science. Если нет — самое время его выучить.

9 языков программирования для работы с Big Data

Виктория Тюфякова Ментор на курсе по Data Science, автор вебинаров по Machine Learning.

Некоторые языки программирования были созданы для обработки больших массивов данных, и вокруг них сложилась целая экосистема из библиотек и фреймворков. Другие языки совсем новые, но работают гораздо быстрее. Вместе с дата-сайентистом и ментором SkillFactory Викторией Тюфяковой разбираемся, в каких случаях лучше использовать R, а в каких — MATLAB и почему Julia может потеснить Python.

Освойте профессию «Data Scientist»

Программирование нужно для всех этапов работы с большими данными, от выгрузки и очистки до проектирования баз данных и точной настройки алгоритмов машинного обучения. Вы можете выбрать любой язык из этого списка, но у каждого из них есть свои особенности и задачи, для которых он лучше подходит. Если это работа с базой данных клиентов для маркетинговой аналитики, подойдут более простые языки, а если серьезное научное исследование — то более сложные и точные.

Профессия / 24 месяца
Data Scientist

Дата-сайентисты решают поистине амбициозные задачи. Научитесь создавать искусственный интеллект, обучать нейронные сети, менять мир и при этом хорошо зарабатывать. Программа рассчитана на новичков и плавно введет вас в Data Science.

6 790 ₽/мес 11 317 ₽/мес

R — для любителей статистики

R был создан для работы со статистикой. Он позволяет собирать и очищать данные, работать с таблицами, проводить статистические тесты, различные виды анализа и составлять графические отчеты. R подойдет для специалистов, знакомых с теорией вероятности, статистическими методами и математическим анализом, поэтому на первый взгляд он может показаться сложным из-за интуитивно непонятного синтаксиса. На практике R используют:

• для научных исследований в разных сферах;
• машинного обучения и нейросетей;
• маркетинговых исследований.

Для R создано более 10 тыс. библиотек и расширений. Например, Ggplot2 — для визуализации данных, Bioconductor — для работы с генетической информацией, а Quanteda — для анализа текстов.

Кроме этого, R выделяют среди конкурентов высокая скорость обработки данных и открытый исходный код.

Читайте также Big Data: что это и где применяется?

Основная проблема при использовании R для больших наборов данных — ограничение в оперативной памяти, которая обеспечивает более быстрый доступ и манипулирование данными, чем при хранении данных на жестких дисках. Если вы готовы пожертвовать производительностью, то можно работать с большими наборами данных в R. Также есть пакеты R, которые помогают при работе с большими данными; я бы рекомендовала обратиться к представлению задач CRAN «Высокопроизводительные и параллельные вычисления с R».

Python — популярный и понятный

Самый популярный язык программирования в рейтинге TIOBE. В работе с Big Data Python зарекомендовал себя как один из лучших инструментов наравне с R:

• Дата-сайентисты используют язык для работы с машинным обучением и искусственным интеллектом.
• Аналитики при помощи библиотек и фреймворков обрабатывают большие массивы данных.
• Дата-инженеры с помощью него интегрируют сторонние решения для работы с данными.

Для работы с данными создано несколько специализированных Python-библиотек: NumPy — для вычислений, Pandas — для анализа табличных данных, Matplotlib — для визуализации. В отличие от R, Python кроме обработки и визуализации данных активно используется для разработки сайтов, приложений и других продуктов. Также считается, что это простой язык для новичков, так как у него понятный синтаксис (мы рассказывали, с чего начать учить Python, в этой статье).

Для анализа больших данных на Python можно использовать PySpark – это библиотека из проекта Apache Spark для анализа больших данных. PySpark предоставляет множество функций для анализа больших данных на Python. Она поставляется с собственной оболочкой, которую вы можете запустить из командной строки».

Java — самый универсальный

На Java пишут сайты, разрабатывают ПО и приложения. Это многофункциональный и кроссплатформенный язык, код на котором одинаково работает на мобильных устройствах, консолях или в системе умного дома.

Он позиционируется как язык №1 в мире, которым пользуется около 9 млн разработчиков. На Java написано множество Big Data инструментов с открытым кодом (например, большая часть экосистемы Hadoop), поэтому разработчики могут на их основе создавать собственные продукты для управления данными. Универсальность — основное преимущество Java в Big Data.

Java — это высокоэффективный скомпилированный язык, который широко используется для высокопроизводительного кодирования (ETL) и алгоритмов машинного обучения. Вот почему большие данные и Java — большие друзья».

Scala — самый недооцененный

Язык Scala не очень популярен у программистов, в рейтинге TIOBE он не входит даже в первую двадцатку. При этом в задачах по обработке данных он гораздо быстрее, чем более популярный Python. Scala способен быстро обрабатывать невероятно большие объемы информации, поэтому его используют Twitter, LinkedIn или Тинькофф.

На Scala написан фреймворк Apache Spark, важный для машинного обучения и анализа больших данных. Этот фреймворк входит в экосистему Hadoop и позволяет параллельно обрабатывать неструктурированные данные в реальном времени. Он легко взаимодействует с кодом на Java и библиотеками этого языка.

Scala работает на JVM и у него лучше структуры параллелизма, чем у Java, поскольку Scala обеспечивает лучшую поддержку парадигмы функционального программирования».

Станьте дата-сайентистом и решайте амбициозные задачи с помощью нейросетей

C++ — сложный, но быстрый

C++ — язык общего назначения; это значит, что с его помощью можно решить задачу из любой области программирования. Чаще всего на нем пишут операционные системы, крупные игры и такие пакеты программ, как MS Office или Adobe. В Big Data он тоже используется в основном для создания инструментов обработки данных, а не для непосредственной работы с ними. Например, MapReduce, который сейчас входит в экосистему Hadoop, изначально был написан как раз на C++.

C++ быстрее, чем многие конкуренты (Go, R или Python). Особенно это востребовано в машинном обучении , где нужно быстро обрабатывать терабайты данных. Это единственный язык, на котором данные размером более 1 Гб могут быть обработаны за секунду.

Но при этом он действительно сложный в изучении. В 2009 году компания Google создала простой и понятный язык Go, который справлялся бы с задачами C++, высокой нагрузкой и большими объемами данных. После этого в сообществе разработчиков стали возникать споры, что лучше: учить GoLang или C++:

Язык программирования Go создан компанией Google для работы с большими данными, поэтому сейчас он используется в большинстве продуктов компании:

• для работы с искусственным интеллектом;
• работы с базами данных;
• веб-разработки (особенно для backend).

MATLAB — для любителей научных методов

Это язык, который больше подходит для научной или производственной сферы и сложных математических вычислений. Университеты используют его в академических курсах по прикладной математике, физике и в инженерных разработках.

Считается, что рядовому разработчику не требуется этот язык. В основном его используют там, где нужны предельная точность и минимальные погрешности при работе с данными: в системах автопилота, медицине или космических исследованиях.

Julia — молодой и перспективный

Язык Julia задумывался как более простая и понятная альтернатива MATLAB. Он одним из самых молодых и современных языков, но уже вошел в топ-5 любимых языков программирования среди разработчиков по версии Stack Overflow.

По параметрам производительности Julia не уступает Python, R или MATLAB. Его используют для обработки запросов в backend, машинного обучения и даже для создания компьютерных симуляций. В будущем Julia может заменить популярный Python, но пока этот язык развивается, не имеет собственной экосистемы инструментов и большого набора библиотек, а разработчики используют для работы с ним Python-библиотеки.

*Hadoop — не язык, но активно используется

Это набор IТ-продуктов, который в основном написан на языке Java и адаптирует его к работе с Big Data. В него входят:

• Hadoop Common — набор библиотек для управления файлами;
• Hadoop Distributed File System — система хранения файлов на разных серверах;
• Yet Another Resource Negotiator — система планирования заданий и управления кластерами данных;
• Hadoop MapReduce — фреймворк для выполнения параллельных вычислений.

Так как Hadoop — это целая экосистема продуктов, его часто принимают за отдельный язык программирования. Его используют сайты и интернет-магазины с высокой пользовательской нагрузкой, такие как Google, AliExpress, Ebay. С помощью Hadoop они анализируют поисковые запросы и другую информацию о своих пользователях.

Data Scientist

Дата-сайентисты решают поистине амбициозные задачи. Научитесь создавать искусственный интеллект, обучать нейронные сети, менять мир и при этом хорошо зарабатывать. Программа рассчитана на новичков и плавно введет вас в Data Science.

Поиск ответа

Скажите, пожалуйста, как пишутся «Опиумные войны», нужны прописные или строчные буквы и какому правилу следовать в аналогичных ситуациях? С уважением, Аркадий.

Ответ справочной службы русского языка

Употребление прописных и строчных букв в названиях войн в целом подчиняется правилу о названиях исторических эпох и событий, календарных периодов и праздников, общественных мероприятий.

Отдельные написания являются словарными. Так, орфографический словарь В. В. Лопатина, И. В. Нечаевой, Л. К. Чельцовой «Прописная или строчная?» (М., 2011) рекомендует написание «опиумные войны». Рекомендация, по-видимому, обусловлена тем, что название не типично, оно воспринимается как не вполне название, скорее описательный оборот, используемый в функции названия. Ср. типичные названия для войн: Италь­янские войны, Балканские войны, Аль биг ойские войны, Гуситские войны, Наполеоновские войны, Пунические войны, Греко-персидские войны.

Вопрос № 293327

Бой-бенд или бой-бэнд? Или как-то ещё? Почему?

Ответ справочной службы русского языка

Вопрос № 288155

Добрый день! Подскажите, пожалуйста, как правильно писать термины, пришедшие из английского языка? В частности big data, Big data или биг дата? Буду очень признательна за ответ!

Ответ справочной службы русского языка

Этот термин лучше писать или в переводе: большие данные, или на английском: big data.

Вопрос № 286150

Здравствуйте ! Поиском не нашла ответа на вопрос. Как правильно писать в данном случае — » вам может понравиТСЯ эта предложенная со скидкой услуга. это предложение.. » или » вам может понравиТЬся эта предложенная со скидкой услуга, эти предложения » ? На сайте биг лион под конкретным предложением услуги , внизу еще дается перечень предложенных со скидками услуг, и озаглавлено » вам может понравиться «. А мне кажется, что мягкий знак здесь лишний http://krasnodar.biglion.ru/deals/zhemchuzhina7-52/ Спасибо !

Ответ справочной службы русского языка

Правильно: вам может понравиться эта услуга. Неопределенная форма глагола (что сделать?) пишется с мягким знаком. Ср.: вам, может, понравится эта услуга (= возможно, вам понравится эта услуга) – здесь употребляется форма 3-го лица, которая пишется без мягкого знака.

Вопрос № 285196

Добрый день! С удивлением узнала, что слово биг уди теперь склоняется. К тому же это считается более правильным. Но по-прежнему это слово не имеет единственного числа. Не противоречит ли это нормам языка? Ведь если мы склоняем биг удей, биг удях (как тетради — на тетрадях, без тетрадей), то и единственное число напрашивается.

Ответ справочной службы русского языка

Противоречия нет. Существуют русские слова, которые склоняются, но не имеют форм единственного числа. Например, ножницы, сани.

Вопрос № 281588

С помощью биг удей или с помощью биг уди?

Ответ справочной службы русского языка

Допустимы оба варианта.

Раньше слово биг уди склонять не разрешалось. Но постепенно склонение этого слова стало нормативным, и сейчас наблюдается такая картина: в одних словарях биг уди по-прежнему дано только как несклоняемое существительное, в других склоняемый и несклоняемый варианты даны как равноправные, а в третьих (к ним относится, например, Большой академический словарь русского языка) склоняемый вариант (с помощью биг удей) уже признается предпочтительным, а несклоняемый (с помощью биг уди) – допустимым, но устаревающим.

Вопрос № 273318

Здравствуйте!
Почему иностранные географические названия при переводе на русский пишутся через дефис (Big Sur — Биг -Сур, Green River — Грин-Ривер)? Обязательно ли такое написание? Распространяется ли оно на все двойные названия?
Спасибо.

Ответ справочной службы русского языка

Пишутся через дефис иноязычные географические названия, если в языке-источнике они пишутся через дефис или раздельно.

Вопрос № 273223

Здравствуйте.
У меня есть вопрос надеюсь ответите, В соц. Сетях я увидела вот это: «Есть биг уди, А вот как одна? Биг удя? биг удина? биг удь?». Надеюсь есть ответ на этот вопрос просто интересно как в ед. числе будет слово биг уди?
Заранее спасибо за ответ.
С уважением Мария.

Ответ справочной службы русского языка

Слово биг уди не имеет форм единственного числа.

Вопрос № 261552

Склоняются ли слова » биг уди», «термо биг уди»?

Ответ справочной службы русского языка

Возможно как склонять, так и не склонять существительные биг уди и термо биг уди .

Вопрос № 247719

Здравствуйте! Помогите, пожалуйста! Как пишеться: биг -борд, биг борд или биллборд? Проконсультируйте, где можно найти подобные слова? В академических словарях они, как правило, отсутствуют

Ответ справочной службы русского языка

Правильно: билборд. Это слово зафиксировано «Русским орфографическим словарем» РАН (М., 2005).

Вопрос № 247433

Подскажите,пожалуйста, какого рода слово биг уди

Ответ справочной службы русского языка

Биг уди – существительное pluralia tantum (имеющее формы только множественного числа). Противопоставление по роду во множественном числе не выявлено.

Вопрос № 241023

Здравствуйте! Пожалуйста, подскажите склоняется ли слово биг уди? Сегодня прочитал название книжки безумной Донцовой «кто-то там типа пудель в биг удях» Честно говоря, мне стало плохо. Насколько я помню слово биг уди не склоняется. Спасибо!

Ответ справочной службы русского языка

Это слово может употребляться как склоняемое и как несклоняемое.

Вопрос № 240080

Добрый день! Подскажите пожалуйста какого рода являются слова Галифе и Биг уди?

Ответ справочной службы русского языка

Галифе и биг уди – существительные pluralia tantum (имеющие формы только множественного числа). Во множественном числе противопоставление по роду не выявлено. При употреблении с прилагательными в форме единственного числа согласование происходит по среднему роду: форменное галифе .

Вопрос № 232832

Здравствуйте, подскажите, пожалуйста, как правильно писать «лайтбокс» и «ситилайт». И какая разница между словами » биГ борд» и «биЛборд»? Спасибо!

Ответ справочной службы русского языка

Верно: _лайтбокс, ситилайт, билборд_. Слова _ биг борд_ и _билборд_ обозначают одно и то же, однако общеупотребительным вариантом является _билборд_.

Вопрос № 232002

Здравствуйте! Подскажите, пожалуйста, склоняется ли фамилия Биг да, при адресации письма мужчине (кому — Биг де)? Спасибо.

Ответ справочной службы русского языка