Utest что это

Знакомство с uTest

uTest — это то место, где собирается множество внештатных тестировщиков программного обеспечения, которые хотят развивать новые навыки, зарабатывать дополнительные деньги и реально влиять на цифровые продукты своих любимых брендов.

Платформа заключает в себе большое комьюнити, позволяет освоить базовые навыки тестирования и применять их в реальных оплачиваемых проектах, работая над продуктами как часть команды uTest в рамках краудтестинга, а так же получить достаточно релевантный оплачиваемый опыт и практику в качестве начинающего ручного тестировщика, что может помочь в будущем развиваться в области QA/QC (Quality Assurance/Quality Control) в качестве freelance или штатного сотрудника.

Что такое Crowdtesting?

Краудтестинг (или краудсорсинговое тестирование) — это практика, которая использует эффективность и разнообразие краудсорсинга для тестирования программного обеспечения. Программное обеспечение, такое как мобильные приложения, собственные настольные приложения или веб-сайты, находящиеся на разных этапах разработки, распространяется среди большой группы людей. Люди в этой группе, краудтестеры, запускают программное обеспечение на своих компьютерах или мобильных телефонах, чтобы проверить его на наличие дефектов и областей, которые можно улучшить.

Команды по продукту, разработке и контролю качества могут использовать «толпу» для тестирования функций, тестирования удобства использования, тестирования пользовательских историй, кросс-браузерного тестирования, тестирования доступности, тестирования производительности, рутинного тестирования работоспособности и многого другого. Популярен этот метод тем, что разработчики могут получить большое количество тестировщиков, состоящих из людей с разными навыками, наклонностями, опытом и устройствами. Их широкий охват оборудования в сочетании с их человеческим интеллектом дает даже быстро развивающимся группам разработчиков возможности тестирования в реальных условиях.

Сервис крауд-тестирования Utest: как выжать максимум

В последнее время на рынке появилось множество сервисов, предлагающих за денежное вознаграждение свои услуги по обеспечению высокого качества вашего продукта. Точнее, по контролю этого самого качества. Однако за красивой вывеской часто скрываются проблемы, сводящие на нет всю пользу от такого “тестирования толпой”. Хотим поделиться нашим опытом и уберечь вас от повторения некоторых ошибок.

KamaGames Studio в своей работе пробовала сотрудничать с несколькими такими платформами. Наиболее долгосрочным оказалось сотрудничество с Utest. Кстати, недавно мы писали о том, что ребята подняли существенные инвестиции в размере 43 млн долларов. Мы на протяжении года были подписчиком одного из крупных пакетов услуг. Поэтому можем по собственному опыту судить о вещах, обязательных для создания максимально выгодных отношений с платформой для крауд-тестинга.

Советы по организации групп взаимодействия

Utest можно использовать для разных задач, решаемых QA. Отметим, что во всех случаях мы не полагались исключительно на внешнюю платформу. Всегда вместе с ними работал весьма квалифицированный QA-отдел внутри компании. Какие же типы нагрузки можно делегировать Utest и ему подобным?

1. Группа взаимодействия “Смок-тест”

Ежедневная проверка сервисом работоспособности жизненно важных элементов вашего приложения, находящегося в публикации, по чек-листам. В результате использования группы “Смок-тест” сервис регулярно предоставляет лакмусовую бумажку работоспособности вашего приложения (доступность для скачивания, корректность установки, запуск, работа магазина и т.д. и т.п.) и в случае возникновения проблем шлет алерты с уведомлением на почтовый ящик. Простая и понятная работа.
Эффективность: 7 из 10.

2. Группа взаимодействия “Реализация бизнес-требований”

Проверка реализации регламентированных бизнес-требований, по которым написан тест-дизайн (выполняется итерационно). Сервис в данном случае являет собой силу “ручного” тестировщика, выполняющего проверку реализации запланированной на эту итерацию функциональности.
Эффективность: 7 из 10.

3. Группа взаимодействия “Унифицированные кейсы”

Проверка соответствия приложения вашим корпоративным нормам качества (выполняется два раза (при альфа и бета) + возможны регрессии). В результате использования группы “Унифицированные кейсы” сервис являет собой силу “ручного” тестировщика, выполняющего проверку соответствия приложения вашим унифицированным корпоративным стандартам качества (нефункциональные тесты: корректность отработки приложением входящего звонка, корректность отработки приложением разряда батареи, корректность отработки приложением переноса с/на карту памяти и т.д. и т.п.)
Эффективность: 7 из 10.

4. Группа взаимодействия “Исследовательская”

Свободное плавание нерегламентированных кейсов. Выполняется параллельно с группой взаимодействия “Реализация бизнес-требований”. В результате использования группы “Исследовательская” сервис являет собой силу “ручного” бета-тестировщика, описывающего свои впечатления и проблемы в нерегламентированных тест-дизайном областях. Эффективность: 5 из 10.

5. Группа взаимодействия “Гарантия удобства использования”

Проверка соответствия приложения международным стандартам удобства использования (выполняется два раза (при альфа и бета) + возможны регрессии). В результате использования группы “Гарантия удобства использования” сервис являет собой альтернативу работе usability-тестировщика, выполняющего аргументированную проверку соответствия приложения международным стандартам качества удобства использования. Прислушиваться к их советам или нет – ваше право.
Эффективность: 5 из 10.

6. Группа “Гарантия серверной производительности под нагрузкой” (очень сложная для коммуникаций группа)

Нагрузочные тесты на ваш сервер плюс проверка реализации серверного протокола. В результате использования группы сервис являет собой альтернативу (или дополнение) работе тестировщика автоматизатора-нагрузочника, выполняющего реализацию скриптов нагрузочного тестирования (проверка реализации протокола) со своей площадки в назначенное время.
Эффективность: 4 из 10.

7. Группа “Локализаторская проверка”

Проверка корректности локализации. Сервис не имеет каких-то выраженных черт национальности и вероисповедания. Сервис здесь предоставляет “умноженного” “ручного” тестировщика, носителя языка и культуры, необходимой для проверки локализации.
Эффективность: 8 из 10.

8. Группа “Соответствие прогрессу”

Проверка работоспособности опубликованного приложения на вновь вышедших аппаратах и операционных системах. Работа “ручного” тестировщика, проверяющего работоспособность опубликованного приложения на новом аппарате. Вы всегда в курсе соответствия вашего приложения прогрессу, даже если соответствующего девайса у вас нет в наличии.
Эффективность: 8 из 10.

Общие советы по особенностям взаимодействия и “грабли”

Выше мы рассказали, “зачем” можно использовать Utest и ему подобные сервисы. Однако путь к целям будет тернист: ниже простые, но важные советы, как избежать фейла в работе.

1. Всё взаимодействие происходит на английском языке, необходимо это учитывать при разработке тест-дизайна документации и найме тестировщиков, которые будут работать с Utest, в штат.

2. Коммуникации и менеджмент отнимает практически все рабочее время штатного QA-менеджера: необходимо постоянно пинговать менеджера сервиса и отслеживать происходящее, т.к. менеджер сервиса имеет отношения и с другими клиентами, редко, но случаются казусы. Чаще всего из-за того, что стороны не поняли друг друга. Порой это пригодится для торга и для давления.

• Менеджер со стороны сервиса единовременно взял в работу четыре сборки разных приложений (по группе взаимодействия “Исследовательская”). Через сутки делаем контрольный пинг, и выясняется, что тестирование начато лишь по трем сборкам (он запустил четыре, но не обозначил сроки и задачи – “день за зря”);
• Менеджер сервиса взял в работу одну сборку приложения (по группе взаимодействия “Исследовательская”). Через сутки обнаруживаем, что сервис (здесь и везде в тексте под понятием “сервис” подразумеваются все участники платформы, которые принимали участие в тестировании наших продуктов) не выявил ни единой проблемы, что странно для альфа-версии. После “пингования” менеджер сервиса отправил “магическое” сообщение тестерам, в результате чего были выявлены “полезные” проблемы.

3. Взаимодействие происходит через систему баг/таск-трекинга сервиса, без возможности интеграции в вашу систему.

В трекинге сервиса реализовано множество функционала (единая база регистрации/авторизации тестировщиков, оценка QA-менеджером найденных проблем, всевозможная аналитика, таск/баг-оборот и т.д. и т.п.), не позволяющего интегрировать его в вашу систему баг/таск-трекинга, поэтому очень много времени уходит на копипаст проблем и задач. Организовать импорт в Redmine нам так и не удалось.

4. Внутреннему QA-менеджеру необходимо вычитывать каждую проблему, заведенную тестировщиками сервиса в трекере, и воспроизводить у себя.

Участники тестировщицкого сообщества Utest после оценки QA-менеджером критичности выявленной проблемы получают денежное вознаграждение от сервиса. В связи с чем редко, но все же попадаются не совсем честные тестировщики, пытающиеся обмануть и Utest, и вас.

5. Необходимо сформировать требования к описанию проблемы тестировщиками сервиса.

Вы должны четко сформулировать менеджеру сервиса необходимый вам минимум информации описания проблемы (устройство, операционная система, воспроизводимость (как часто воспроизводится и на каких устройствах), шаги воспроизведения, результаты фактический и ожидаемый, логи, запись видеопроцесса и т.д. и т.п.) и требовать соблюдения этого минимума. Иначе получите кучу бесполезной информации.

6. Необходимо разработать шаблон постановки задачи менеджеру Utest.

• Наименование приложения — Проект;
• Сборка №;
• Группа взаимодействия (см. п.п. 1);
• Тело задачи (основной текст, особенности);
• Устройства покрытия;
• Операционные системы покрытия;
• Необходимые сроки выполнения задачи;
• Комментарии;
• Ссылка на место хранения сборки;
• Ссылка на хранение нормативной документации
• И т.д. и т.п.

Выводы

Использование Utest и ему подобных сервисов, безусловно, может быть полезным. Для нас эта польза заключалась в расширении “человеческих ресурсов” в любой момент времени и дополнительной проверке продуктов как на стадии разработки, так и на стадии эксплуатации.

• По уровню знания и понимания специфики вашего продукта штатный тестировщик всегда будет сильнее на голову, хотя бы потому что тестировщики сервиса – явление приходящее и уходящее (часто явление одноразовое);
• Мотивация у штатного сотрудника выше, т.к. для него это продукт, в который он вложил очень много сил и энергии;
• Уровень теоретических и практических знаний в тестировании вашего тестировщика для вас очевиден, а тестировщика сервиса – нет;
• Контроль за ходом выполнения задачи (подсказки, степень завершенности, степень покрытия) штатного тестировщика осуществляется максимально эффективно, а за ходом выполнения задачи тестировщиком сервиса – с меньшей долей эффективности.

Используйте подобный сервис в качестве дополнительного инструмента для проверки качества по отношению к “доморощенному” штату – даже если этим штатом в вашей инди-команде выступаете вы сами. Будьте готовы тратить большое количество времени и сил на коммуникацию, и сервис обязательно ответит взаимностью в виде дополнительного показателя качества. И, конечно, смотрите на цены. На сайте Utest представлен калькулятор стоимости услуг, что означает не только непрозрачность цены, но и возможность некоторого торга.

Автор текста: Юрий Головин, руководитель отдела QA KamaGames Studio.

Как начать работать на фрилансе: 5 этапов на пути к реализации проектов по тестированию

Часто перед выпускниками компьютерных курсов в общем и выпускниками-тестировщиками в частности встает вопрос: что делать после окончания курса? Похожим вопросом задаются люди, которые хотят попасть в IT, — смогут ли они потом устроиться на работу, например QA удаленно.

Фриланс тестирование

Расскажу свою историю. Курс QA Manual я закончил в январе 2015 года. Что делать дальше, не знал, так как сфера IT, как и любая другая, требуют от человека наличия опыта, которого не получишь, не устроившись на работу. Замкнутый круг! На тот момент я занимал должность бухгалтера в IT-компании Ciklum. Друг, который работал тестировщиком, посоветовал попробовать сервис utest.com — сайт для тестировщиков ПО. Он же помог мне там зарегистрироваться. Перед тем, как начать работать фрилансером-тестировщиком , вы должны пройти несколько этапов.

Рекомендуем курс по теме

QA Manual basic

1. Регистрация

При регистрации нужно указывать, что вы умеете, сколько времени и в какой компании работали/работаете. Как стать тестировщиком и повысить шансы на получение оплачиваемой работы? Я преувеличил свой опыт. Еще один немаловажный аспект — количество девайсов, на которых вы собираетесь тестировать: от лэптопов и смартфонов до смарт-телевизоров и плейстейшенов (чем больше, тем лучше).

2. Песочница

Далее ждите так называемую «песочницу», после которой вам будет присвоен рейтинг. Если не пройдете её — на работу можно не надеяться. «Песочницу» пройти не сложно: нужно найти два бага и пройти один тест-кейс на сайте NBA.com. Самая распространенная ошибка новичков в том, что они находят больше багов, чем написано в инструкции — не могут придерживаться требований, а это то, что должен знать профессиональный тестировщик. Следующим этапом будет тест на знание uTest Policy/uTest Platform (эти документы находятся на сайте).

3. Платный проект

После правильного прохождения этих шагов ждите приглашения на платный проект. Информация о нем приходит на почту, после чего нужно ознакомиться с ним на сайте. Когда приходит работа, она попадает в раздел INVITED. Там можно просмотреть, о чем это, какие устройства включены в QA тестирование, а также расценки на баги.

4. Изучение проекта

Если этот кейс подходит, то нужно нажать кнопку Accept. После принятия проекта нужно его изучить для того, чтобы созданные баги не были отклонены. Для этого нужно внимательно прочитать IN SCOPE иOUT OF SCOPE.

Раздел OUT OF SCOPE

В IN SCOPE описаны рамки тестирования: какие разделы меню можно тестировать и как тестировать. OUT OF SCOPE описывает, что не нужно тестировать, и т. д. Почему это стоить изучить внимательно? Потому что если зарепортить баг, который будет в OUT OF SCOPE, то мы получим отклонение бага, то есть Reject. Эта отметка влияет на рейтинг QA тестировщика. Если он пойдет вниз, соответсвенно, работы будет приходить меньше. В аттачменте смотрим линк на сайт для тестирования или ссылку для скачивания билда.

​Отметка Reject в списке работ

​Ссылка для скачивания билда

Проекты очень разные: есть исследовательские, функциональные, регрессионные с тест-кейсами. Что делает тестировщик сначала? Наблюдает за тем, как находят и описывают баги другие тестировщики. Поскольку всё описание и требования по созданию багов на английском языке, это также хорошо для вашей языковой практики.

5.Оплата

Выводить деньгиможно через PayPal и Payoneer. Я использую второй сервис. В течение 15-20 дней после регистрации в Украину присылают карточку, с помощью которой можно оплачивать покупки магазине и снимать наличные в банкоматах (но лучше рассчитываться в магазине — комиссия меньше). Оплата за обслуживание счета составляет $29,95 в год, платить сразу не нужно, деньги снимаются со счета, когда на нем достаточно средств. Еще один маленький бонус: можно получить возврат по $25 за приведенного друга (вознаграждение получат обе стороны, так что если будет интересно, обращайтесь :).

Совет бывалого фрилансера

Если вы изъявили желание принять участие в работе по фриланс тестированию, беритесь за нее сразу, как только увидели приглашение. Тогда у вас будет больше шансов найти баги первыми. В моей практике были кейсы, в которых я зарабатывал 50-60 долларов за чуть меньше, чем 8 часов тестирования. За месяц получалось в среднем 100 долларов, максимальный заработок составил чуть больше 200 долларов, но это при условии работы по вечерам после основной работы. Как-то нужно было «выловить», в каком моменте появляется баннер нецензурного содержания, который оценивали в $500 (его, кстати, так и не смогли найти). Принимал участие в тестировании приложений таких корпораций как Skyscanner, Vevo, Deezer, Tidal. Также был два раза лучшим тестировщиком проекта — это дает уверенность в себе, а также + 5% от заработанного.

Минусы тестирования на фрилансе

Проекты для тестирования приходят спонтанно и чаще поздней ночью, когда в США вечер. И проснувшись утром, можно в электронном ящике два письма: в одном будет приглашение, а во втором будет сказано, что участники больше не принимаются, так как уже взяли достаточное количество тестировщиков ПО.

Спустя чуть меньше года работы фриланс тестировщиком я нашел свою первую работу тестировщиком ПО на фулл тайм. Надеюсь, эта статья поможет получить требуемый опыт для дальнейшей карьеры.

UTest. Как начать работать?

Стать тестировщиком программного обеспечения реально. Мы помогаем узнать о тестировании ПО бесплатно. Для этого просто подключитесь к нашему ТГ-каналу, где мы проводим бесплатные практические вебинары, на которых обучаем как правильно тестировать, как находить баги на сайтах. Плюс вы можете задать нам все вопросы, которые у вас возникнут.
Регистрируйтесь на бесплатный мастер-класс

После освоения базовых навыков работы в тестировании ПО, каждый специалист начинает свой путь с поиска первого рабочего места. Основная проблема, с которой сталкивается новичок, — наличие опыта после окончания курсов. И в связи с большой конкуренцией на вакантное место, работодатель однозначно отдает предпочтение тем, кто уже отработал свои навыки на практике.

Если вы обучаетесь в нашей школе IT Testing School на курсе «Тестировщик с нуля», то вместе с кураторами проходите путь рядового тестировщика QA при работе с проектом, а значит уже будете иметь опыт работы со стажем более трех месяцев. Если же нет — тогда рекомендуем ознакомиться со статьей ниже, она поможет вам попрактиковаться с сайтами с багами для тестирования. А для многих из вас — получить первую работу тестировщиком ПО с окладом от 500-600 евро в месяц через пару месяцев работы на крауд платформах. Заработок тестировщика в первые месяцы работы будет небольшой, но, для получения первого опыта в QA это неплохой вариант для многих, кто ищет платформы для заработка без какого-либо опыта.

Существует один вспомогательный инструмент, который поможет обрести тот самый необходимый опыт. UTest — крауд-тестинговая платформа, создана для выполнения задач IT-компаний фрилансерами QA. Поскольку для многих, отдать задачу на аутсорс более выгодно, нежели нанимать сотрудника в компанию. Так как начать работать на UTest, предлагаем разобраться подробнее.

Как зарегистрироваться на Utest?

Ссылка для регистрации на крауд-платформе Utest: https://www.utest.com/signup/personal
Регистрироваться на uTest можно уже во время учебы, чтоб закреплять пройденные теоретически темы в новых проектах или даже не имея вовсе опыта тестирования. Тестировщик вносит все стандартные данные, как и при регистрации на любом сайте.

Рекомендуем обозначить все возможные девайсы, которые вы можете использовать при тестировании (телефон, ноутбук, планшет, приставка, операционные системы и т.п.). Это даст возможность работодателю понять спектр ваших возможностей и правильно распределять работу между исполнителями.

Академия uTest

После регистрации на почтовый ящик каждому приходит приглашение на обучение на фриланс платформе для тестировщиков uTest, так называемая академия — Sandbox Class. Суть обучения состоит в изучении функционала и краткой теории тестирования (после 7-го урока), прохождении небольших тестовых заданий и финального, в котором каждому необходимо определить два бага и пройти тест-кейс на определенном сайте. В каждом уроке есть видео-инструкция, описание задания и тест. Таким образом uTester ознакамливается с платформой, ведь все обучение разбито на блоки с информацией о каждом инструменте и теорией тестирования, а также правильностью заполнения всей документации, а менеджер uTest определяет степень подготовки исполнителя.

Проверка результатов финального тестирования в среднем занимает около недели, а само обучение . На электронную почту uTester-у приходит оповещение о прохождении тестового задания. После прохождения академии каждому тестировщику присваивается начальный рейтинг рейтинг, в зависимости от успешности прохождения последующих заданий он колеблется и чем он выше, тем более оплачиваемые задания распределяются в работу.

Денис Довганюк, выпускник школы IT Testing School также поделился своим опытом работы на uTest:

«Лично для меня uTest — это платформа, где ты на этапе прохождения академии уже можешь расширить свой кругозор, узнать что-то новое в сфере тестирования и закрепить свои знания на реальных проектах. Еще хотел бы подчеркнуть работу тимлидов, а именно то, что во время теста, среднее ожидание на ответ около 10 минут. Есть и минусы, такие как время ожидания проекта, иногда приходилось ждать более недели.»

Важным моментом будет то, что вся платформа, задания и тестовая документация на английском языке. Без знания языка хотя бы уровня B1 и выше будет уходить большое количество времени на перевод всей информации. Рекомендуем параллельно заняться изучением словарного запаса английской терминологии для каждого тестировщика.

Оплачиваемые проекты

Далее, согласно правилам uTest, тестировщик ожидает до 4 недель свой первый платный проект, уведомление о котором приходит на электронную почту. В разделе Invited на сайте можно более детально ознакомиться с заданием, ценой и устройствами, на которых необходимо провести тестирование ПО. Этому стоит уделить особое внимание, поскольку заказчик дает четкие рамки тестирования и условия, которым необходимо придерживаться.

Чем четче uTester придерживается условий тестирования, тем больше вероятность, что заказчик засчитает все баги, оплата будет выше и рейтинг uTester-а будет расти.

Вывод денежных средств

На сегодня существуют две платежные системы, благодаря которым можно выводить средства за оплаченные проекты — это PayPal (стал доступен с марта 2022 года) и Payoneer. Рекомендуем на сайте ознакомиться с тарифами за обслуживание счета и выбрать более подходящий.

1. Первое, что необходимо запомнить, как и сказано выше, четкое соблюдение требований заказчика. Важно всегда внимательно изучать In scope и Out of scope. В первом блоке указываются разделы, которые необходимо тестировать и способы тестирования. Во втором блоке указывается все то, что тестировать не нужно. Если uTester вносит в Bug Report ошибку, которая находится в области Out of scope, она однозначно будет отклонена. Такая невнимательность будет сильно влиять на рейтинг тестировщика на платформе.
2. Второй хороший способ правильной коммуникацией с разработчиками — излагать суть на понятном языке. Старайтесь как можно детальнее прописывать Bug Report, предоставлять все необходимые скрины и, по возможности, видео с фиксацией всех проделанных шагов для наглядности. Если не хватает опыта и есть трудность в разборе какого-либо бага, обратитесь в сообщество uTest, в нем более опытные тестировщики часто отвечают на вопросы, помогают и дают дельные советы.
3. Всегда стоит помнить, что uTest — крауд-тестинговая платформа, то есть тестировать один продукт может не один тестировщик, а несколько. И чтоб выделяться среди других, а не слепо дублировать одинаковые баги в Bug Report, к поиску ошибок следует подходить с креативной стороны. Всегда стараться найти баги, которые не заметили другие тестировщики, и, которые влекут за собой бóльшие погрешности работы ПО.
4. На платформу uTest чаще приходят за опытом, нежели заработать деньги. Не отклоняйте бесплатные проекты, когда вы еще новичок. Любая тренировка — драгоценный опыт тестировщика, который будет необходим для поиска достойной работы в компании.
5. Использовать Dashboard для подачи заявок на определенные проекты, на которые тестировщик может подойти. Необходимо мониторить этот раздел хотя бы раза два в неделю.

Для Украины сегодня распределяются только общие заказы, к примеру «на всю Европу», и конкуренция в таких случаях довольно высокая. Проект может быть занят уже в первые десять минут. Рассылка приходит на всех доступных тестировщиков, но места всегда ограничены.

Платформа uTest — это хороший инструмент на первых порах быстро ознакомиться с задачами и нарабатывать скорость их решения, поскольку задачи на платформе чаще будут однообразными. В целом, uTest направлена на Европейский рынок и Америку. Если местоположение тестировщика — США, он вполне может выбирать фриланс на uTest и как основное место работы.

Начать работать на uTest без знаний тестирования весьма сложно. На каждое задание приходится искать информацию или в интернете, или спрашивать помощи в сообществе, а с таким подходом реализация заработка на платформе сходит на нет. Рекомендуем сначала освоить профессию тестирования с нуля и пройти наш курс. Ведь каждую карьеру следует начинать с правильно заложенного фундамента.