Платформа для тестування мобільних додатків Ubertesters: досвід впровадження

Поки рядові юзери чекають свій черговий iPhone, а ASUS анонсує новий планшет, я хотів би поділитися одним днем із життя розробника мобільних додатків.

Подібно іншим невеликим девелоперським компаніям наша зіткнулася з банальним браком людей для ручного тестування написаних додатків. Із зростанням кількості проектів зросла і кількість невпорядкованих файлів з баг-репортами. Відсутність нормальної системи управління билдами і сабміта багів стало серйозною проблемою.

Деякий час ми обходилися TestFlight для розподілу білдів і краш-репортов і це було дуже зручно. Але, як вже писали на Хабре, TF поглинула Apple, тому платформа враз перестала підтримувати Android. У пошуках альтернативи ми перейшли на Ubertesters — не в останню чергу через місяці безкоштовного тріал-версії.

Принцип роботи дуже простий:

1. Створюємо на платформі організацію та проект;
2. Інтегруємо SDK з нашим білдів;
3. Завантажуємо білд;
4. Додаємо пристрій;
5. Додаємо в проект учасників — девов, тестерів, кого-би-то-ні-було;
6. Расшариваем білд з користувачами;
7. Тест встановлює додаток на девайс;
8. Тестер надсилає репорти з прикріпленими скріншотами багів;
9. Баги фиксятся;
10. ???????
11. PROFIT

Перш за все, в середовищі нам необхідно створити організацію, від якої надходять програми на тестування (див. скріншот). Організація являє собою набір проектів, написаних девелоперами під різні пристрої.

image

Створюємо всередині організації проект під кожне нове додаток. Для цього нам необхідно вибрати, під яку ОС було розроблено наше додаток — iOS або Anfroid. Можете просто перетягнути файл apk або .ipa у віконце.

image

На що слід звернути увагу при роботі з iOS — UDID девайса повинен бути доданий розробником в Provisioning profile в itunes. Якщо пристрій не буде додано в профіль або буде додано неправильний UDID, тестувальник не зможе встановити білд.

Для того, щоб почати використовувати Ubertesters, завантажуємо і інтегруємо необхідний нам SDK. Якщо ви пишете кроссплатформенную аппликуху, то серед підтримуваних фреймворків також є Xamarin, Unity, PhoneGap, а до моменту сабміта цієї публікації було також оголошено і про підтримку Adobe Air.

Додаємо в свій проект девайси з відповідної ОС.



Після підключення та налаштування девайсів запрошуємо в проект учасників — девелоперів, тестерів і РМ'ів. Якщо нам необхідно, наприклад, зібрати статистику по якійсь окремій категорії юзерів, то створюємо для них окрему «distribution group» і формуємо її вже за своїм бажанням.

image

При виході нових білдів додані в проект тестери отримують push-повідомлення, скачують білд через свій девайс і займаються власне тестуванням.

Трохи незвична після TestFlight, але в цілому зручна система, має крім стандартного для таких платформ набору функцій також набір функцій для більш швидкого фідбек від тестера. Та й самі баги тестувальник тепер сабмитит безпосередньо з пристрою з відповідними скріншотами і описами. Раніше ми зустрічалися з однією і тією ж дурною проблемою: тестери витрачають більше часу на сам репортинг, ніж не тестування. Баг-репорт приходив в кращому випадку у вигляді текстового опису, після чого доводилося довго і копітко уточнювати, де саме вилізла помилка. Вбудований редактор SDK скрінів витончено вирішує цю проблему — тестер просто робить скріншот безпосередньо на самому девайсі, обводить його або малює до нього стрілочку і відправляє на сабмишен. Дуже наочно. Крім самого скрін, автоматично збирається вся необхідна інфа про девайсі — модель, вісь, дозвіл екрана тощо

image

Можна також експортувати баг-репорти в інші баг-трекер, що дуже зручно для тих хто працює, наприклад, через Redmine або Jira.

image

Також є можливість відслідковувати сесії кожного окремо взятого девайса або учасника проекту, перевірити, скільки часу сесія була активна, а скільки — просто висіла «у фоні». Хоча ми цією функцією і не користувалися, вважаю, вона була б ідеальним рішення для РМ'ів, параноїдально намагаються контролювати весь процес розробки і тестування.

Після місяця успішного використання тріал-версії Ubertesters швидкість і якість тестування наших додатків значно зросли. В цілому, платформа Ubertesters — це добротний, порівнянний з Tesflight сервіс з цілим рядом додаткових функцій на зразок підтримки тест-кейсів, управління билдами, а також автоматичного сабміта даних про девайсі. Вам більше не треба відправляти ревізії поштою — все повідомлення тестер отримує автоматично.

Було б цікаво, якщо в коментах ви поділіться своїм досвідом використання аналогічних або платформ, якими вони володіють перевагами, і з якими проблемами ви зіткнулися.

Джерело: Хабрахабр

0 коментарів

Тільки зареєстровані та авторизовані користувачі можуть залишати коментарі.