システムテスト自動化の基礎知識とMonkeyTalkの使い方：スマホ向け無料システムテスト自動化ツール（1）（1/4 ページ）

本連載では、スマートフォン（Android／iOS）アプリ開発における、システムテストを自動化するツールを紹介していきます。初回はシステムテスト自動化の基礎知識とMonkeyTalkについて。

» 2014年07月16日 18時00分公開

[長谷川孝二，STAR（テスト自動化研究会）]

連載目次

システムテストの自動化とは

　テスト自動化ツールの紹介に先立って、本連載で扱う「システムテスト」の位置付け、またシステムテストのうち、どのテスト（テストタイプ）を自動化していくのかについて説明します。

システムテストの定義

今回の主な内容

　システムテストとは、ユニット（単体）テスト、統合（結合）テストをパスしたアプリを対象として実施するテストレベルであり、スマートフォンアプリでは以下の位置付けで行われるテストに当たります。

ビルドされたipa／apkファイルをシミュレーターもしくは実機にインストールしてUIを操作する
サーバーと通信するアプリの場合、ステージングもしくはプロダクション環境に接続する
組織のQA担当者（独立したテストチーム）が実施する
システム（アプリ）の基本設計に基づき、その要件を満たしていることを実証する

　テストレベルの概念や、より一般的なシステムテストの位置付け、またそれを自動化するに当たっての目的やROI（Return On Investment／投資利益率）などについては、下記連載記事を参照してください。

テスト自動化のROIを計算してみよう

　また、BDD（Behavior Driven Development／振る舞い駆動開発）における「受け入れテスト」もほぼ同じ位置付け・観点を持ちますので、本連載では同義と扱います。

　BDDの定義や観点などについては下記連載で扱っていますので、こちらも参考にしてください。

いまさら聞けないTDD/BDD超入門

システムレベルの機能テスト

　システムテストを含め、それぞれのテストレベルでは、その結合度に応じたさまざまな観点のテストが行われます。このテストの種類は「テストタイプ」と呼ばれています。

　テストタイプには、「機能テスト」「使用性テスト」「回帰テスト」「性能テスト」「ロードテスト」「ストレステスト」などの種類がありますが、この中で最も自動化する価値の高い「機能テスト」を本連載では扱います（筆者はこれを「システムレベルの機能テスト」と呼んでいます）。

　機能テストは、テスト対象の機能仕様に基いて実施するテストで、アプリがどう振る舞うか（ある入力に対して、どのような出力を行うか）を確認します。

　システムテストではアプリのUIを操作して入力し、UIに表示される内容をもって出力を判断することになります。古典的なテストツールではタップする点をスクリーンのx,y座標で指定し、出力は画面のスクリーンショットをもって画像で判定するなどしていました。

　これに対し、近年のモダンなテスト自動化ツールでは、アプリの画面を構成する（iOSではUIView、AndroidではLayoutの）ツリー構造をたどってUIコンポーネントを特定し、そのUIコンポーネントをコントロールすることによってテストを実行できます。従って、アプリの画面レイアウトが変更されても、同じテストコードを修正することなく使い続けることができます。

　また、自動化した機能テストは「回帰テスト」にも利用できます。回帰テストとは、アプリのバージョンアップの際、エンハンスバグ（デグレード）の混入を早期発見することを目的に同じテストを実行するもので、このとき、もし画面レイアウトが少々変更されていてもそのまま実行できるロバストな（変更に強い）テストであることは重要です。

　なお、本連載では扱わないテストタイプのうち、例えば「使用性（ユーザビリティ）テスト」は、その評価が人間の知覚・感覚に依存するため機械的な合否判断が難しいテストです。ここには、実機を実際に人間の手で操作して操作のしやすさなどを評価することの他、複数のOSバージョンや機種での表示崩れ、文字がトランケート（"..."で省略）されるなど、いわゆる「見栄え」の検証も含みます。

　見栄えに関しては、自動化したテストの中でスクリーンショットを撮影して残し、判断は人間が目視で行うといった半自動での運用を検討してみてください。

Android／iOSで使える「MonkeyTalk」の特徴

　MonkeyTalk（旧称：FoneMonkey）は、米CloudMonkey社（Gorilla Logic社からのスピンオフ）が開発・公開しているオープンソース（GNU Affero General Public License, version 3）のテスト自動化ツールで、QA担当者にも扱いやすい表形式でのテストスクリプト記述が可能です。

　また、扱うことのできるUIコンポーネントは抽象化されており、iOSアプリとAndroidアプリでテストスクリプトをほぼ共通化できます。

MonkeyTalk公式サイト

　MonkeyTalkの主な特徴は以下の通りです。

Android 2.2以降、iOS 4.0以降の双方に対応しており、テストスクリプトの共通化を図れる
テスト対象アプリに対する操作をレコーディングしてMonkeyTalkのテストスクリプトを生成でき、それを編集・再生できる
スクリプトは、専用のエディター（表形式、テキスト）での記述、JavaScriptでの記述が可能
テスト対象アプリには、MonkeyTalkのエージェント（静的ライブラリで提供されています）をバンドルする必要がある
ATI（Automated Testing Institute）による「Best Open Source Mobile Automated Test Tool」の第4回、第5回ともに、AndroidとiOSの両部門で選ばれている