Při testování a hodnocení kartografické funkcionality GIS aplikací pro mobilní zařízení se vycházelo z existující metody CartoEvaluation, která byla zpracována a publikována Ing. Zdenou Dobešovou v knížce Hodnocení kartografické funkcionality geografických informačních systému v roce 2009.
Metoda hodnocení CartoEvaluation vychází z metody Goal-Question-Metric, která byla popsána v sekci Použité metody. Podle obecné teorie pro metodu Goal-Question-Metric bylo nutné navrhnout ucelenou hierarchii cílů. Ke splnění dílčích cílů bylo nutné dále formulovat otázky a jim odpovídající odpovědi a na závěr navrhnout jednotlivé váhy, tj. metriku pro ohodnocení splnění cílů.
Při hodnocení kartografické funkcionality pro mobilní GIS aplikace je nutné postupovat podle následujících kroků:
Dostupné GIS aplikace pro mobilní zařízení byly vybírány pro všechny tři nejvýznamnější operační systémy běžící na mobilních zařízeních (tj. Windows Mobile, Android, iOS). Celkem bylo otestováno devět GIS aplikací, z toho dvě komerční, čtyři programy volně šířené a 3 označené jako „free aplikace“, které jsou sice dostupné zdarma, ale vyžadují pro práci mít založený účet pro ArcGIS Online. Jedná se o internetovou aplikaci ArcGIS Online a pak o dvě prohlížečky založené na prohlížení map z ArcGIS Online (GeoMobile pro ArcGIS Online a ArcGIS pro Android). Hodnocenými komerčními programy byly: ArcPad a TopoL Mobile. Z volně šířených to byly aplikace: QGIS pro Android, Enebro, gvSIG Mobile a prohlížečka gvSIG Mini.
Vzhledem k tomu, že aplikace GeoMobile pro ArcGIS Online jako jediná běží pod operačních systémem iOS a zároveň i pod Android, tak tato aplikace byla otestována na tabletu s Android a zařízení pro iOS nebylo potřeba pro testování.
Aplikace ArcGIS Online je od všech ostatních testovaných programů odlišná tím, že je to internetová aplikace, na které jsou založeny dvě prohlížečky, které jsou často používány na mobilních zařízeních. Proto tato aplikace byla vybrána do hodnocení.
Sloupec D slouží ke zvolení správné odpovědi na danou otázku. Je možné vybírat z možností 0,1 nebo 2 (jen u některých otázek), kde 1 a 2 jsou nastavené jako výchozí hodnoty a v případě záporné odpovědi je odpověď změněna na 0 (případně 1). Toto je nastaveno z důvodu viditelnosti a kontroly správného výpočtu skóre.
V sloupci E je pro každou otázku spočítána váha odpovědi. Váha odpovědi závisí na váze konkrétního podcíle (modré číslo ve sloupci E u názvu podcíle). Váha VQ se vypočítá podle následujícího vzorce:
Vzorec je doplněn o konstantu K z důvodu toho, že bylo potřeba u některého podcíle dát větší význam některé z otázek. U většiny otázek je hodnota K rovna 1. Pokud je některá otázka významnější, tak nabývá hodnoty větší než 1, naopak méně významná otázka nabývá hodnoty menší než 1.