Povzetek projekta Po kreativni poti do znanja 2017 – 2020

1. Polni naslov projekta:

Preverjanje ustreznosti lastne metodologije testiranja uporabljivosti izdelka

Področje na prvi klasifikacijski ravni KLASIUS-P-16: 06 – Informacijske in komunikacijske tehnologije (IKT)

 

2. V sodelovanju z:

Izvajalec/nosilec projekta	Fakulteta za industrijski inženiring Novo mesto
Partner 1 (gospodarska družba oz. s.p.)	SOLOS d.o.o.

 

3. Projekt je sofinanciran s strani: Javni štipendijski, razvojni, invalidski in preživninski sklad Republike Slovenije; Ministrstvo za izobraževanje, znanost in šport RS; Evropska unija – Evropski socialni sklad

4. V okviru projekta so potekale naslednje aktivnosti:

• Študij problematike uporabljivosti izdelka in različnih svetovno uveljavljenih pristopov k merjenju uporabljivosti. Ugotovili smo, da je naša metodologija merjenja uporabljivosti izdelka v določeni meri podobna uveljavljenim metodologijam, vendar je v delu video testiranj uporabljivosti unikatna, saj bazira na prepoznavanju ekspresije čustev testirancev kot faktorju vedenjskih, emocionalnih in kognitivnih odzivov.
• Trening študentov PKP v prepoznavanju nebesedne komunikacije (gestike, mimike, proksemike) zaradi pridobitve znanj in veščin prepoznavanja čustvenih odzivov preizkušancev.
• Uporaba JN hevristike. Ugotovili smo, da z majhno ekipo (3-5) posebej inštruiranih strokovnjakov (študenti PKP) lahko nadomestimo dolgotrajnejše in obsežnejše merjenje uporabljivosti s pomočjo anketnih vprašalnikov na velikem vzorcu respondentov.
• Video testiranje uporabljivosti izdelka. Ugotovili smo, da je lastna metodologija merjenja uporabljivosti izdelka ustrezna, vendar bo za doseganje zanesljivejših rezultatov potrebno daljše usposabljanje testatorjev na področju neverbalne komunikacije.
• Konstruiranje merskih instrumentov in statistična obdelava podatkov. Z ugotavljanjem statistično pomembnih razlik med skupinama testirancev (predavatelji in študenti fakultete) in testatorjev(študenti PKP) smo z uporabo Mann-Whitneyevega U-testa in  Kullbackovim 2Ȋ preizkusom hipoteze neodvisnosti ugotovili, da  se med preverjanimi skupinami v glavnem ne pojavljajo statistično pomembne razlike. Ti rezultati pomenijo, da je možno pridobivati ustrezne podatke o uporabljivosti izdelka z samo analizo video posnetkov oseb ki preizkušajo nek izdelek oz. v primeru uporabe JN hevristike  le-ti sploh niso potrebni.
• Priprava zaključnega poročila in predstavitev ključnih ugotovitev za podjetje Solos d.o.o.

 

5. Povzetek projekta

Projekt je namenjen preverjanju ustreznosti lastne metodologije testiranja uporabljivosti izdelka podjetja Solos d.o.o.. Danes so številni izdelki zasnovani tako, da jih je predvidoma enostavno uporabljati, zato je poleg uporabnosti izjemnega pomena tudi uporabljivost izdelka. Uporabljivost pomeni preprosto uporabo ali preprosto učenje uporabe orodja ali naprave. V programskem inženiringu je uporabljivost stopnja, do katere lahko določeni uporabniki učinkovito uporabljajo programsko opremo za doseganje ciljev v kvantificiranem kontekstu uporabe. Predmet študije uporabljivosti je lahko programska aplikacija, spletna stran, knjiga, orodje, stroj, proces, vozilo ali človeška interakcija. Uporabljivost vključuje metode merjenja, kot so analiza potreb potrošnika in preučevanje percepcije učinkovitost uporabe ter privlačnosti  izdelka. V interakciji človeka z računalniki preučevanje uporabljivosti pomeni analizo privlačnosti in jasnosti aplikacije, s katero je oblikovana interakcija z računalniškim programom ali spletno stranjo. Uporabljivost upošteva tako zadovoljstvo uporabnikov kot tudi uporabnost in kakovost proučevane komponente ter si hkrati prizadeva izboljšati uporabniško izkušnjo z interativnim oblikovanjem izdelka. V okviru projekta smo preverjali ustreznost metodologije testiranja uporabljivosti programske opreme – spletne učne platforme. Najbolj razširjeni spletni učni platformi za online študij Blackboard in Canvas sta vrhunsko orodje, ki pa ima za slovenske razmere veliko pomanjkljivost, cenovno je namreč nedostopno večini manjših fakultet, ki v okviru svojega študijskega  programa izvajajo tudi online oz. študij na daljavo. Fakultete tako iščejo alternative, odprtokodne, brezplačne programe. Orodje Moodle je dokaj razširjena oblika rabe in uporabe študijskega okolja, vendar je v svojih funkcijah dokaj limitirana platforma in uporabnikom relativno neprijazna. Osnovni problem projekta je bil preverjanje ustreznosti lastne metodologije testiranja uporabljivosti spletne učne platforme Sakai v integraciji s programom za konferenčne klice BigBlueButton. Rezultati projekta so pokazali, da je lastna metodologija preverjanja uporabljivosti izdelka podjetja Solos d.o.o. ustrezna.  V nadaljevanju bo potrebno zaradi večje zanesljivosti metodologije le-to izpopolniti v  delu video testiranja uporabljivosti in sicer je potrebno nekoliko daljše usposabljanje testatorjev na področju nebesedne komunikacije (prepoznavanje ekspresije čustvenih reakcij). Drugi pomemben rezultat predstavlja ugotovitev,  da manjša skupina inštruiranih strokovnjakov lahko popolnoma nadomesti večje število potrebnih preizkusnih oseb za preverjanje uporabljivosti izdelka.

 

6. Rezultati podjetja

Glavni rezultati projekta nakazujejo ustreznost lastne metodologije merjenja uporabljivosti na podlagi analize čustvenih odzivov testirancev (predavatelji in študenti fakultete). Lastna metodologija preizkušanja uporabljivosti izdelka temelji na analizi čustvenih odzivov preizkušancev v interakciji z analiziranim izdelkom. V okviru testiranja lastne metodologije preverjanja uporabljivosti smo uporabili nabor osnovnih čustev/reakcij  (začudenje, veselje, presenečenje, zamišljenost, bes, apatija, evforija, dolgčas, dvom, groza, jeza, umirjenost, napetost, gnus, negotovost, obup, nezaupanje, očaranost, nezadovoljstvo, olajšanje, nepotrpežljivost, odpor, ponos, radovednost, sovraštvo, razburjenje, sproščenost, razočaranje, strah, trma, užitek, veselje, vznemirjenost, zanimanje, žalost, zgroženost, zbeganost, zbranost). Ugotovili smo, da so testatorji (študenti PKP) v velikem številu primerov pravilno identificirali čustveni odziv testiranca na podlagi ogleda video posnetka preizkusa. Preverjanje smo izvedli na podlagi lastne evalvacije introspektivnega vpogleda testiranca v lastno izražanje emocionalnih reakcij s pomočjo vprašalnika in analize posnetkov preizkušancev s strani testatorjev (študenti PKP). Ugotavljanje statistične pomembnosti  razlik med skupinama testirancev in testatorjev smo izvedli  s Kullbackovim 2Ȋ preizkusom hipoteze neodvisnosti. Drugi pomembni rezultat projekta je ugotovitev, da manjša skupina posebej inštruiranih ekspertov (študenti PKP) lahko adekvatno nadomesti večji vzorec preizkušancev. Ocene preizkušancev testiranega izdelka (študenti fakultete) smo primerjali z ocenami JN hevristike, ki so jih podali testatorji (študenti PKP) in v veliki večini primerov med skupinama nismo ugotovili statistično pomembni razlik. Pomembnost razlik med skupinama smo ugotavljali z Mann-Whitneyevim U-testom.

Z izvedenim projektom smo ugotovili, da drage in dolgotrajne postopke testiranja uporabljivosti izdelka na večjem številu preizkušancev lahko povsem adekvatno nadomesti ekspertiza manjše skupine strokovnjakov z izdelavo poročila JN hevristike izdelka. Unikatna video metoda preizkušanja uporabljivosti izdelka, temelječa na analizi čustvenih reakcij, se je izkazala za ustrezno, se pa za omenjeno metodo odpira široko polje aplikacije tudi na drugih področjih izven testiranja uporabljivosti izdelka.

Projekt prestavlja pomemben prispevek k proučevanju uporabljivosti izdelka na domačih tleh, saj je  uporabljivost izdelka  pri nas relativno neznan pojem.  Domača podjetja, ki ustvarjajo produkte redko sama izvajajo študije oz. naročajo testiranje uporabljivosti  svojih novih izdelkov drugje.  Poseben pomen rezultatov predstavlja priložnost, da se inovativna lastna metodologija video testiranja z analizo emocionalnih reakcij lahko uporabi tudi na drugih področjih izven uporabljivosti izdelka, npr.:

• Na področju političnega marketinga/osebnostna analiza kandidatov in protikandidatov v volilnih kampanjah/
• Na področju poslovnih pogajanj/predhodna vedenjska analiza pogajalskih nasprotnikov/
• Na področju kriminalistične forenzike /osebnostna analiza osumljencev kaznivih dejanj/
• Na drugih področjih /diplomacija, varnostno obveščevalna dejavnost idr./

 

Prvi in drugi sestanek:

 

Delavnica:

 

Testiranje: