aitech-pbr2022/12_wybrane_zagadnienia_testowania.ipynb

Przygotowanie do projektu badawczo-rozwojowego

10. Wybrane zagadnienia testowania[wykład]

Rafał Jaworski (2023)

Plan wykładu

1. Dlaczego warto testować?
2. Określenie pojęcia testowania.
3. Typy testowania.
4. Planowanie testów.
5. Testowanie automatyczne

1. Dlaczego warto testować?

_(źródło: https://udigroup.pl/blog/testowanie-oprogramowania-typy-rodzaje-poziomy/#co-to-testowanie-oprogramowania)

Nissan

W samochodach Nissana wykryto awarię oprogramowania w czujnikach poduszek powietrznych. Zgłoszono dwa wypadki, które spowodowane były tą wadą. W związku z tym niedopatrzeniem, firma musiała wycofać ponad milion aut z rynku.

Starbucks

Starbucks napotkał awarię oprogramowania w swoim systemie POS (Point of Sale – narzędzie do przyjmowania i obsługi zamówień). Ze względu na brak możliwości przetworzenia transakcji, kawiarnia wydawała klientom kawę za darmo i musiała zamknąć ok. 60% swoich placówek w Kanadzie i USA.

Yahoo!

W 2016 r. Yahoo! ujawnił, że padł ofiarą jednego z największych w historii wycieków danych, który dotyczył ponad 3,5 miliardów kont użytkowników. Firma stała się przez to podmiotem wielkiej krytyki za niedopatrzenia w zakresie bezpieczeństwa. Ponadto musiała zmierzyć się z kilkoma procesami sądowymi, a jej wartość w transakcji przejęcia przez Verizon Communications spadła o 350 milionów dolarów.

China Airlines

26 kwietnia 1994 r. samolot China Airlines rozbił się w Japonii podczas podejścia do lądowania. Z powodu błędu oprogramowania, w katastrofie śmierć poniosły 264 osoby, a 7 w stanie ciężkim trafiło do szpitala.

Morele.net

W 2018 roku doszło do wycieku danych ponad 2 milionów użytkowników sklepu internetowego Morele. UODO nałożyło na firmę rekordową karę 2,8 milionów złotych za brak właściwych zabezpieczeń sklepu przed atakiem hakerów.

First National Bank of Chicago

W 1996 r. w dużym banku amerykańskim wystąpił błąd oprogramowania. W wyniku tego na konta ponad 800 klientów wpłynęło po 920 mln dolarów amerykańskich.

2. Podstawowe definicje

• _Testowanie to poddawanie czegoś próbie z oczekiwaniem na konkretny wynik
• _Testowanie to proces składający się ze wszystkich czynności cyklu życia, zarówno statycznych, jak i dynamicznych, skoncentrowany na planowaniu, przygotowaniu i ewaluacji oprogramowania oraz powiązanych produktów w celu określenia, czy spełniają one wyspecyfikowane wymagania, na wykazaniu, że są one dopasowane do swoich celów oraz na wykrywaniu usterek

• Błąd (error) to objaw nieoczekiwanego działania programu ujawniony podczas testów.
• Defekt (fault) to niedoskonałość w kodzie programu.

Błąd ujawniony w czasie testów świadczy o defekcie w testowanym kodzie.

3. Typy testowania

3.1. Podział testów - ze względu na dostępność kodu źródłowego

• testy białej skrzynki - tester ma pełny dostęp do kodu źródłowego
• testy czarnej skrzynki - tester nie ma dostępu do kodu źródłowego
• testy szarej skrzynki - tester ma ograniczony dostęp do kodu źródłowego

3.2 Podział testów - ze względu na zakres testowanego systemu

• modułowe - testowana jest jedna klasa lub niewielki pakiet klas (np. jUnit),
• integracyjne wewnętrzne - testowanych jest wspólnie kilka modułów,
• systemowe - testowany jest cały system ze wszystkimi funkcjonalnościami,
• integracyjne zewnętrzne - testowana jest współpraca systemu z innymi systemami.

3.3. Podział testów - ze względu na przedmiot testowania

Testy funkcjonalne

Testy funkcjonalności systemu na podstawie przypadków testowych.

Testy niefunkcjonalne

• Testy wydajnościowe - testy szybkości działania wybranych funkcji systemu.
• Testy przeciążeniowe - testy systemu w warunkach wysokiego obciążenia (znaczna liczba jednoczesnych użytkowników).
• Testy pamięciowe - testy zużycia pamięci.
• Testy ochrony danych - zapewnienie bezpieczeństwa danych przed wyciekiem.
• Testy konfiguracji - testowanie działania systemu uruchamianego w różnych konfiguracjach (np. na różnych systemach operacyjnych).
• Testy zgodności wersji - testowanie zgodności aplikacji z jej poprzednimi wersjami.
• Testowanie zgodności z instrukcją użytkownika - testom jest w zasadzie poddawana instrukcja.
• Testowanie procedury instalacyjnej - testowanie procedury instalacji systemu w czystym środowisku.

3.4. Podział testów - ze względu na fazę testowania

• Testy dymne (smoke tests) - powierzchowne testy sprawdzające tylko podstawowe funkcje aplikacji
• Testy zdroworozsądkowe (sanity tests) - testy sprawdzające, czy aplikacja lub jej konkretna funkcjonalność działają zgodnie z podstawowymi założeniami
• Testy akceptacyjne - sprawdzenie kompletności systemu i jego prawidłowego działania
• Testy regresywne - sprawdzenie, czy naprawa błędów nie wprowadziła nowych błędów.

4. Plan testów

Plan testów to dokument opisujący organizację procesu testowania.

• Dotyczy zazwyczaj testowania systemowego.
• Plan testów składa się z następujących elementów:
  • Zakres testów
  • Strategia testowania
  • Zasoby niezbędne do testów
  • Specyfikacja testów

4.1. Zakres testów

• Identyfikacja testowanego produktu (co testujemy?)
• Określenie wymagań (właściwości), które testujemy
• Określenie wymagań (właściwości), których nie testujemy

4.2. Metodologia testowania

• Określenie typów testowania, które przeprowadzimy.
• Określenie typów testowania, których nie przeprowadzimy.
• Zdefiniowanie metod oceny testu
• Zdefiniowanie typów błędów (awarie, błędy istotne, błędy nieistotne)
• Określenie kryteriów pozytywnego zakończenia testów
  • Przykładowo: określenie dopuszczalnej liczby błędów poszczególnego typu
• Określenie postaci raportu z testów

4.3. Zasoby niezbędne do testów

• Środowisko testowe
• Oprogramowanie zastosowane w testowaniu
• Zespół wykonawców
• Warunki początkowe, np.:
  • np. wykonane prace instalacyjne lub konfiguracyjne
  • stopień ukończenia prac implementacyjnych

4.4. Specyfikacja testów

Specyfikacja testów to zestaw scenariuszy testowych (przypadków testowych).

5. Testowanie automatyczne

Automatyzacja testowania polega na zastąpienia testera oprogramowaniem, które:

• Steruje testem,
• Porównuje wyniki z oczekiwaniami,
• Raportuje błędy.

5.1. Podejścia do testowania automatycznego

Code-driven testing (testowanie sterowane kodem)

• Testowane są publiczne interfejsy do klas (modułów, bibliotek) poprzez podanie różnorakich danych wejściowych i walidacji wyników.
• Jest to poziom testów jednostkowych.

Graphical user interface testing (testowanie graficznego interfejsu użytkownika)

• Generowane są zdarzenia interfejsu takie jak: kliknięcia myszką czy naciśnięcie klawiszy i obserwowane są zmiany w interfejsie użytkownika.

• Jest to poziom testów systemowych.

  Testowanie za pomocą makr, np. Macro Express (https://www.macros.com/)

1. Nagrywamy makro realizujące ciąg zdarzeń (kliknięć, klawiszy itp.),
2. przygotowujemy zestaw plików graficznych, które obrazują kolejne oczekiwane wyglądy interfejsu,
3. podczas testowania każdorazowo porównujemy obrazy interfejsu z obrazami oczekiwanymi.

Testowanie za pomocą oprogramowania, np. Selenium

(http://tynecki.pl/pdf/Automating-functional-tests-using-Python-and-Selenium-Piotr-Tynecki.pdf)

• Opracowujemy sekwencję zdarzeń (kliknięć, klawiszy itp.).
• Sprawdzamy powodzenie testowanej operacji (np. sprawdzamy, czy istnieje na stronie poszukiwany element).

Zalety automatycznego testowania GUI

• Może być stosowane do każdego oprogramowania z graficznym interfejsem użytkownika.
• Znakomicie wkomponowuje się w paradygmat „continous integration”.

Wady automatycznego testowania GUI

• Przygotowanie przypadków testowych jest czasochłonne.
• Każda najmniejsza zmiana interfejsu powoduje konieczność opracowania nowego zestawu testowego.
• W scenariuszach zawarte są często operacje nieistotne z punktu widzenia testowania.

Bibliografia

1. "Testowanie oprogramowania – poznaj świat testów", Ilona Kusztykiewicz https://www.jcommerce.pl/jpro/artykuly/testowanie-oprogramowania
2. "Testowanie niezbędnym elementem tworzenia oprogramowania. Jakie są jego typy, rodzaje i poziomy?", Aleksandra Skalska, https://udigroup.pl/blog/testowanie-oprogramowania-typy-rodzaje-poziomy/#co-to-testowanie-oprogramowania

Zadania (proponowane do realizacji na laboratoriach)

Zadanie 1. Dyskusja nad odpowiednim sposobem testowania

Przeprowadźcie dyskusję nad odpowiednim sposobem testowania, który będzie najbardziej odpowiedni dla Waszego projektu. Sporządźcie raport z dyskusji, w którym zawarte będą wady i zalety proponowanych metod.

Zadanie 2. Plan testowania

Sporządźcie realny plan testowania Waszej aplikacji. Określcie metodykę testowania, osoby testujące (dobrze byłoby mieć testerów spoza zespołu projektowego, proszę się wymieniać), kryteria akceptacji projektu oraz obieg pracy związany ze zgłaszaniem i naprawą błędów.

Zadanie 3. Scenariusze testowe

Sporządźcie szczegółowe scenariusze testowe dla wybranych najważniejszych funkcjonalności Waszego projektu.