Zewnętrzna ocena jakości może mieć różne postaci:
- Badanie umiejętności
- Tradycyjne programy EQA
- Edukacyjne programy EQA
- Pomiar zmienności pomiędzy laboratoriami
- Porównanie i ocena metod
- Świadectwo pracy laboratorium
- Oznaczenie wartości uzgodnionych
- Badanie czynników wpływających na jakość (np. interferencje)
- Ocena zewnętrzna do akredytacji i pozyskiwania licencji
- Materiały źródłowe do obliczeń niepewności
- BIOCHEMISTRY (Wołowa, nr 18027): ALT, albumina, ?-amylaza, AST, bilirubina całkowita, wapń, chlorki, cholesterol, cholesterol HDL, cholinoesteraza, CK, kreatynina, fosfataza kwaśna całkowita, fosfataza alkaliczna, fosfor, glukoza, ?-GT, żelazo, LD, lipaza, magnez, potas, białko całkowite, sód, triglicerydy, kwas moczowy i mocznik.
- BIOCHEMISTRY HUMAN (nr 18045): ALT, albumina, ?-amylaza, AST, bilirubina całkowita i bezpośrednia, wapń, chlorki, cholesterol, cholesterol HDL i LDL, cholinoesteraza, CK, kreatynina, fosfataza kwaśna całkowita, fosfataza alkaliczna, fosfor, glukoza, ?-GT, żelazo, LD, lipaza, magnez, potas, białko całkowite, sód, triglicerydy, kwas moczowy i mocznik.
- RHEUMA (nr 31009): anty-streptolizyna O, białko C- reaktywne i czynnik reumatoidalny.
- PROTEINS (nr 31010):?1-kwaśna glikoproteina, immunoglobuliny (A, G i M), składniki układu dopełniacza C3 i C4, transferyna, ferrytyna i prealbumina.
- Liczba użytych różnych materiałów kontrolnych: 3
- Identyfikacja laboratorium: przy użyciu kodów (anonimowa)
- Jednostki: każde laboratorium może wysłać swoje wyniki i otrzymywać informacje w jednostkach, które używa
- Ostateczny termin otrzymania wyników przez BOR-POL: do piątego dnia każdego miesiąca. Wyniki są następnie wysyłane przez BORPOL do BIOSYSTEMS S.A. – organizatora programu PREVECAL
Raporty miesięczne: kalkulacja błędu
Raport miesięczny sporządzany jest po analizie wyników pomiarów w każdym miesiącu. Raport ten zawiera ocenę błędu pomiaru dla każdego analitu.
Podany poniżej przykład pokazuje informacje dla danej metody i globalnie dla wszystkich metod użytych do pomiaru danego analitu.
TWOJA METODA (YOUR METHOD) : podaje dane statystyczne ocenianego laboratorium w porównaniu do wartości średniej pomiarów uzyskanych przez laboratoria używające tej samej metody do pomiaru danego analitu.
WSZYSTKIE METODY (GLOBAL) : podaje błąd pomiaru ocenianego laboratorium w porównaniu do wartości średniej pomiarów uzyskanych przez wszystkie laboratoria, które wykonały pomiar analitu przy użyciu jakiejkolwiek metody .
Obliczenia te nie są wykonywane dla analitów, których wyniki są zależne od metody.
Całkowita liczba wyników (Total results) : liczba wyników (liczba uczestniczących w programie laboratoriów).
Średnia – wartość docelowa (Mean – target value) : średnia arytmetyczna (wartość umownie prawdziwa) ze wszystkich wyników uczestników po odrzuceniu wyników oddalonych.
Odchylenie standardowe (Standard deviation) : wielkość, która opisuje rozrzut wyników w stosunku do wartości średniej w rozkładzie gaussowskim.
Błąd bezwzględny (Absolute error) : różnica pomiędzy wartością zmierzoną a wartością średnią.
Błąd względny (Relative error) (%) : stosunek pomiędzy błędem bezwzględnym a wartością średnią, wyrażony w procentach.
Błąd względny (Relative error) (SDI) : błąd wyrażony jako wielokrotność odchylenia standardowego pomiędzy laboratoriami.
Wartość wyrażona w % wyraża jedynie wielkość błędu, podczas gdy wskaźnik odchylenia standardowego SDI wskazuje również miejsce błędu wyniku laboratorium w porównaniu z pozostałymi, uczestniczącymi w programie laboratoriami.
Na przykład, błąd + 2.7 SDI ma takie samo znaczenie dla każdego analitu i wskazuje, że uzyskany wynik znacznie odbiega od wyników uzyskanych przez większość innych laboratoriów. Należy zauważyć, że mógłby wystąpić błąd o stosunkowo istotnej wielkości (np. – 15%), który z kolei jest bliski wynikom innych laboratoriów (np. -1.1 SDI). Oczywiście, zdarzy się to wtedy, kiedy rozproszenie wyników pomiędzy laboratoriami ( SD grupy ) będzie wysokie.
Błąd dopuszczalny (Allowable error) (%): maksymalny błąd dopuszczalny (MAE) dla każdego analitu w oparciu o kryteria CLIA´88 (Clinical Laboratory Improvement Act).
Obliczenia przeprowadzane są jedynie, jeżeli liczba ważnych (nie oddalonych) wyników wynosi przynajmniej 20.Dla każdego analitu dołączane są również wykresy Levey-Jenningsa, które pokazują ewolucję błędu na przestrzeni miesięcy.
Każde laboratorium wysyła wyniki i otrzymuje raporty w używanych przez siebie jednostkach.
Przykładowy raport miesięczny
Kod: |
xxxxxx |
|||||||
Data: |
sep-07 |
|||||||
Bilirubina całkowita (5) |
||||||||
Metoda: |
M. z kwasem sulfanilowym i azotanem. Przyśpieszacz cetrymidowy |
|||||||
Odczynnik: |
BioSystems |
|||||||
Aparat: |
A25 |
|||||||
Uzyskany wynik |
4,02 mg/l |
|||||||
Wszystkie metody |
Twoja metoda |
|||||||
Całkowita ilość wyników |
495 |
1117 |
||||||
Średnia |
4,00 |
4,00 |
||||||
Odchylenie standardowe |
0,12 |
0,12 |
||||||
Błąd bezwzględny |
0,02 |
0,03 |
||||||
Błąd względny (%) |
0,51 |
0,63 |
||||||
Błąd względny SDI |
0,17 |
0,21 |
Wykres pokazujący wskaźnik odchylenia standardowego (SDI)
Wykres pokazujący błąd względny
Błąd dopuszczalny: 20% Raport końcowy (roczny)Raport końcowy sporządzany jest po zakończeniu programu i analizie danych ze wszystkich pomiarów. Raport ten zawiera informacje na temat metod użytych do pomiaru każdego analitu oraz jakości wyników laboratorium uczestniczącego w programie.
INFORMACJE O METODACH
Podane są następujące informacje o każdym z materiałów kontrolnych (poziom 1, 2 i 3), użytych w cyklu programu (każdy z poziomów jest mierzony w czterech różnych miesiącach) i o każdym analicie:
• N. results : liczba ważnych wyników dla każdej metody
• Mean : wartość średnia ważnych wyników dla każdej metody
• CV (współczynnik zmienności) : względne odchylenie standardowe od wartości średniej dla pomiarów w każdej metodzie, wyrażone w procentach
• % : bład procentowy dla metody w odniesieniu do wartości średniej dla wszystkich metod (nie podawany dla analitów, których wyniki są zależne od metody).
Liczba ważnych wyników, średnia i CV podane są również zbiorczo dla wyników z wszystkich metod (global).
W ostatniej kolumnie (general) podane są wartości średnie dla 3 poziomów materiału kontrolnego łącznie, obliczone na podstawie zebranych danych.
Pokazane są jedynie metody, w których uzyskano minimum 80 ważnych wyników dla poziomu.
Przykład raportu końcowego
RESULTS BY Code: | METHOD XXXXXX |
|
Period : | 2008 | |||||||||||||||||||||||||||||||
Urea (27) Unit: mg/dl | |||||||||||||||||||||||||||||||||||
LEVEL 1 |
LEVEL 2 |
LEVEL 3 |
GENERAL | ||||||||||||||||||||||||||||||||
Method |
Nr. Res |
Mean |
CV |
% |
Nr. Res |
Mean |
CV |
% |
Nr. Res |
Mean |
CV |
% |
CV |
% |
|||||||||||||||||||||
2710 |
3091 |
28,1 |
5,83 |
0,71 |
2628 |
140,4 |
3,6 |
0,8 |
2661 |
84,2 |
3,5 |
0,2 |
4,3 |
-0,1 |
|||||||||||||||||||||
2711 |
1611 |
27,7 |
5,41 |
-0.72 |
1174 |
137,6 |
2,9 |
-1,2 |
1331 |
83,5 |
3,5 |
-0,6 |
3,9 |
0,4 |
|||||||||||||||||||||
2790 |
121 |
27,7 |
14,4 |
-1,04 |
111 |
131,5 |
7,14 |
-5,57 |
105 |
81,7 |
5,96 |
-2,8 |
9,2 |
-3,1 |
|||||||||||||||||||||
GLOBAL |
4922 |
27,9 |
6,131 |
3890 |
139,3 |
3,453 |
4017 |
84 |
3,369 |
4,32 |
Dla każdego analitu w każdym z miesięcy cyklu podany jest uzyskany wynik i jego błąd względny (% i SDI) w porównaniu ze średnią ze wszystkich metod (za wyjątkiem analitów, których wyniki są zależne od metody).
UWAGA: Jeżeli w raporcie miesięcznym błąd względny (SDI) jest wyższy niż ? 3 SDI traktuje się go jako wartość oddaloną; natomiast raport końcowy pokazuje wyniki miesięczne do ? 4 SDI.
Dane statystyczne
Dla każdego z trzech materiałów kontrolnych (poziom 1, 2 i 3) użytych w programie, podawane są poniższe dane. Aby można było przeprowadzić obliczenia, konieczne jest przynajmniej 9 ważnych wyników (z wyłączeniem oddalonych) w ciągu 12 miesięcy. Dla każdego poziomu materiału kontrolnego do obliczeń konieczne są przynajmniej 3 ważne wyniki.
• nieprecyzyjność: współczynnik zmienności (CV) • błąd systematyczny (SDI) • błąd systematyczny (%) • błąd całkowity (%) TE: SE (%) + 1,65 x CV (%) Dane sumaryczne (global) są średnią danych dla 3 poziomów materiału kontrolnego. Aby przeprowadzić obliczenia, konieczne są minimum 2 poziomy z ważnymi wynikami.Uwagi na temat błędu
Następujące uwagi mogą się pojawić:
-
Należy wyeliminować błąd systematyczny
-
Duża nieprecyzyjność: należy ograniczyć błąd przypadkowy
-
Zbyt duży błąd całkowity
-
Dopuszczalny błąd całkowity
Ocena
W oparciu o dane statystyczne ocena laboratorium w pomiarze danego analitu klasyfikowana jest w sposób następujący:
-
Niezadowalająca : jeżeli łączny (global) błąd całkowity jest większy niż maksymalny błąd dopuszczalny (MAE) lub jeżeli maksymalny błąd dopuszczalny został przekroczony w którymkolwiek z miesięcy.
-
Zadowalająca : jeżeli łączny (global) błąd całkowity jest niższy niż maksymalny błąd dopuszczalny, maksymalny błąd dopuszczalny został przekroczony w nie więcej niż jednym z miesięcy, ale jeżeli stwierdzono błąd systematyczny lub dużą nieprecyzyjność.
-
Prawidłowa : jeżeli łączny (global) błąd całkowity jest niższy niż maksymalny błąd dopuszczalny, maksymalny błąd dopuszczalny nie został przekroczony w żadnym z miesięcy i nie stwierdzono błędu systematycznego lub dużej nieprecyzyjności.
-
Nieklasyfikowane / niewystarczające dane : jeżeli laboratorium nie wykonuje pomiarów danego analitu lub nie zgłosiło przynajmniej 9 miesięcznych wyników nieoddalonych.
Punktacja
Według swojego łącznego błędu całkowitego, w porównaniu ze wszystkimi uczestniczącymi w programie laboratoriami, laboratorium klasyfikowane jest w skali od 1 (najgorsze 10% laboratoriów) do 10 (najlepsze 10% laboratoriów).
Miara jakości
Poziom jakości wykonywanych przez laboratorium pomiarów danego analitu ustalany jest zgodnie z koncepcją Sześć sigma. Wartość sigma obliczana jest następująco:
W oparciu o wartość sigma, podawany jest poziom jakości zgodnie z następującą klasyfikacją:
Poziom jakości |
sigma |
optymalny |
? 5,5 |
wysoki |
4,5 – 5,49 |
średni |
3,50 – 4,49 |
niski |
2,50 – 3,49 |
niezadowalający |
< 2,50 |
Przykład raportu końcowego
WYNIKI LABORATORIUM | |||||||||||||||||
Mocznik | |||||||||||||||||
Poziom |
1 |
3 |
2 |
3 |
1 |
2 |
1 |
2 |
3 |
2 |
1 |
3 |
|||||
Miesiąc |
J |
F |
M |
A |
M |
J |
J |
A |
S |
O |
N |
D |
|||||
Wynik ( mg/dl ) |
29 |
85 |
144 |
84 |
28 |
139 |
28 |
139 |
83 |
140 |
27 |
83 |
|||||
Błąd pomiaru ( SDI ) |
0,4 |
0,3 |
0,7 |
-0,1 |
0,0 |
0,0 |
0,1 |
0,0 |
-0,4 |
0,1 |
-0,5 |
-0,4 |
|||||
Błąd pomiaru (%) |
3,3 |
1,2 |
3,3 |
-0,5 |
-0,1 |
0,0 |
0,4 |
-0,1 |
-1,1 |
0,3 |
-2,7 |
-0,9 |
|||||
Poziomy |
1 |
2 |
3 |
łącznie |
Uwagi nt. błędu: | ||||||||||||
Nieprecyzyjność (CV) |
2,92 |
1,7 |
1,14 |
1,92 |
|||||||||||||
Błąd systematyczny (SDI) |
-0,01 |
0,21 |
-0,16 |
0,01 |
Dopuszczalny błąd całkowity | ||||||||||||
Błąd systematyczny (%) |
0,22 |
0,89 |
-0,31 |
0,26 |
|||||||||||||
Błąd cełkowity (%) |
3,43 |
||||||||||||||||
Metoda | 2710 | ||||||||||||||||
Ocena | Prawidłowa |
Poziom jakości |
SIGMA | Dopuszczalny błąd maksymalny |
9,0 |
% | |||||||||||
Punktacja |
10 |
Wysoki |
4,69 |
POD : | Dane prawdopodobnie oddalone |
Wykresy błędu względnego (SDI i %) w trakcie cyklu
Maksymalny dopuszczalny błąd (Mocznik): 9%
Ogólne zasady funkcjonowania programuLaboratoria zainteresowane uczestnictwem w jednym lub w kilku programach (BIOCHEMISTRY, B. HUMAN, RHEUMA, PROTEINS) powinny zwrócić się do BOR-POL , Pl. Jaśminu 2, 44-152 Gliwice (prevecal@borpol.com.pl), przedstawiciela BioSystems S.A.
Aby rejestracja została dokonana, laboratorium musi wypełnić formularze znajdujące się na końcu niniejszego informatora i wysłać je do BOR-POL , Pl. Jaśminu 2, 44-152 Gliwice:
1. Identyfikacja laboratorium – Laboratory identification.
2. Kody – Codes
3. Opis grupy «inne» – Description of the group «others»
Po dokonaniu rejestracji laboratorium otrzyma zestawy kontrolne do programów (BIOCHEMISTRY, B. HUMAN, RHEUMA lub/i PROTEINS), w których zamierza uczestniczyć:
-
Zestaw Prevecal BIOCHEMISTRY
-
Zestaw Prevecal BIOCHEMISTRY HUMAN
-
Zestaw Prevecal RHEUMA
-
Zestaw PROTEINS
wraz z towarzyszącymi im materiałami:
-
surowice kontrolne z nazwami miesięcy, w których mają być zbadane,
-
12 kart przeznaczonych do wysyłania wyników miesięcznych do organizatora programu PREVECAL. W Polsce wyniki wysyła się za pośrednictwem firmy BOR-POL.
-
2 karty przeznaczone do poinformowania organizatora programu o ewentualnych zmianach metod, jednostek, etc. dokonanych przez laboratorium w trakcie trwania programu. Karty modyfikacyjne wysyła się również za pośrednictwem firmy BORPOL,
-
instrukcje na temat przygotowania, stabilności, przechowywania, etc. materiałów kontrolnych.
Laboratorium powinno wykonać pomiary surowicy kontrolnej w miesiącu podanym na etykiecie, zapisać wyniki na karcie i wysłać ją do organizatorów programu PREVECAL w Państwa kraju, tj. do firmy BOR-POL, Plac Jaśminu 2, 44-152 Gliwice tak, aby dotarły najpóźniej do 5 dnia każdego miesiąca.
Organizator podda wyniki analizie i wyśle do laboratorium raport z poszczególnego miesiąca w terminie do 5 dnia kolejnego miesiąca.
Laboratoria, które uczestniczą w programie Prevecal przez Internet otrzymają raporty z poszczególnych miesięcy na podany organizatorowi adres poczty elektronicznej.
W ciągu jednego miesiąca, po ukończeniu 12-to miesięcznego cyklu programu, organizator wyśle każdemu laboratorium raport końcowy wraz z certyfikatem uczestnictwa.
Instrukcje wypełniania formularzy Identyfikacja laboratoriumNajpierw należy wypełnić pola z nazwą laboratorium lub jednostki, w której się znajduje (jeżeli ma to zastosowanie) i podać pełny adres do korespondencji. Kod laboratorium zostanie nadany przez organizatora programu Prevecal. Raporty programu będą wysyłane na podany adres.
Należy również podać nazwisko dyrektora lub osoby odpowiedzialnej za laboratorium oraz nazwisko osoby odpowiedzialnej za program zewnętrznej oceny jakości. Raporty programu PREVECAL będą wysyłane na nazwisko tej osoby.
W części «type of laboratory» («rodzaj laboratorium») zaznaczyć właściwą odpowiedź znakiem «X».
Na końcu podać szacunkową liczbę próbek krwi otrzymywanych codziennie do zbadania przez laboratorium.
Kody
Przy użyciu tabel kodyfikacyjnych znajdujących się na końcu niniejszej broszury, wybrać kod odpowiadający używanej metodzie dla każdego analitu (Tabela I) i podać go w odpowiednim polu. Należy zwrócić uwagę, że w przypadku enzymów druga cyfra wybierana jest zgodnie z temperaturą inkubacji. Jeżeli używanej metody nie ma w tabeli (inny substrat, inna metoda, etc.), należy również wypełnić formularz nr 3.
Z tabeli kodów aparatury wybrać kod aparatu używanego do pomiaru każdego analitu (Tabela II) i wpisać go we właściwym polu. Jeżeli aparatu nie ma na liście (inny fotometr, inny system automatyczny), należy również wypełnić formularz nr 3.
Z tabeli kodów odczynników wybrać kod producenta używanego odczynnika dla każdego mierzonego analitu (Tabela III) i wpisać go we właściwym polu. Jeżeli nie ma odczynnika w tabeli (inny producent), należy również wypełnić formularz nr 3.
Z tabeli kodyfikacyjnej jednostek wybrać kod jednostki używanej do wyrażenia wyniku dla każdego analitu (Tabela IV) i wpisać go we właściwym polu.
UWAGA: Wszystkie pola muszą być wypełnione dla każdego analitu, w ocenie którego laboratorium chce brać udział. Jeżeli odpowiednie kody nie zostaną wpisane dla jakiegokolwiek analitu, organizatorzy programu PREVECAL potraktują to, że nie wykonano pomiarów lub laboratorium nie jest zainteresowane uczestnictwem w ocenie tego analitu.
Opis grupy «inne»
Formularz ten służy do podania szczegółów metod, odczynników, aparatury i jednostek, nie wyszczególnionych w tabelach kodyfikacyjnych. Opisane są one jako «inne» (inne substraty chromogenne, inne substraty, inne metody, inny fotometr, inny producent, etc.).
Należy wypełnić pola tylko dla tych analitów, dla których zaistniały okoliczności opisane powyżej. Pozostałych pól nie wypełniać.
-
Metoda: krótki opis
-
Odczynniki: podać producenta
-
Aparat: podać nazwę i model