PREVECAL – Opis

Project Description
Zewnętrzna ocena jakości jest programem oceny wykonywania procedur pomiarowych laboratorium w odniesieniu do ich dokładności, poprzez badanie próbek i porównania wyników z wynikami wszystkich laboratoriów biorących udział w programie.
Zewnętrzna ocena jakości może mieć różne postaci:
  • Badanie umiejętności
W przypadku niesatysfakcjonującej pracy laboratorium programy te skutkują sankcjami prawnymi, ekonomicznymi lub profesjonalnymi.
  • Tradycyjne programy EQA
Wykazują jakość rutynowych działań laboratoriów. Kontrola zewnętrzna jest przedmiotem tych samych procesów co próbki pacjentów, nawet przy ryzyku popełniania błędów. Wyniki nie skutkują jakimikolwiek sankcjami; kontrola korzysta ze ściślejszych ograniczeń, niż te, zastosowane w badaniach umiejętności.
  • Edukacyjne programy EQA
Ich wdrażanie rozpoczęto w Europie, w odpowiedzi na niedociągnięcia modeli tradycyjnych Kładą nacisk na edukację oraz stałe podnoszenie jakości i mają szerszy zakres niż poprzednie modele. Jakie funkcje spełnia EQAS?
  • Pomiar zmienności pomiędzy laboratoriami
  • Porównanie i ocena metod
  • Świadectwo pracy laboratorium
  • Oznaczenie wartości uzgodnionych
  • Badanie czynników wpływających na jakość (np. interferencje)
  • Ocena zewnętrzna do akredytacji i pozyskiwania licencji
  • Materiały źródłowe do obliczeń niepewności
Od 1999r. BioSystems SA prowadzi PREVECAL – program międzynarodowej zewnętrznej oceny jakości (EQAS). Prevecal daje laboratoriom możliwość uzupełnienia własnego programu kontroli wewnętrznej o obiektywną ocenę jakości ich procedur pomiarowych. Międzynarodowy program zewnętrznej oceny jakości (PREVECAL) organizowany przez BioSystems S.A. , a w Polsce we współpracy z firmą BOR-POL , oferuje laboratoriom możliwość uzupełnienia własnego programu kontroli wewnętrznej o obiektywną ocenę jakości ich procedur pomiarowych. Z upływem lat, Prevecal niezmiennie wprowadza i proponuje wszelkie dostępne ulepszenia, aby ułatwić dostęp i zrozumienie raportów, czego przykładem jest wyczerpująca analiza raportów Ponieważ Prevecal obejmuje dwa duże obszary działań – chemię kliniczną i autoimmunologię – program jest dostępny w większości obszarów laboratoryjnych. Dzięki zaangażowaniu Prevecal w stałym podnoszeniu poziomu jakości, liczba uczestników programu zwiększa się co roku. Program ten jest wynikiem polityki BioSystems, aktywnej współpracy z laboratoriami w celu zminimalizowania błędnych wyników. Ogólna charakterystyka programu PREVECAL – Trwanie programu: 12 miesięcy (od stycznia do grudnia) – Ilość sprawdzianów kontrolnych: 12 – Okresowość: miesięczna – Programy:
  • BIOCHEMISTRY (Wołowa, nr 18027): ALT, albumina, ?-amylaza, AST, bilirubina całkowita, wapń, chlorki, cholesterol, cholesterol HDL, cholinoesteraza, CK, kreatynina, fosfataza kwaśna całkowita, fosfataza alkaliczna, fosfor, glukoza, ?-GT, żelazo, LD, lipaza, magnez, potas, białko całkowite, sód, triglicerydy, kwas moczowy i mocznik.
  • BIOCHEMISTRY HUMAN (nr 18045): ALT, albumina, ?-amylaza, AST, bilirubina całkowita i bezpośrednia, wapń, chlorki, cholesterol, cholesterol HDL i LDL, cholinoesteraza, CK, kreatynina, fosfataza kwaśna całkowita, fosfataza alkaliczna, fosfor, glukoza, ?-GT, żelazo, LD, lipaza, magnez, potas, białko całkowite, sód, triglicerydy, kwas moczowy i mocznik.
  • RHEUMA (nr 31009): anty-streptolizyna O, białko C- reaktywne i czynnik reumatoidalny.
  • PROTEINS (nr 31010):?1-kwaśna glikoproteina, immunoglobuliny (A, G i M), składniki układu dopełniacza C3 i C4, transferyna, ferrytyna i prealbumina.
  • Liczba użytych różnych materiałów kontrolnych: 3
  • Identyfikacja laboratorium: przy użyciu kodów (anonimowa)
  • Jednostki: każde laboratorium może wysłać swoje wyniki i otrzymywać informacje w jednostkach, które używa
  • Ostateczny termin otrzymania wyników przez BOR-POL: do piątego dnia każdego miesiąca. Wyniki są następnie wysyłane przez BORPOL do BIOSYSTEMS S.A. – organizatora programu PREVECAL
Raporty: comiesięczne (12 raportów) i raport końcowy po ukończeniu programu

Raporty miesięczne: kalkulacja błędu

Raport miesięczny sporządzany jest po analizie wyników pomiarów w każdym miesiącu. Raport ten zawiera ocenę błędu pomiaru dla każdego analitu.

Podany poniżej przykład pokazuje informacje dla danej metody i globalnie dla wszystkich metod użytych do pomiaru danego analitu.

TWOJA METODA (YOUR METHOD) : podaje dane statystyczne ocenianego laboratorium w porównaniu do wartości średniej pomiarów uzyskanych przez laboratoria używające tej samej metody do pomiaru danego analitu.

WSZYSTKIE METODY (GLOBAL) : podaje błąd pomiaru ocenianego laboratorium w porównaniu do wartości średniej pomiarów uzyskanych przez wszystkie laboratoria, które wykonały pomiar analitu przy użyciu jakiejkolwiek metody .

Obliczenia te nie są wykonywane dla analitów, których wyniki są zależne od metody.

Całkowita liczba wyników (Total results) : liczba wyników (liczba uczestniczących w programie laboratoriów).

Średnia – wartość docelowa (Mean – target value) : średnia arytmetyczna (wartość umownie prawdziwa) ze wszystkich wyników uczestników po odrzuceniu wyników oddalonych.

Odchylenie standardowe (Standard deviation) : wielkość, która opisuje rozrzut wyników w stosunku do wartości średniej w rozkładzie gaussowskim.

Błąd bezwzględny (Absolute error) : różnica pomiędzy wartością zmierzoną a wartością średnią.

Błąd względny (Relative error) (%) : stosunek pomiędzy błędem bezwzględnym a wartością średnią, wyrażony w procentach.

Błąd względny (Relative error) (SDI) : błąd wyrażony jako wielokrotność odchylenia standardowego pomiędzy laboratoriami.

Wartość wyrażona w % wyraża jedynie wielkość błędu, podczas gdy wskaźnik odchylenia standardowego SDI wskazuje również miejsce błędu wyniku laboratorium w porównaniu z pozostałymi, uczestniczącymi w programie laboratoriami.

Na przykład, błąd + 2.7 SDI ma takie samo znaczenie dla każdego analitu i wskazuje, że uzyskany wynik znacznie odbiega od wyników uzyskanych przez większość innych laboratoriów. Należy zauważyć, że mógłby wystąpić błąd o stosunkowo istotnej wielkości (np. – 15%), który z kolei jest bliski wynikom innych laboratoriów (np. -1.1 SDI). Oczywiście, zdarzy się to wtedy, kiedy rozproszenie wyników pomiędzy laboratoriami ( SD grupy ) będzie wysokie.

Błąd dopuszczalny (Allowable error) (%): maksymalny błąd dopuszczalny (MAE) dla każdego analitu w oparciu o kryteria CLIA´88 (Clinical Laboratory Improvement Act).

Obliczenia przeprowadzane są jedynie, jeżeli liczba ważnych (nie oddalonych) wyników wynosi przynajmniej 20.

Dla każdego analitu dołączane są również wykresy Levey-Jenningsa, które pokazują ewolucję błędu na przestrzeni miesięcy.

Każde laboratorium wysyła wyniki i otrzymuje raporty w używanych przez siebie jednostkach.

Przykładowy raport miesięczny

Kod:

xxxxxx

Data:

sep-07

Bilirubina całkowita (5)

Metoda:

M. z kwasem sulfanilowym i azotanem. Przyśpieszacz cetrymidowy

Odczynnik:

BioSystems

Aparat:

A25

Uzyskany wynik

4,02 mg/l

Wszystkie metody

Twoja metoda

Całkowita ilość wyników

495

1117

Średnia

4,00

4,00

Odchylenie standardowe

0,12

0,12

Błąd bezwzględny

0,02

0,03

Błąd względny (%)

0,51

0,63

Błąd względny SDI

0,17

0,21

Wykres pokazujący wskaźnik odchylenia standardowego (SDI)

Wykres pokazujący błąd względny

Błąd dopuszczalny: 20% Raport końcowy (roczny)

Raport końcowy sporządzany jest po zakończeniu programu i analizie danych ze wszystkich pomiarów. Raport ten zawiera informacje na temat metod użytych do pomiaru każdego analitu oraz jakości wyników laboratorium uczestniczącego w programie.

INFORMACJE O METODACH

Podane są następujące informacje o każdym z materiałów kontrolnych (poziom 1, 2 i 3), użytych w cyklu programu (każdy z poziomów jest mierzony w czterech różnych miesiącach) i o każdym analicie:

• N. results : liczba ważnych wyników dla każdej metody

• Mean : wartość średnia ważnych wyników dla każdej metody

• CV (współczynnik zmienności) : względne odchylenie standardowe od wartości średniej dla pomiarów w każdej metodzie, wyrażone w procentach

• % : bład procentowy dla metody w odniesieniu do wartości średniej dla wszystkich metod (nie podawany dla analitów, których wyniki są zależne od metody).

Liczba ważnych wyników, średnia i CV podane są również zbiorczo dla wyników z wszystkich metod (global).

W ostatniej kolumnie (general) podane są wartości średnie dla 3 poziomów materiału kontrolnego łącznie, obliczone na podstawie zebranych danych.

Pokazane są jedynie metody, w których uzyskano minimum 80 ważnych wyników dla poziomu.

Przykład raportu końcowego

RESULTS BY Code: METHOD XXXXXX
Period : 2008
Urea (27) Unit: mg/dl

LEVEL 1

LEVEL 2

LEVEL 3

GENERAL
Method

Nr. Res

Mean

CV

%

Nr. Res

Mean

CV

%

Nr. Res

Mean

CV

%

CV

%

2710

3091

28,1

5,83

0,71

2628

140,4

3,6

0,8

2661

84,2

3,5

0,2

4,3

-0,1

2711

1611

27,7

5,41

-0.72

1174

137,6

2,9

-1,2

1331

83,5

3,5

-0,6

3,9

0,4

2790

121

27,7

14,4

-1,04

111

131,5

7,14

-5,57

105

81,7

5,96

-2,8

9,2

-3,1

GLOBAL

4922

27,9

6,131

3890

139,3

3,453

4017

84

3,369

4,32

INFORMACJE O WYNIKACH LABORATORIUM Podsumowanie danych miesięcznych

Dla każdego analitu w każdym z miesięcy cyklu podany jest uzyskany wynik i jego błąd względny (% i SDI) w porównaniu ze średnią ze wszystkich metod (za wyjątkiem analitów, których wyniki są zależne od metody).

UWAGA: Jeżeli w raporcie miesięcznym błąd względny (SDI) jest wyższy niż ? 3 SDI traktuje się go jako wartość oddaloną; natomiast raport końcowy pokazuje wyniki miesięczne do ? 4 SDI.

Dane statystyczne

Dla każdego z trzech materiałów kontrolnych (poziom 1, 2 i 3) użytych w programie, podawane są poniższe dane. Aby można było przeprowadzić obliczenia, konieczne jest przynajmniej 9 ważnych wyników (z wyłączeniem oddalonych) w ciągu 12 miesięcy. Dla każdego poziomu materiału kontrolnego do obliczeń konieczne są przynajmniej 3 ważne wyniki.

• nieprecyzyjność: współczynnik zmienności (CV) • błąd systematyczny (SDI) • błąd systematyczny (%) • błąd całkowity (%) TE: SE (%) + 1,65 x CV (%) Dane sumaryczne (global) są średnią danych dla 3 poziomów materiału kontrolnego. Aby przeprowadzić obliczenia, konieczne są minimum 2 poziomy z ważnymi wynikami.

Uwagi na temat błędu

Następujące uwagi mogą się pojawić:

  • Należy wyeliminować błąd systematyczny

  • Duża nieprecyzyjność: należy ograniczyć błąd przypadkowy

  • Zbyt duży błąd całkowity

  • Dopuszczalny błąd całkowity

Ocena

W oparciu o dane statystyczne ocena laboratorium w pomiarze danego analitu klasyfikowana jest w sposób następujący:

  • Niezadowalająca : jeżeli łączny (global) błąd całkowity jest większy niż maksymalny błąd dopuszczalny (MAE) lub jeżeli maksymalny błąd dopuszczalny został przekroczony w którymkolwiek z miesięcy.

  • Zadowalająca : jeżeli łączny (global) błąd całkowity jest niższy niż maksymalny błąd dopuszczalny, maksymalny błąd dopuszczalny został przekroczony w nie więcej niż jednym z miesięcy, ale jeżeli stwierdzono błąd systematyczny lub dużą nieprecyzyjność.

  • Prawidłowa : jeżeli łączny (global) błąd całkowity jest niższy niż maksymalny błąd dopuszczalny, maksymalny błąd dopuszczalny nie został przekroczony w żadnym z miesięcy i nie stwierdzono błędu systematycznego lub dużej nieprecyzyjności.

  • Nieklasyfikowane / niewystarczające dane : jeżeli laboratorium nie wykonuje pomiarów danego analitu lub nie zgłosiło przynajmniej 9 miesięcznych wyników nieoddalonych.

Punktacja

Według swojego łącznego błędu całkowitego, w porównaniu ze wszystkimi uczestniczącymi w programie laboratoriami, laboratorium klasyfikowane jest w skali od 1 (najgorsze 10% laboratoriów) do 10 (najlepsze 10% laboratoriów).

Miara jakości

Poziom jakości wykonywanych przez laboratorium pomiarów danego analitu ustalany jest zgodnie z koncepcją Sześć sigma. Wartość sigma obliczana jest następująco:

W oparciu o wartość sigma, podawany jest poziom jakości zgodnie z następującą klasyfikacją:

Poziom jakości

sigma

optymalny

? 5,5

wysoki

4,5 – 5,49

średni

3,50 – 4,49

niski

2,50 – 3,49

niezadowalający

< 2,50

Przykład raportu końcowego

WYNIKI LABORATORIUM
Mocznik
Poziom

1

3

2

3

1

2

1

2

3

2

1

3

Miesiąc

J

F

M

A

M

J

J

A

S

O

N

D

Wynik ( mg/dl )

29

85

144

84

28

139

28

139

83

140

27

83

Błąd pomiaru ( SDI )

0,4

0,3

0,7

-0,1

0,0

0,0

0,1

0,0

-0,4

0,1

-0,5

-0,4

Błąd pomiaru (%)

3,3

1,2

3,3

-0,5

-0,1

0,0

0,4

-0,1

-1,1

0,3

-2,7

-0,9

Poziomy

1

2

3

łącznie

Uwagi nt. błędu:
Nieprecyzyjność (CV)

2,92

1,7

1,14

1,92

Błąd systematyczny (SDI)

-0,01

0,21

-0,16

0,01

Dopuszczalny błąd całkowity
Błąd systematyczny (%)

0,22

0,89

-0,31

0,26

Błąd cełkowity (%)

3,43

Metoda 2710
Ocena Prawidłowa

Poziom jakości

SIGMA Dopuszczalny błąd maksymalny

9,0

%
Punktacja

10

Wysoki

4,69

POD : Dane prawdopodobnie oddalone

Wykresy błędu względnego (SDI i %) w trakcie cyklu

Maksymalny dopuszczalny błąd (Mocznik): 9%

Ogólne zasady funkcjonowania programu

Laboratoria zainteresowane uczestnictwem w jednym lub w kilku programach (BIOCHEMISTRY, B. HUMAN, RHEUMA, PROTEINS) powinny zwrócić się do BOR-POL , Pl. Jaśminu 2, 44-152 Gliwice (prevecal@borpol.com.pl), przedstawiciela BioSystems S.A.

Aby rejestracja została dokonana, laboratorium musi wypełnić formularze znajdujące się na końcu niniejszego informatora i wysłać je do BOR-POL , Pl. Jaśminu 2, 44-152 Gliwice:

1. Identyfikacja laboratorium – Laboratory identification.

2. Kody – Codes

3. Opis grupy «inne» – Description of the group «others»

Po dokonaniu rejestracji laboratorium otrzyma zestawy kontrolne do programów (BIOCHEMISTRY, B. HUMAN, RHEUMA lub/i PROTEINS), w których zamierza uczestniczyć:

  • Zestaw Prevecal BIOCHEMISTRY

  • Zestaw Prevecal BIOCHEMISTRY HUMAN

  • Zestaw Prevecal RHEUMA

  • Zestaw PROTEINS

wraz z towarzyszącymi im materiałami:

  • surowice kontrolne z nazwami miesięcy, w których mają być zbadane,

  • 12 kart przeznaczonych do wysyłania wyników miesięcznych do organizatora programu PREVECAL. W Polsce wyniki wysyła się za pośrednictwem firmy BOR-POL.

  • 2 karty przeznaczone do poinformowania organizatora programu o ewentualnych zmianach metod, jednostek, etc. dokonanych przez laboratorium w trakcie trwania programu. Karty modyfikacyjne wysyła się również za pośrednictwem firmy BORPOL,

  • instrukcje na temat przygotowania, stabilności, przechowywania, etc. materiałów kontrolnych.

Laboratorium powinno wykonać pomiary surowicy kontrolnej w miesiącu podanym na etykiecie, zapisać wyniki na karcie i wysłać ją do organizatorów programu PREVECAL w Państwa kraju, tj. do firmy BOR-POL, Plac Jaśminu 2, 44-152 Gliwice tak, aby dotarły najpóźniej do 5 dnia każdego miesiąca.

Organizator podda wyniki analizie i wyśle do laboratorium raport z poszczególnego miesiąca w terminie do 5 dnia kolejnego miesiąca.

Laboratoria, które uczestniczą w programie Prevecal przez Internet otrzymają raporty z poszczególnych miesięcy na podany organizatorowi adres poczty elektronicznej.

W ciągu jednego miesiąca, po ukończeniu 12-to miesięcznego cyklu programu, organizator wyśle każdemu laboratorium raport końcowy wraz z certyfikatem uczestnictwa.

Instrukcje wypełniania formularzy Identyfikacja laboratorium

Najpierw należy wypełnić pola z nazwą laboratorium lub jednostki, w której się znajduje (jeżeli ma to zastosowanie) i podać pełny adres do korespondencji. Kod laboratorium zostanie nadany przez organizatora programu Prevecal. Raporty programu będą wysyłane na podany adres.

Należy również podać nazwisko dyrektora lub osoby odpowiedzialnej za laboratorium oraz nazwisko osoby odpowiedzialnej za program zewnętrznej oceny jakości. Raporty programu PREVECAL będą wysyłane na nazwisko tej osoby.

W części «type of laboratory» («rodzaj laboratorium») zaznaczyć właściwą odpowiedź znakiem «X».

Na końcu podać szacunkową liczbę próbek krwi otrzymywanych codziennie do zbadania przez laboratorium.

Kody

Przy użyciu tabel kodyfikacyjnych znajdujących się na końcu niniejszej broszury, wybrać kod odpowiadający używanej metodzie dla każdego analitu (Tabela I) i podać go w odpowiednim polu. Należy zwrócić uwagę, że w przypadku enzymów druga cyfra wybierana jest zgodnie z temperaturą inkubacji. Jeżeli używanej metody nie ma w tabeli (inny substrat, inna metoda, etc.), należy również wypełnić formularz nr 3.

Z tabeli kodów aparatury wybrać kod aparatu używanego do pomiaru każdego analitu (Tabela II) i wpisać go we właściwym polu. Jeżeli aparatu nie ma na liście (inny fotometr, inny system automatyczny), należy również wypełnić formularz nr 3.

Z tabeli kodów odczynników wybrać kod producenta używanego odczynnika dla każdego mierzonego analitu (Tabela III) i wpisać go we właściwym polu. Jeżeli nie ma odczynnika w tabeli (inny producent), należy również wypełnić formularz nr 3.

Z tabeli kodyfikacyjnej jednostek wybrać kod jednostki używanej do wyrażenia wyniku dla każdego analitu (Tabela IV) i wpisać go we właściwym polu.

UWAGA: Wszystkie pola muszą być wypełnione dla każdego analitu, w ocenie którego laboratorium chce brać udział. Jeżeli odpowiednie kody nie zostaną wpisane dla jakiegokolwiek analitu, organizatorzy programu PREVECAL potraktują to, że nie wykonano pomiarów lub laboratorium nie jest zainteresowane uczestnictwem w ocenie tego analitu.

Opis grupy «inne»

Formularz ten służy do podania szczegółów metod, odczynników, aparatury i jednostek, nie wyszczególnionych w tabelach kodyfikacyjnych. Opisane są one jako «inne» (inne substraty chromogenne, inne substraty, inne metody, inny fotometr, inny producent, etc.).

Należy wypełnić pola tylko dla tych analitów, dla których zaistniały okoliczności opisane powyżej. Pozostałych pól nie wypełniać.

  • Metoda: krótki opis

  • Odczynniki: podać producenta

  • Aparat: podać nazwę i model