Overview tentang Proficiency Testing

Sebuah lab Kalibrasi melaksanakan beberapa kegiatan untuk menjaga mutu layanannya. Dari mulai tahapan menerima order, proses kalibrasi, sampai ke penyerahan perangkat yang telah selesai dikalibrasi kepada pemiliknya.

Jika kita fokuskan ke bahasan teknis kalibrasinya sendiri, ada beberapa program terkait jaminan mutu ini, misalnya lab berusaha agar metode kalibrasinya sesuai dengan teknik metrologi terbaru alias sudah tervalidasi dengan baik, bagaimana menjaga ketertelusuran (traceability) semua perangkat kalibrasi yang digunakan, mengembangkan kemampuan teknisi kalibrasi, menepati janji penyelesaian layanan kepada kastamer, dan beberapa hal lain.

Sebagian Lab menjalankan kegiatan-kegiatan tersebut semata-mata menjalankan kewajiban yang sudah digariskan oleh aturan dasar lab kalibrasi yaitu ISO/IEC 17025, aturan-aturan tambahan dari Badan Akreditasi, dan mungkin ditambah pula beberapa program sesuai dengan visi misi atau policy manajemen setempat. Tentu sebaiknya Lab juga menjalankan dengan sungguh-sungguh beberapa kegiatan tambahan lain yang dapat meningkatkan mutu semua aspek layanannya, namun ini biasanya terbentur kepada pertimbangan atau trade-off antara keinginan ideal tersebut dengan resource eksisting yang dimiliki.

Kali ini akan kita bahas tentang Proficiency Testing (PT), yang merupakan salah satu kegiatan penting di dalam manajemen kalibrasi. Pada umumnya, PT dilakukan dengan cara mendistribusikan sebuah perangkat kepada beberapa lab yang menjadi partisipan suatu PT. Perangkat ini mempunyai nilai yang akurasi sebenarnya hanya diketahui oleh suatu organiser. Lab-lab tersebut menganalisa perangkat tersebut, lalu melaporkan report kepada organiser ini. Kemudian Organiser tersebut akan membuat suatu report yang menggambarkan tingkkat kedekatan nilai hasil ukur lab tersebut dengan nilai “sebenarnya”. Hasil inilah yang akan dijadikan masukan untuk meningkatkan kinerja Lab.

Sebagai catatan, kegiatan PT sebenarnya tidak hanya diperuntukkan bagi kegiatan kalibrasi saja, tapi juga beberapa analisa dan pengetesan lainnya, seperti analisa mineral, pengetesan forensik, pengetesan lingkungan. Coba tengok website beberapa provider PT ini seperti http://www.scc.ca (Standards Council of Canada), http://www.hsl.gov.uk (Helath and Safety Laboratory), http://www.cms.hhs.gov (Centre for Medicare and Medicaid Service).

Dalam ISO 17025General Requirements for the Competence of Testing and Calibration Laboratories disebutkan bahwa Lab disarankan menjalankan melakukan beberapa kegiatan untuk menjamin mutu hasil kalibrasi, antara lain :

1. Menggunakan reference material yang bersertifikat dan atau melakukan kontrol mutu internal menggunakan secondary reference material. Jadi tidak cukup mengandalkan hasil kalibrasi perangkat standar (kalibrator) dari luar saja, tapi juga harus melakukan pengecekan menggunakan kalibrator lain (denga akurasi yang mungkin berada di bawah kalibrator utama) sebagai pembanding.

2. Berpartisipasi aktif pada ILC atau PT.

3. Melakukan replikasi kalibrasi menggunakan metode yang sama atau berbeda.

4. Melakukan re-testing dan rekalibrasi standard atau kalibrator.

5. Menganalisa korelasi karakteristik antar perangkat.

Ada masalah besar yang sering dilupakan Lab, yaitu bahwa PT ini sebenarnya tidak diniatkan untuk membuat judgment seberapa hebat suatu Lab. Karena jika niat ini yang mendasari suatu skema PT yang dilaksanakan suatu Lab, maka Lab tersebut bisa saja akan memanipulasi nilai ukur, walaupun ini juga agak sulit karena nilai sebenarnya dikantongi oleh organiser. Demikian juga bagi Badan Akreditasi, yang biasanya menjadi fasilitator PT, harus diingatkan agar tidak menjadikan penyelenggaraan PT ini sebagai ajang “ujian nasional” untuk melakukan judgment tersebut, apalagi melakukan peta peringkat Lab.

Kadang muncul masalah saat suatu Lab yakin lulus (dengan En yang diperkirakan baik), tapi ternyata laporan finalnya menyatakan bahwa Lab tidak lulus PT. Hal ini bisa disebabkan artifak memang memiliki nilai benar yang sudah menyimpang dari nilai nominal (dan organizer merahasiakan nilai ini). Atau bisa saja artifak tadi sudah mengalami drift (berbasis waktu). Karenanya Lab peserta ILC atau PT sebaiknya memberikan nilai ukur sebenarnya sesuai dengan hasil ukur yang diperolehnya. Soal ketidaklulusan ini menjadi akan dipersoalkan oleh Badan Akreditasi, ini sebenarnya berada di luar urusan provider PT.

Catatan :

Ada dua nilai yang umumnya dijadikan rujukan kinerja “keberhasilan” suatu Lab dalam mengikuti proficiency testing, yaitu En dan Z-score. Jika En nilainya antara -1 sampai 1, maka Lab peserta disebut memberi “hasil yang memuaskan”. Untuk nilai Z-score sebaiknya berada di antara -2 sampai 2, jika di atas 3 dikatakan “tidak memuaskan”, sedangkan nilai diantara 2 dan 3 dikatakan memiliki “hasil PT dipertanyakan”.

Jadi jika ketidakpastian gabungan antara lab peserta PT dengan ketidakpastian dari Lab rujukan sebesar 1 %, maka perbedaan penunjukan nilai kedua hasil kalibrasi (yaitu Lab peserta dengan Lab rujukan) pada suatu titik ukur yang sama tidak boleh lebih besar dari 1 %.

Atau jika deviasi hasil pengukuran oleh suatu Lab peserta PT adalah sebesar 1%, maka perbedaan penunjukan nilai kedua hasil kalibrasi (yaitu Lab peserta dengan Lab rujukan) pada suatu titik ukur yang sama tidak boleh lebih besar dari 2 %.

Dengan PT ini, maka Lab Kalibrasi bisa memiliki satu lagi cara untuk menunjukkan pada stakeholder lab, terutama pada kastamer bahwa mereka benar-benar melakukan maintenance dan perbaikan kinerja secara berkelanjutan. Biaya yang dibutuhkan untuk kegiatan ini tidak ada artinya dibandingkan reputasi jelek yang didapatkan jika ternyata kalibrasi yang selama ini dilakukan salah atau memiliki tingkat akurasi yang jelek.

Maka hasil PT inipun bisa ditunjukkan kepada kastamer, sebagai evidence tambahan bahwa Lab memiliki komitmen menjaga konsistensi mutu proses dan hasil kalibrasi, walaupun dalam kenyataannya, dari pengalaman penulis, sangat jarang kastamer yang memiliki keingintahuan sampai demikian jauh.

Provider PT

Dalam skala nasional, hanya Komite Akreditasi Nasional saja yang selama ini menjadi provider PT bagi semua Lab Kalibrasi yang diakreditasinya. Tapi sayangnya kegiatan ini kurang intensif dilakukan kemungkinan karena faktor biaya dan waktu yang diperlukan yang relatif lama, karena perangkat sample-nya harus digilirkan ke seluruh Lab yang menjadi partisipan PT.

Dalam skala internasional, ada beberapa provider PT. Masing-masing memiliki scope dan spesialisasinya sendiri-sendiri, misalnya di Amerika ada NAPT (National Association for Proficiency Testing), di Australia ada PTA (Proficiency Testing Australia).

Sekilas tentang PTA, organisasi ini adalah subsidiary dari NATA (National Association of Testing Authorities). Pada Oktober 2008 PTA diterima sebagai anggota Associate Member of the Asia Pacific Laboratory Accreditation Cooperation (APLAC).

PTA menawarkan layanan PT baik untuk Lab Uji maupun Lab Kalibrasi. Untuk Lab Uji, kinerja suatu Lab merupakan hasil perbandingan nilai konsesus terhadap nilai hasil perhitungan yang diperoleh dari hasil suatu PT. Sedangkan pada Lab Kalibrasi, nilai PT suatu Lab akan dibandingkan dengan nilai referensi (reference value) lengkap dengan perhitungan ketidakpastiannya.

Dengan pertimbangan kelengkapan informasi yang tersedia di website-nya, kali ini penulis akan membahas agak banyak tentang salah satu provider PT terkemuka lainnya yaitu NAPT, yang didirikan 12 tahun lalu, tepatnya pada Desember 1996.

Dari websitenya, NAPT menyatakan dirinya sebagai provider PT/ILC dimana ILC adalah kepanjangan dari Inter Laboratory Comparison, yang memiliki makna hampir sama dengan PT. Diceritakan pada masa berdirinya, kegiatan semacam PT ini masih jarang dilakukan. NIST dan NCSL sudah melakukan kegiatan sejenis yang disebut Round Robin, namun belum dianggap cukup independen secara institusi dan belum benar-benar “open format”.

Maka muncullah NAPT, lembaga non profit dengan tujuan menyediakan fungsi manajemen, administrasi, koordinasi, data processing, dan pelaporan terhadap kegiatan interlaboratory comparison, PT dan round robin. Namun dalam statement resminya, fungsi ini ditambah dengan misi ideal seperti diseminasi pengetahuan metrologi, membantu akreditasi, sampai ke “bank” penyimpanan data-data hasil PT.

NAPT mengantongi akreditasi dari A2LA, memenuhi persyaratan ILAC Guide 13 : Guidelines for the Requirements for the Competence of Providers of Proficiency Testing Schemes”  (based on ISO/IEC Guide 43-1:1997, relevant elements of ISO/IEC 17025:1999, and relevant ISO 9000 Series requirements). Scope layanannya luas, meliputi dimensi, elektrik, mekanik, RF Microwave, Thermodynamic, dan Time/Frequency.

Jadi jika suatu Lab Kalibrasi menginginkan suatu layanan PT dari NAPT dalam bidang time & frequency, maka nantinya NAPT akan mengirimkan suatu perangkat yang disebut “artifak”, misalnya frequency meter atau frequency counter. Metodenya juga akan dijelaskan. Hasil PT ini bisa saja dimintakan oleh Lab untuk dikirimkan ke Badan Akreditasi dimana Lab “bernaung” di bawahnya, tentu saja jika ada surat permintaan resmi. Ini dilakukan mungkin dengan tujuan agar image Lab bisa naik di mata Badan Akreditasi.

Jika Lab tersebut menginginkan suatu artifak lainnya yang tidak dimiliki oleh NAPT, maka Lab bisa diminta menjadi sponsor artifak, yaitu dengan meminjamkan perangkatnya ke NAPT untuk kemudian dijadikan sebagai “artifak” PT/ILC. Tentu saja ada beberapa keuntungan menjadi sponsor ini misalnya dalam hal image dan networking.

Lalu darimana NAPT mendapatkan reference value untuk artifak yang digunakanannya? Dari website-nya dikatakan bahwa NAPT mendapatkan nilai ini dengan bantuan dari NIST. Kemudian NAPT akan melakukan berbagai review statistik seperti Two Sigma, Three Sigma, Chauvnet Criterion, Sample Median, Trimmed Mean, Interquartile, Q-Test, dan Thompson Technique. Ini digunakan sebelum, selama dan sesudah suatu artifak didistribusikan, dengan tujuan agar reference value untuk artifak ini selalu valid dan dapat mendeteksi dengan cepat jika muncul anomali.

NAPT menjanjikan kualitas pengukuran yang melebihi standar dari guideline yang dianut. Beberapa guideline yang dijadikan patokan kerjanya antara lain :

1. ILAC-G13:  Guidelines for the Requirements for the Competence of Providers of Proficiency Testing Schemes.

2. ISO/IEC Guide 43-1:  Proficiency Testing by Interlaboratory Comparisons - Part 1: Development and Operation of Proficiency Testing Schemes.

3. NCSLI RP-15:  Guide for Interlaboratory Comparisons.

4. ASTM E1301:  Standard Guide for Proficiency Testing by Interlaboratory Comparisons.

5. ISO/IEC Guide 43-1:  Proficiency Testing by Interlaboratory Comparisons - Part 2: Selection and Use of Proficiency Testing Schemes by Laboratory Accreditation Bodies.

6. ISO/IEC 17025:  General Requirements for the Competence of Testing and Calibration Laboratories.

Perbedaan ILC dan PT

ILC (Inter Laboratory Comparison) adalah kegiatan pengorganisasian dan evaluasi kinerja proses kalibrasi atau pengetesan pada suatu item (misalnya artifak) oleh dua laboratorium (atau lebih) dengan suatu pengkondisian tertentu.

Sedangkan PT (Proficiency Testing) adalah kegiatan memperkirakan kinerja suatu Lab dengan cara membandingkan dan mengevaluasi proses kalibrasi atau pengetesan pada suatu item (misalnya artifak) oleh dua laboratorium (atau lebih) dengan suatu pengkondisian tertentu

Manfaat ILC :

1. Mengembangkan kemampuan analisa ketidakpastian suatu Lab

2. Media untuk melihat kinerja personel sekaligus sebagai media pelatihan antar personal. Promosi seorang teknisi bisa saja dilihat dari parameter kemampuan nyata yang ditunjukkan oleh teknisi dibandingkan dengan teknisi lain bahkan di Lab yang berbeda.

3. Membangun networking dan korelasi antar Lab

4. Menentukan karakteristik suatu material, misalnya dalam hal akurasi

Manfaat PT :

1. Media assesmen terhadap kemampuan Lab (biasa digunakan oleh Badan Akreditasi)

2. Membuktikan kesesuaian terhadap standar mutu

3. Membuktikan kesesuaian statemen ketidakpastian yang dinyatakan pada scope dan akreditasi

4. Menentukan kinerja lab untuk suatu pengukuran

5. Mongawasi kinerja lab secara kontinyu

6. Identifikasi peluang proses improvement

Penjelasan tentang ILC dan PT ini diambil dari NAPT. Jika diteliti keduanya memiliki kemiripan, hanya tujuannya saja yang agak berbeda. Namun dari pengalaman yang ada, memang tidak berbeda jauh, dan manfaat keduanya bisa saling dipertukarkan. Perbedaan dari sudut pandang Badan Akreditasi mungkin tidak terlalu penting. Justru substansi-nya lah yang harusnya menjadi concern bagi Lab Kalibrasi. Misalnya saja dalam hal diseminasi kemampuan teknisi senior dari suatu Lab kepada teknisi-teknisi lain di Lab yang berbeda.

Referensi

1. NAPT Website, http://www.proficiency.org

2. PTA Website, http://www.proficiencytesting.com.au/

3. CMS Website, http://www.cms.hhs.gov

4. Tool4PT Pro, http://www.mermayde.nl/