Auditorías de calidad en laboratorios de ensayo y calibración

Auditorías de calidad en laboratorios de ensayo y calibración

Auditing of
Laboratories
Robert Benyon
INTA
Acknowledgements
Thanks to
• Mª Jose Cotarelo
• Belen Villamiel, of ENAC
for permission to use their presentation
from the course on Laboratory
Audits,given in the Madrid Network
training programme.
Terms and definitions
• Assessment. Documented independent systematic process to obtain
evidence and evaluate it in an objective manner in order to determine the scope
within which the criteria are met.
– First party assessment (internal audits).
– Second party assessment.
– Third party assessment.
• Criteria. Set of policies, procedures or requirements.
• Evidence. Records, declarations of occurences or any other information
applicable and relevant to the assessment criteria and that are verifyable.
Definitions
• Findings. Results of the evaluations of the evidence compiled with respect
to the criteria.
• Conclusions. Result of an assessment, that the assessment team
provides taking into account the objectives of the assessment and all the
findings.
• Assessment. One or more assessors who perform an assessment, with
the support, if necessary, of specialists.
–
–
–
–
Lead Assessor
Techincal Assessor
Technical Espert
Specialist
Definitions
• Audit Programme. Set of one or more planned
assessments/audits for a defined period and addressing a specific purpose.
• Audit Plan. Description of the activities and details agreed for an
assessment/audit.
• Scope of the assessment. Extension and limits of an
aussessment/audit.
Principles
• Ethical conduct. Confidence, integrity, confidentiality y discretion.
• Fair presentation. Findings, conclusions and reports must reflect
factually and truthfully the assessment activities.
• Due professional care. Must have adequate competence.
• Independence. It is the basis of the impartiality and objectivity of the
conclusions.
• Focus based on evidence.
Audit activities
1 Scope
2 Quotation and
designation of team
3 Revisión of documentation
4 Preparation meeting
5 Audit plan
6 On site assessment
7 Audit report
8 Corrective actions
Audit activities
• Scope of the
assessment
Establish the typeof assessment
For accreditation type:
–
–
–
–
–
–
Initial
Surveillance
Extension of scope
Re-assessment
Control Visit
Extraordinary
Establish the assessed area and
the aim of the audit
• Establish the aim of the
assessment
• Delimit the areas to be assessed
(units, activities,
processes,timeframe covered).
• Delimit the audit criteria
(Standard applicable).
Audit activities
• Quotation for the assessment and designation of
assessment team.
• Establecer los medios humanos y materiales para desarrollar la auditoría
con el alcance definido anteriormente. Posibilidad de presenciar ensayos o
calibraciones.
• Seleccionar el equipo auditor designando a auditores y expertos cualificados
para dicho alcance y dicha entidad. Las características de los
auditores/expertos seleccionados condicionan la planificación de la
auditoría.
Audit activities
• To decide the size and composition of the assessment team
you need to take into account:
• The objectives, scope,criteria and estimated duration of the assessment;
• The overall competence of the assessment team needed tomeet the
assessment objectives;
• The need to ensure the independence of the assessment team with
respect to the activities to be assessed to avoid conflicts of interests;
• The capacity of the assessment team to interact efficiently with the
assessed and work together; and
• The language of the assessment and the understanding of the social and
cultural asects of the assessed staff. These aspects can be dealt with via
the individualabilities of the assessors or via a technical expert or
interpreter/translator.
¿What must an auditor take into account
before accepting an assessment?
Check there are no incompatibilities (positive or
negative)
•
• Check availability
Preparation, performance, evaluaton of Corrective
Actions
• Feel sure of our competence
Types of qualifications in ENAC
Lead Assessor
Specialist
Techical Expert
Technical Assessor
Audit Group 1
Lead Assessor
Technical Assessor
Technical
Expert 1
Technical
Expert 3
Observer
Technical
Expert 2
Audit Group 2
Observador
Lead Assessor
Lead Assessor
Specialist
Technical
Expert 1
Specialist
Techical
Exoert 2
Observer
Role of assessors in ENAC
•Responsible for the assessment.
•Cooordinating the assessors.
•Preparing the assessment report.
•Establishing contacts with the Lab.
•Writing and classifying the deviations
•Preparing the report on the
documental study
•Helping the Lead Assessor (LA)
•Cooperating with the LA.
•Informing of his findings to LA
•Collaborating with LA in evaluation of
Corrective Actions.
•Reporting any direct contact with the
Laboratory-
Role of the Lead Assessor in the team
•
Dirigir y coordinar todas las actividades de los miembros del equipo
•
Mantener comunicación fluida, solicitar información de imprevistos
•
Aclarar el alcance de las desviaciones y pedir datos objetivos (procesar toda
la información orientándola a hallazgos objetivos).
•
Obtener información suficiente de los técnicos del grupo para poder redactar
de forma clara las desviaciones
•
Si procede, solicitar aclaración de temas técnicamente complejos
•
Atajar, diplomáticamente, cualquier actuación “fuera de lugar”
Assessment activities
• Revision of Documentation.
• A good revision of the documentation:
– Means an adequate preparation for the
assessment,
– Saves time in the assessment,
– Gives the audited party the sense of
preparation and competence of the
assessor. It promotes respect.
Assessment activities
• Preparatory meeting.
• Presentación entre sí de los miembros del equipo auditor.
• Intercambio de impresiones sobre la documentación.
• Información por parte de cada miembro del equipo auditor de los resultados
de su análisis de la documentación.
• Revisión del alcance de la auditoría.
• Identificación de áreas o aspectos que requieran atención especial.
• Asignación de áreas de actividad específicas para cada miembro del grupo.
• Decisión de ensayos o calibraciones a presenciar.
• Elaboración del plan de auditoría.
Assessment activities
• Assesment Plan.
• Los aspectos a evaluar, el horario previsto, comidas, reuniones, etc.
• Las delegaciones / unidades técnicas a visitar.
• El personal de la organización que deberá estar presente durante la
auditoría (Responsables técnicos y de calidad como mínimo).
• Los ensayos o calibraciones a realizar y las muestras de que debe disponer
el laboratorio para ejecutar los ensayos.
Assessment activities
• In situ assessments.
Initial meeting
Final
Assessment
meeting
Assessment activities
• Initial Meeting.
• Presentación del grupo auditor y descripción breve de las funciones de cada
integrante.
• Confirmar el alcance de la auditoría.
• Confirmar el plan de auditoría y cómo éste se llevará a cabo.
• Asignación por parte del laboratorio de representantes que acompañen al grupo
auditor durante el transcurso de la misma.
• Asignación de un lugar de reunión para el grupo auditor.
• Resaltar la confidencialidad de la información que se obtendrá durante el transcurso
de la auditoría.
• Planificar la realización de ensayos / calibraciones a presenciar durante la auditoría.
• Si el grupo auditor lo considera necesario podrá llevarse a cabo previamente una
visita a las instalaciones del laboratorio al objeto de formarse una impresión general
de la actividad desarrollada por el mismo.
• Describir el concepto y la sistemática para la identificación de las desviaciones
(observaciones y No-Conformidades).
Assessment activities
• Performing the assessment - I
• Al objeto de asegurar la correcta ejecución de las auditorías y garantizar que
se documentan adecuadamente las investigaciones realizadas, los
miembros del equipo auditor deberán utilizar y cumplimentar el
“Cuestionario de Auditoría”
• La investigación realizada de la sistemática de actuación será de dos tipos:
horizontal y vertical.
– Horizontal: consiste en la evaluación de cada uno de los elementos específicos
de su Sistema de Calidad. Ejemplo: personal, organización, subcontratación,
auditorias internas, revisión del sistema, documentación, registros,
confidencialidad, cualificación del personal, etc.
– Vertical: consiste en la selección aleatoria de los registros propios de la actividad
llevado a cabo por el laboratorio verificando cada aspecto asociado al mismo.
Assessment activities
• Performing the assessment - II.
• El equipo auditor deberá mantener reuniones durante el transcurso de la
auditoría tantas veces como considere necesario. No obstante, después de
que haya terminado la investigación siempre mantendrá una reunión privada
para preparar la reunión final con el solicitante en la que se pondrán en
común las conclusiones. En ella, cada auditor le proporciona al AJ la
información correspondiente a las áreas de investigación que le fueron
asignadas.
Assessment activities
Objective ⇒ Obtain information
How????
•With open and flexible questions
•With closed questions
•Trying to speak the language of the Laboratory
•Withot being afraid of asking simple or obvious questions
•Allowing sufficient time to reply, to find, to explain,...(*)
•Not asking more than one question at a time
•Investigating the paths that are opened
•Documenting the search for objective evidence
•Confirming the deviations detected
Always maintain transparency with the Laboratory
Attitude of the laboratory or Body
ATTITUDE +
Make good use and keep to the end
ATTITUDE -
Don´t be affected
Maintain invariable attitude
PRESSURE
COMMENTS
COMPARISONS!!!
Assessment activities
• Meeting prior to the Final Meeting.
• revisar los hallazgos de la auditoría y cualquier otra información apropiada
recopilada durante la auditoría frente a los objetivos de la misma;
• acordar las conclusiones de la auditoría, teniendo en cuenta la incertidumbre
inherente al proceso de auditoría;
• preparar recomendaciones, si estuviera especificado en los objetivos de la
auditoría; y
• comentar el seguimiento de la auditoría, si estuviera incluido en el plan de la
misma.
Assessment activities
• Final meeting.
• Thank the co-operation of the Laboratory.
• Inform of the punctual and sampling nature of the
investigation performed
• Confirm the scope assessed.
• Present the results of the investigation,commenting
verbally each of the deviations identified (observations
and non-conformities).
• Replying to any questions postulated.
• In accreditation assessments, inform of the next stages
in the process.
Assessment activities
• Assessment Report.
• The assessment report must be:
– Clear, precise and to the point as it will be studied by persons not present in
the assessment.
– Reflect factually the spirit and content of the assessment. It must not contain
judgements of the assessment team, nor recommendations to resolve the
deviations detected
• The assessment report must contain:
– The objectives of the assessment;
– The scope of the assessment, particularly the identification of the units in the
organization and the functional units or assessed processes and the time
intercal covered;
– The identification of the assessment team;
– The dates and places where the in situ activities were performed;
Assessment activities
• Assessment Report.
• The assessment report must contain:
–
–
–
–
–
–
–
–
–
The assessment criteria;
The findings of the assessments; and
The conclusions of the assessment
Reference to the assessment/audit plan
A summary of the assessment process, including the uncertainty and/or any
obstaclefound that can diminish the confidence in the assessment conclusions;
The confirmation that the assessment objectives have been met within the scope
of the assessment in accordance with the audit plan;
The areas not covered, although they are within the scope of the assessment;
The divergent opinionsnot resolved within the assessment team and the
laboratory;
The detected deviations
Assessment activities
• Corrective Actions.
• Con el resultado de la auditoría, el laboratorio:
– Deberá realizar un análisis de las causas sobre todos los posibles aspectos
afectados por la desviación.
– Definir una acción correctora para garantizar que no se repite el problema.
– Cerrar las desviaciones o estar en vías de solución, registrando en este caso, el
plazo para el cierre.
– El laboratorio podría alegar aquellos extremos del informe con los que no esté de
acuerdo, aportando toda la información que justifique su postura.
The assessor
• Competence of the Assessor.
Personal Attributes
Knowledge
and abilities
Education, training and
Experience
in assessments
The assessor
• Personal Attributes.
– Ético: imparcial, sincero, honesto y discreto
– Observador: consciente de su entorno
– Perceptivo: intuitivamente consciente y capaz de entender las
situaciones
– De mentalidad abierta: dispuesto a considerar ideas alternativas
– Versátil: capaz de adaptarse a diferentes situaciones
– Diplomático: con tacto en las relaciones personales
– Tenaz: persistente, orientado al logro de los objetivos
– Decidido: capaz de alcanzar conclusiones en base a análisis lógicos
– Seguro de si mismo
The assessor
• Knowledge and abilities / Education, training and
experience
–General knowledge of the assessors
–General knowledge of the Lead Assessors
The assessor
–General knowledge of the assessors
• Principles, procedures and assessment techniques I
–
–
–
–
–
–
–
–
Aplicar principios, procedimientos y técnicas de auditoría
Planificar y organizar el trabajo eficazmente
Respetar el horario acordado: controlar el tiempo
Establecer prioridades y centrarse en lo importante
Recopilar información a través de distintos métodos y verificarla
Aplicar bien el muestreo
Confirmar que las conclusiones se basan en evidencias
Valorar si existen factores que afecten a la fiabilidad
The assessor
–General knowledge of the assessors
• Principles, procedures and assessment techniques II
–
–
–
–
–
–
–
–
Planificar la auditoría y hacer uso eficaz de los recursos
Representar al grupo auditor
Organizar y dirigir al resto de los miembros
Orientar al equipo auditor a las conclusiones
Prevenir y resolver conflictos
Desarrollar el informe de auditoría
Preparar el informe: preciso, conciso y claro
Comunicarse eficazmente
The assessor
–General knowleedge of the assessors
• Applicable documents
– la aplicación de sistemas de gestión a diferentes organizaciones,
– la interacción entre los componentes del sistema de gestión,
– las normas de sistemas de gestión, los procedimientos aplicables u otros
documentos del sistema de gestión utilizados como criterios de auditoría,
– reconocer las diferencias y el orden de prioridad entre los documentos de
referencia,
– la aplicación de los documentos de referencia a las diferentes situaciones de
auditoría, y
– los sistemas de información y tecnología para la autorización, seguridad,
distribución y control de documentos, datos y registros.
The assessor
General knowledge of assessors
• Situations of the organizations
– Size, structure, functions and relations of the
organization,
– The general business processes and related
terminology,
– The social and cultural customs of the persons
assessed
Attitude: Summary
Relax, crete good environment
Speak clearly and simply
Look at the person assessed
Ask the person who does the work, not his boss
Maintain a friendly and relaxed expression
Avoid subjective impressions and non-essential details
Be positive at all times
Listen and do not argue
Apoligise to staff for interrupting
Do not hide your observations and annotations
Try to remain neutral and impartial
Avoid looking for problems, critisizing or giving advice
Conclusion
OBJECTIVE
“To help in the fulfillment of the requirements *,
rather than criticize and reject whar exists”
Be positive, objective and clear .
¡It is ALWAYS possible to improve a system!
* An assessment (audit)
Is NOT a consultancy