Analyse de concordance aux attributs

C’est le « R&R » du contrôle visuel ou bon/mauvais : plusieurs contrôleurs évaluent les mêmes échantillons plusieurs fois, en aveugle, et l’étude montre si chacun répète sa propre réponse (intra-évaluateur), s’ils sont d’accord entre eux (entre évaluateurs) et s’ils trouvent la bonne réponse (par rapport au standard). Le manuel MSA et le PPAP l’exigent pour les caractéristiques contrôlées par attributs.

Selon le manuel MSA : environ 50 échantillons, avec des pièces nettement bonnes, nettement mauvaises et limites ; 3 évaluateurs qui contrôlent au quotidien ; 2 ou 3 essais dans un ordre aléatoire, sans que l’évaluateur sache quelle pièce il examine. Un expert ou une mesure définit le standard de chaque échantillon. Collez une ligne par évaluation : échantillon ; évaluateur ; réponse ; standard.

Un échantillon ne compte comme concordant que si toutes les réponses coïncident ; le pourcentage baisse donc vite avec plus d’essais et d’évaluateurs. L’intervalle de confiance exact montre l’incertitude : dans l’exemple par défaut (30 échantillons), l’IC fait environ 30 points de large ; avec 50 échantillons, il se resserre.

Le kappa retire la concordance qui se produirait par hasard : 1 est parfait et 0 équivaut à tirer au sort. Le manuel MSA considère comme bon un kappa supérieur à 0,75 et préfère plus de 0,90 ; en dessous de 0,40, la concordance est faible. Le kappa de Fleiss vaut pour n’importe quel nombre d’évaluations ; celui de Cohen en compare exactement deux.

Quand les réponses sont ordonnées, comme une échelle de 1 à 5 ou léger/moyen/grave. Le kappa traite toutes les erreurs de la même façon ; le coefficient de concordance de Kendall (W) et celui de corrélation avec le standard (τ) donnent du crédit aux réponses proches. Choisissez « Ordinale » et utilisez des nombres comme réponses pour garantir l’ordre.

Pour des réponses à deux classes, le tableau sépare les erreurs constantes (l’évaluateur a toujours donné la mauvaise réponse), par sens, par exemple accepter une pièce mauvaise ou refuser une bonne, des erreurs mixtes (il a changé de réponse entre les essais). Accepter une pièce mauvaise est l’erreur la plus coûteuse pour le client ; refuser une bonne coûte de la retouche. Les mixtes indiquent des pièces limites ou un critère flou.

Si l’évaluateur n’est pas cohérent avec lui-même, améliorez les conditions (éclairage, temps, position) et créez un catalogue d’échantillons limites. S’il est cohérent mais se trompe par rapport au standard, recalibrez son critère. Si l’équipe n’est pas d’accord, alignez le standard d’acceptation avec tout le monde ensemble. Refaites ensuite l’étude ; si possible, remplacez le contrôle visuel par un calibre entre/n’entre pas ou une mesure.