Cograduazione e accordo

Per chi vuole andare a fondo

Gli indici

Rho di Spearman e tau di Kendall

Il rho di Spearman è la correlazione di Pearson calcolata sui ranghi. Senza valori uguali, detta \(d_i\) la differenza tra i ranghi dell'osservazione \(i\) nelle due variabili:

$$\rho_s = 1 - \frac{6\sum_i d_i^2}{n(n^2 - 1)}$$

Il tau di Kendall conta le coppie concordanti \(C\) e discordanti \(D\): \(\tau = (C - D) / \binom{n}{2}\). Ha un'interpretazione diretta: è la differenza tra la probabilità che una coppia sia ordinata allo stesso modo nelle due variabili e la probabilità che sia ordinata al contrario.

Kappa di Cohen

Detta \(p_o\) la proporzione di accordo osservata e \(p_e\) quella attesa per caso, calcolata dai totali marginali:

$$\kappa = \frac{p_o - p_e}{1 - p_e}, \qquad p_e = \sum_{k} p_{k\cdot}\, p_{\cdot k}$$

\(\kappa = 1\) indica accordo perfetto, \(\kappa = 0\) un accordo pari a quello casuale. La classificazione di Landis e Koch (0,41–0,60 moderato, 0,61–0,80 buono, oltre 0,80 ottimo) è molto usata ma arbitraria. Il kappa pesato assegna un credito parziale ai disaccordi tra categorie vicine.

Bland-Altman

Per ogni soggetto si calcolano la differenza tra i due metodi \(d_i = y_{2i} - y_{1i}\) e la media \((y_{1i} + y_{2i})/2\), che si mettono in grafico. Il bias e i limiti di accordo al 95% sono

$$\bar d, \qquad \bar d \pm 1{,}96\, s_d$$

Il giudizio sui limiti non è statistico ma clinico: si decide in anticipo quale differenza tra due strumenti è accettabile. Se le differenze crescono con il livello misurato, conviene lavorare sulle differenze percentuali o sui logaritmi.

ICC

Nella forma più semplice (effetti casuali a una via) l'ICC è la quota di varianza totale dovuta alle differenze reali tra soggetti:

$$ICC = \frac{\sigma^2_{soggetti}}{\sigma^2_{soggetti} + \sigma^2_{errore}}$$

Shrout e Fleiss (1979) e McGraw e Wong (1996) descrivono le diverse forme, che dipendono da come sono scelti i valutatori e se si valuta l'accordo assoluto o la coerenza.

In R

Accordo e cograduazione in R

set.seed(121)
vero        <- rnorm(120, 135, 16)
riferimento <- vero + rnorm(120, 0, 4)
polso       <- vero + 6 + rnorm(120, 0, 4)

cor(riferimento, polso)            # alta, ma non misura l'accordo
d <- polso - riferimento
c(bias = mean(d), inf = mean(d) - 1.96 * sd(d), sup = mean(d) + 1.96 * sd(d))
plot((polso + riferimento) / 2, d, xlab = "Media", ylab = "Differenza")
abline(h = c(mean(d), mean(d) + c(-1.96, 1.96) * sd(d)), lty = c(1, 2, 2))

# Kappa di Cohen per due codificatori
cod <- matrix(c(40, 5, 3, 2, 30, 4, 1, 6, 9), nrow = 3,
              dimnames = list(A = c("I", "II", "III"), B = c("I", "II", "III")))
po <- sum(diag(cod)) / sum(cod)
pe <- sum(rowSums(cod) * colSums(cod)) / sum(cod)^2
c(po = po, pe = pe, kappa = (po - pe) / (1 - pe))

# Cograduazione: rho di Spearman
cor(c(1, 2, 2, 3, 4, 5, 5), c(35, 60, 80, 95, 150, 240, 210),
    method = "spearman")

Come leggere l'output

La correlazione tra i due misuratori è 0,91, eppure il misuratore da polso legge in media 6,2 mmHg in più, e i limiti di accordo vanno da −5,8 a +18,3 mmHg. Per un singolo paziente le due misure possono differire di oltre 18 mmHg: un'informazione che la correlazione non dà.

I due codificatori sono d'accordo nel 79% dei casi, ma il 38% di accordo sarebbe atteso per caso: il kappa è 0,66. Il rho di Spearman tra codice di triage e minuti di permanenza è 0,98. Per l'ICC e il kappa pesato sono disponibili i pacchetti irr e psych.