Grazie per aver visitato Nature.com.Stai utilizzando una versione del browser con supporto CSS limitato.Per un'esperienza ottimale, ti consigliamo di utilizzare un browser aggiornato (o disattivare la modalità compatibilità in Internet Explorer).Inoltre, per garantire un supporto continuo, mostriamo il sito senza stili e JavaScript.
Dispositivi di scorrimento che mostrano tre articoli per diapositiva.Utilizza i pulsanti Indietro e Avanti per spostarti tra le diapositive oppure i pulsanti del controller diapositiva alla fine per spostarti tra ciascuna diapositiva.
L'angiografia tomografica a coerenza ottica (OCTA) è un nuovo metodo per la visualizzazione non invasiva dei vasi retinici.Sebbene l’OCTA abbia molte applicazioni cliniche promettenti, determinare la qualità dell’immagine rimane una sfida.Abbiamo sviluppato un sistema basato sull'apprendimento profondo utilizzando il classificatore di rete neurale ResNet152 preaddestrato con ImageNet per classificare le immagini del plesso capillare superficiale da 347 scansioni di 134 pazienti.Le immagini sono state anche valutate manualmente come vere da due valutatori indipendenti per un modello di apprendimento supervisionato.Poiché i requisiti di qualità dell'immagine possono variare a seconda delle impostazioni cliniche o di ricerca, sono stati addestrati due modelli, uno per il riconoscimento delle immagini di alta qualità e l'altro per il riconoscimento delle immagini di bassa qualità.Il nostro modello di rete neurale mostra un'eccellente area sotto la curva (AUC), 95% CI 0,96-0,99, \(\kappa\) = 0,81), che è significativamente migliore del livello del segnale riportato dalla macchina (AUC = 0,82, 95 %CI).0,77–0,86, \(\kappa\) = 0,52 e AUC = 0,78, IC al 95% 0,73–0,83, \(\kappa\) = 0,27, rispettivamente).Il nostro studio dimostra che i metodi di apprendimento automatico possono essere utilizzati per sviluppare metodi di controllo qualità flessibili e robusti per le immagini OCTA.
L'angiografia tomografica a coerenza ottica (OCTA) è una tecnica relativamente nuova basata sulla tomografia a coerenza ottica (OCT) che può essere utilizzata per la visualizzazione non invasiva della microvascolarizzazione retinica.L'OCTA misura la differenza nei modelli di riflessione derivanti da impulsi luminosi ripetuti nella stessa area della retina e le ricostruzioni possono quindi essere calcolate per rivelare i vasi sanguigni senza l'uso invasivo di coloranti o altri agenti di contrasto.L'OCTA consente inoltre l'imaging vascolare a risoluzione di profondità, consentendo ai medici di esaminare separatamente gli strati vascolari superficiali e profondi, aiutando a differenziare la malattia corioretinica.
Sebbene questa tecnica sia promettente, la variazione della qualità dell'immagine rimane una sfida importante per un'analisi affidabile delle immagini, rendendo difficile l'interpretazione delle immagini e impedendo un'adozione clinica diffusa.Poiché OCTA utilizza più scansioni OCT consecutive, è più sensibile agli artefatti dell'immagine rispetto all'OCT standard.La maggior parte delle piattaforme OCTA commerciali forniscono la propria metrica di qualità dell'immagine chiamata Signal Strength (SS) o talvolta Signal Strength Index (SSI).Tuttavia, le immagini con un valore SS o SSI elevato non garantiscono l'assenza di artefatti dell'immagine, che possono influenzare qualsiasi successiva analisi dell'immagine e portare a decisioni cliniche errate.Gli artefatti di immagine comuni che possono verificarsi nell'imaging OCTA includono artefatti di movimento, artefatti di segmentazione, artefatti di opacità dei media e artefatti di proiezione1,2,3.
Poiché le misure derivate dall'OCTA come la densità vascolare vengono sempre più utilizzate nella ricerca traslazionale, negli studi clinici e nella pratica clinica, esiste un'urgente necessità di sviluppare processi di controllo della qualità delle immagini robusti e affidabili per eliminare gli artefatti dell'immagine4.Le connessioni skip, note anche come connessioni residue, sono proiezioni nell'architettura della rete neurale che consentono alle informazioni di bypassare gli strati convoluzionali memorizzando le informazioni su scale o risoluzioni diverse5.Poiché gli artefatti dell'immagine possono influenzare le prestazioni delle immagini su piccola scala e generali su larga scala, le reti neurali con salto di connessione sono adatte per automatizzare questa attività di controllo della qualità5.Il lavoro pubblicato di recente ha mostrato alcune promesse per reti neurali convoluzionali profonde addestrate utilizzando dati di alta qualità provenienti da stimatori umani6.
In questo studio, addestriamo una rete neurale convoluzionale che salta la connessione per determinare automaticamente la qualità delle immagini OCTA.Ci basiamo sul lavoro precedente sviluppando modelli separati per identificare immagini di alta qualità e immagini di bassa qualità, poiché i requisiti di qualità delle immagini possono differire per specifici scenari clinici o di ricerca.Confrontiamo i risultati di queste reti con reti neurali convoluzionali senza connessioni mancanti per valutare il valore di includere funzionalità a più livelli di granularità all'interno del deep learning.Abbiamo quindi confrontato i nostri risultati con la potenza del segnale, una misura comunemente accettata della qualità dell'immagine fornita dai produttori.
Il nostro studio ha incluso pazienti con diabete che hanno frequentato lo Yale Eye Center tra l’11 agosto 2017 e l’11 aprile 2019. Sono stati esclusi i pazienti con qualsiasi malattia corioretinica non diabetica.Non c'erano criteri di inclusione o esclusione basati su età, sesso, razza, qualità dell'immagine o qualsiasi altro fattore.
Le immagini OCTA sono state acquisite utilizzando la piattaforma AngioPlex su un Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublino, CA) con protocolli di imaging 8\(\times\)8 mm e 6\(\times\)6 mm.Il consenso informato per la partecipazione allo studio è stato ottenuto da ciascun partecipante allo studio e l'Institutional Review Board (IRB) dell'Università di Yale ha approvato l'uso del consenso informato con fotografia globale per tutti questi pazienti.Seguendo i principi della Dichiarazione di Helsinki.Lo studio è stato approvato dall'IRB dell'Università di Yale.
Le immagini delle piastre superficiali sono state valutate in base al Motion Artifact Score (MAS) precedentemente descritto, al Segmentation Artifact Score (SAS) precedentemente descritto, al centro foveale, alla presenza di opacità dei media e alla buona visualizzazione dei piccoli capillari come determinato dal valutatore di immagini.Le immagini sono state analizzate da due valutatori indipendenti (RD e JW).Un'immagine ha un punteggio pari a 2 (idoneo) se vengono soddisfatti tutti i seguenti criteri: l'immagine è centrata nella fovea (a meno di 100 pixel dal centro dell'immagine), MAS è 1 o 2, SAS è 1 e l'opacità del supporto è inferiore a 1. Sono presenti nelle immagini di dimensione /16 e piccoli capillari sono visibili nelle immagini più grandi di 15/16.Un'immagine viene valutata 0 (nessuna valutazione) se viene soddisfatto uno dei seguenti criteri: l'immagine è decentrata, se MAS è 4, se SAS è 2 o l'opacità media è maggiore di 1/4 dell'immagine e i piccoli capillari non possono essere regolati più di 1 immagine/4 per distinguerli.Tutte le altre immagini che non soddisfano i criteri di punteggio 0 o 2 vengono valutate come 1 (ritaglio).
Nella fig.1 mostra immagini di esempio per ciascuna stima in scala e artefatti dell'immagine.L'affidabilità tra valutatori dei punteggi individuali è stata valutata mediante la ponderazione kappa di Cohen8.I punteggi individuali di ciascun valutatore vengono sommati per ottenere un punteggio complessivo per ciascuna immagine, compreso tra 0 e 4. Le immagini con un punteggio totale pari a 4 sono considerate buone.Le immagini con un punteggio totale pari a 0 o 1 sono considerate di bassa qualità.
Una rete neurale convoluzionale con architettura ResNet152 (Fig. 3A.i) pre-addestrata sulle immagini dal database ImageNet è stata generata utilizzando fast.ai e il framework PyTorch5, 9, 10, 11. Una rete neurale convoluzionale è una rete che utilizza l'apprendimento filtri per la scansione di frammenti di immagini per studiare caratteristiche spaziali e locali.La nostra ResNet addestrata è una rete neurale a 152 strati caratterizzata da lacune o “connessioni residue” che trasmettono simultaneamente informazioni con risoluzioni multiple.Proiettando informazioni a diverse risoluzioni sulla rete, la piattaforma può apprendere le caratteristiche di immagini di bassa qualità a più livelli di dettaglio.Oltre al nostro modello ResNet, abbiamo addestrato anche AlexNet, un'architettura di rete neurale ben studiata, senza connessioni mancanti per il confronto (Figura 3A.ii)12.Senza connessioni mancanti, questa rete non sarà in grado di acquisire funzionalità con una granularità più elevata.
Il set di immagini OCTA13 originale da 8\(\times\)8mm è stato migliorato utilizzando tecniche di riflessione orizzontale e verticale.Il set di dati completo è stato quindi suddiviso in modo casuale a livello di immagine in set di dati di addestramento (51,2%), test (12,8%), ottimizzazione degli iperparametri (16%) e convalida (20%) utilizzando il toolbox scikit-learn python14.Sono stati considerati due casi, uno basato sul rilevamento solo delle immagini di qualità più elevata (punteggio complessivo 4) e l'altro basato sul rilevamento solo delle immagini di qualità più bassa (punteggio complessivo 0 o 1).Per ogni caso d'uso di alta e bassa qualità, la rete neurale viene riqualificata una volta sui nostri dati di immagine.In ciascun caso d'uso, la rete neurale è stata addestrata per 10 epoche, tutti i pesi degli strati tranne quello più alto sono stati congelati e i pesi di tutti i parametri interni sono stati appresi per 40 epoche utilizzando un metodo di tasso di apprendimento discriminativo con una funzione di perdita di entropia incrociata 15, 16..La funzione di perdita di entropia incrociata è una misura della scala logaritmica della discrepanza tra le etichette di rete previste e i dati reali.Durante l'addestramento, viene eseguita la discesa del gradiente sui parametri interni della rete neurale per ridurre al minimo le perdite.Il tasso di apprendimento, il tasso di abbandono e gli iperparametri di riduzione del peso sono stati ottimizzati utilizzando l'ottimizzazione bayesiana con 2 punti di partenza casuali e 10 iterazioni, e l'AUC sul set di dati è stata ottimizzata utilizzando gli iperparametri come target di 17.
Esempi rappresentativi di immagini OCTA 8 × 8 mm dei plessi capillari superficiali hanno ottenuto 2 (A, B), 1 (C, D) e 0 (E, F).Gli artefatti dell'immagine mostrati includono linee tremolanti (frecce), artefatti di segmentazione (asterischi) e opacità dei media (frecce).Anche l'immagine (E) è decentrata.
Vengono quindi generate le curve delle caratteristiche operative del ricevitore (ROC) per tutti i modelli di rete neurale e vengono generati report sull'intensità del segnale del motore per ciascun caso d'uso di bassa e alta qualità.L'area sotto la curva (AUC) è stata calcolata utilizzando il pacchetto pROC R e gli intervalli di confidenza al 95% e i valori p sono stati calcolati utilizzando il metodo DeLong18,19.I punteggi cumulativi dei valutatori umani vengono utilizzati come base per tutti i calcoli ROC.Per l'intensità del segnale riportato dalla macchina, l'AUC è stata calcolata due volte: una volta per il valore limite del punteggio di scalabilità di alta qualità e una volta per il valore limite del punteggio di scalabilità di bassa qualità.La rete neurale viene confrontata con la potenza del segnale AUC che riflette le proprie condizioni di addestramento e valutazione.
Per testare ulteriormente il modello di deep learning addestrato su un set di dati separato, modelli di alta e bassa qualità sono stati applicati direttamente alla valutazione delle prestazioni di 32 immagini di lastre di superficie da 6\(\times\) 6mm a faccia intera raccolte dalla Yale University.La massa oculare è centrata contemporaneamente all'immagine 8 \(\times \) 8 mm.Le immagini da 6\(\×\) 6 mm sono state valutate manualmente dagli stessi valutatori (RD e JW) nello stesso modo delle immagini da 8\(\×\) 8 mm, è stata calcolata l'AUC così come la precisione e il kappa di Cohen .ugualmente.
Il rapporto di squilibrio di classe è 158:189 (\(\rho = 1,19\)) per il modello di bassa qualità e 80:267 (\(\rho = 3,3\)) per il modello di alta qualità.Poiché il rapporto di squilibrio delle classi è inferiore a 1:4, non sono state apportate modifiche architetturali specifiche per correggere lo squilibrio delle classi20,21.
Per visualizzare meglio il processo di apprendimento, sono state generate mappe di attivazione delle classi per tutti e quattro i modelli di deep learning addestrati: modello ResNet152 di alta qualità, modello ResNet152 di bassa qualità, modello AlexNet di alta qualità e modello AlexNet di bassa qualità.Le mappe di attivazione delle classi vengono generate dagli strati convoluzionali di input di questi quattro modelli e le mappe di calore vengono generate sovrapponendo le mappe di attivazione con immagini sorgente dai set di validazione 8 × 8 mm e 6 × 6 mm22, 23.
Per tutti i calcoli statistici è stata utilizzata la versione R 4.0.3 e le visualizzazioni sono state create utilizzando la libreria di strumenti grafici ggplot2.
Abbiamo raccolto 347 immagini frontali del plesso capillare superficiale di 8 \(\times \)8 mm di 134 persone.La macchina ha riportato l'intensità del segnale su una scala da 0 a 10 per tutte le immagini (media = 6,99 ± 2,29).Delle 347 immagini acquisite, l'età media all'esame era di 58,7 ± 14,6 anni e il 39,2% proveniva da pazienti di sesso maschile.Di tutte le immagini, il 30,8% proveniva da caucasici, il 32,6% da neri, il 30,8% da ispanici, il 4% da asiatici e l'1,7% da altre razze (Tabella 1).).La distribuzione per età dei pazienti con OCTA differiva significativamente a seconda della qualità dell'immagine (p <0,001).La percentuale di immagini di alta qualità nei pazienti più giovani di età compresa tra 18 e 45 anni era del 33,8% rispetto al 12,2% delle immagini di bassa qualità (Tabella 1).La distribuzione dello stato di retinopatia diabetica variava significativamente anche nella qualità dell'immagine (p < 0,017).Tra tutte le immagini di alta qualità, la percentuale di pazienti con PDR era del 18,8% rispetto al 38,8% di tutte le immagini di bassa qualità (Tabella 1).
Le valutazioni individuali di tutte le immagini hanno mostrato un'affidabilità di intervalutazione da moderata a forte tra le persone che leggono le immagini (kappa ponderato di Cohen = 0,79, IC 95%: 0,76-0,82) e non c'erano punti di immagine in cui i valutatori differivano di più di 1 (Fig. 2A)..L'intensità del segnale era significativamente correlata al punteggio manuale (correlazione momento prodotto Pearson = 0,58, IC 95% 0,51-0,65, p <0,001), ma molte immagini sono state identificate come aventi un'intensità del segnale elevata ma un punteggio manuale basso (Fig. .2B).
Durante l'addestramento delle architetture ResNet152 e AlexNet, la perdita di entropia incrociata durante la convalida e l'addestramento cade in oltre 50 epoche (Figura 3B,C).L'accuratezza della convalida nell'epoca di addestramento finale è superiore al 90% sia per i casi d'uso di alta qualità che per quelli di bassa qualità.
Le curve delle prestazioni del ricevitore mostrano che il modello ResNet152 supera significativamente la potenza del segnale riportata dalla macchina sia nei casi d'uso di bassa che di alta qualità (p < 0,001).Il modello ResNet152 supera significativamente anche le prestazioni dell'architettura AlexNet (p = 0,005 e p = 0,014 rispettivamente per casi di bassa e alta qualità).I modelli risultanti per ciascuna di queste attività sono stati in grado di raggiungere valori AUC rispettivamente di 0,99 e 0,97, che sono significativamente migliori rispetto ai corrispondenti valori AUC di 0,82 e 0,78 per l'indice di potenza del segnale della macchina o 0,97 e 0,94 per AlexNet. ..(Fig. 3).La differenza tra ResNet e AUC nella potenza del segnale è maggiore quando si riconoscono immagini di alta qualità, indicando ulteriori vantaggi derivanti dall'utilizzo di ResNet per questa attività.
I grafici mostrano la capacità di ciascun valutatore indipendente di ottenere un punteggio e confrontarlo con la potenza del segnale riportata dalla macchina.(A) La somma dei punti da valutare viene utilizzata per creare il numero totale di punti da valutare.Alle immagini con un punteggio di scalabilità complessivo pari a 4 viene assegnata una qualità elevata, mentre alle immagini con un punteggio di scalabilità complessivo pari o inferiore a 1 viene assegnata una qualità bassa.(B) L'intensità del segnale è correlata alle stime manuali, ma le immagini con un'intensità del segnale elevata potrebbero essere di qualità inferiore.La linea tratteggiata rossa indica la soglia di qualità consigliata dal produttore in base alla potenza del segnale (potenza del segnale \(\ge\)6).
L'apprendimento del trasferimento ResNet fornisce un miglioramento significativo nell'identificazione della qualità dell'immagine sia per casi d'uso di bassa che di alta qualità rispetto ai livelli di segnale riportati dalla macchina.(A) Diagrammi di architettura semplificati delle architetture pre-addestrate (i) ResNet152 e (ii) AlexNet.(B) Cronologia dell'addestramento e curve delle prestazioni del ricevitore per ResNet152 rispetto alla potenza del segnale riportata dalla macchina e ai criteri di bassa qualità di AlexNet.(C) Cronologia dell'addestramento del ricevitore ResNet152 e curve prestazionali rispetto alla potenza del segnale riportata dalla macchina e ai criteri di alta qualità AlexNet.
Dopo aver regolato la soglia del limite decisionale, la precisione massima di previsione del modello ResNet152 è del 95,3% per il caso di bassa qualità e del 93,5% per il caso di alta qualità (Tabella 2).La massima precisione di previsione del modello AlexNet è del 91,0% per il caso di bassa qualità e del 90,1% per il caso di alta qualità (Tabella 2).La precisione massima della previsione della potenza del segnale è del 76,1% per il caso d'uso di bassa qualità e del 77,8% per il caso d'uso di alta qualità.Secondo il kappa di Cohen (\(\kappa\)), l'accordo tra il modello ResNet152 e gli stimatori è 0,90 per il caso di bassa qualità e 0,81 per il caso di alta qualità.Il kappa AlexNet di Cohen è 0,82 e 0,71 rispettivamente per i casi d'uso di bassa e alta qualità.La potenza del segnale kappa di Cohen è 0,52 e 0,27 rispettivamente per i casi d'uso di bassa e alta qualità.
La convalida di modelli di riconoscimento di alta e bassa qualità su immagini 6\(\x\) di una lastra piana da 6 mm dimostra la capacità del modello addestrato di determinare la qualità dell'immagine attraverso vari parametri di imaging.Quando si utilizzavano lastre superficiali da 6\(\x\) 6 mm per la qualità dell'immagine, il modello di bassa qualità aveva un'AUC di 0,83 (IC 95%: 0,69–0,98) e il modello di alta qualità aveva un'AUC di 0,85.(IC al 95%: 0,55–1,00) (Tabella 2).
L'ispezione visiva delle mappe di attivazione delle classi del livello di input ha mostrato che tutte le reti neurali addestrate utilizzavano le caratteristiche dell'immagine durante la classificazione delle immagini (Fig. 4A, B).Per immagini da 8 \(\times \) 8 mm e 6 \(\times \) 6 mm, le immagini di attivazione ResNet seguono da vicino il sistema vascolare retinico.Anche le mappe di attivazione di AlexNet seguono i vasi retinici, ma con una risoluzione più grossolana.
Le mappe di attivazione delle classi per i modelli ResNet152 e AlexNet evidenziano le funzionalità relative alla qualità dell'immagine.(A) Mappa di attivazione della classe che mostra un'attivazione coerente dopo la vascolarizzazione retinica superficiale su immagini di convalida di 8 \(\times \) 8 mm e (B) estensione su immagini di convalida più piccole di 6 \(\times \) 6 mm.Modello LQ addestrato su criteri di bassa qualità, modello HQ addestrato su criteri di alta qualità.
È stato precedentemente dimostrato che la qualità dell'immagine può influenzare notevolmente qualsiasi quantificazione delle immagini OCTA.Inoltre, la presenza di retinopatia aumenta l'incidenza di artefatti dell'immagine7,26.Infatti, nei nostri dati, in linea con studi precedenti, abbiamo trovato un'associazione significativa tra l'aumento dell'età e la gravità della malattia retinica e il deterioramento della qualità dell'immagine (p < 0,001, p = 0,017 per età e stato DR, rispettivamente; Tabella 1) 27 Pertanto, è fondamentale valutare la qualità dell'immagine prima di eseguire qualsiasi analisi quantitativa delle immagini OCTA.La maggior parte degli studi che analizzano le immagini OCTA utilizzano soglie di intensità del segnale riportate dalla macchina per escludere immagini di bassa qualità.Sebbene sia stato dimostrato che l'intensità del segnale influenza la quantificazione dei parametri OCTA, un'elevata intensità del segnale da sola potrebbe non essere sufficiente per escludere immagini con artefatti2,3,28,29.Pertanto, è necessario sviluppare un metodo più affidabile per il controllo della qualità dell'immagine.A tal fine, valutiamo le prestazioni dei metodi di deep learning supervisionati rispetto alla potenza del segnale riportato dalla macchina.
Abbiamo sviluppato diversi modelli per valutare la qualità dell'immagine perché diversi casi d'uso OCTA possono avere requisiti di qualità dell'immagine diversi.Ad esempio, le immagini dovrebbero essere di qualità superiore.Inoltre, sono importanti anche parametri quantitativi specifici di interesse.Ad esempio, l'area della zona avascolare foveale non dipende dalla torbidità dell'ambiente non centrale, ma influisce sulla densità dei vasi.Mentre la nostra ricerca continua a concentrarsi su un approccio generale alla qualità dell'immagine, non legato ai requisiti di un test particolare, ma destinato a sostituire direttamente l'intensità del segnale riportato dalla macchina, speriamo di dare agli utenti un maggiore grado di controllo in modo che possano può selezionare la metrica specifica di interesse per l'utente.scegliere un modello che corrisponda al massimo grado di artefatti dell'immagine considerati accettabili.
Per scene di bassa e alta qualità, mostriamo prestazioni eccellenti di reti neurali convoluzionali profonde prive di connessione, con AUC di 0,97 e 0,99 e modelli di bassa qualità, rispettivamente.Dimostriamo inoltre le prestazioni superiori del nostro approccio di deep learning rispetto ai livelli di segnale riportati solo dalle macchine.Le connessioni skip consentono alle reti neurali di apprendere caratteristiche a più livelli di dettaglio, catturando aspetti più fini delle immagini (ad esempio il contrasto) così come caratteristiche generali (ad esempio la centratura dell'immagine30,31).Poiché gli artefatti dell'immagine che influiscono sulla qualità dell'immagine sono probabilmente meglio identificati su un ampio intervallo, le architetture di rete neurale con connessioni mancanti possono mostrare prestazioni migliori rispetto a quelle senza attività di determinazione della qualità dell'immagine.
Durante il test del nostro modello su immagini OCTA da 6\(\×6mm), abbiamo notato una diminuzione delle prestazioni di classificazione sia per i modelli di alta qualità che per quelli di bassa qualità (Fig. 2), in contrasto con le dimensioni del modello addestrato per la classificazione.Rispetto al modello ResNet, il modello AlexNet ha un falloff maggiore.Le prestazioni relativamente migliori di ResNet potrebbero essere dovute alla capacità delle connessioni residue di trasmettere informazioni su più scale, il che rende il modello più robusto per classificare le immagini catturate a diverse scale e/o ingrandimenti.
Alcune differenze tra le immagini da 8 \(\×\) 8 mm e le immagini da 6 \(\×\) 6 mm possono portare a una classificazione inadeguata, inclusa una percentuale relativamente elevata di immagini contenenti aree avascolari foveali, cambiamenti nella visibilità, arcate vascolari e nessun nervo ottico sull'immagine 6×6 mm.Nonostante ciò, il nostro modello ResNet di alta qualità è stato in grado di raggiungere un'AUC dell'85% per immagini da 6 \(\x\) 6 mm, una configurazione per la quale il modello non è stato addestrato, suggerendo che le informazioni sulla qualità dell'immagine codificate nella rete neurale è adatto.per una dimensione di immagine o configurazione della macchina al di fuori della sua formazione (Tabella 2).In modo rassicurante, le mappe di attivazione simili a ResNet e AlexNet di immagini di 8 \(\times \) 8 mm e 6 \(\times \) 6 mm sono state in grado di evidenziare vasi retinici in entrambi i casi, suggerendo che il modello contiene informazioni importanti.sono applicabili per classificare entrambi i tipi di immagini OCTA (Fig. 4).
Lauermann et al.La valutazione della qualità delle immagini sulle immagini OCTA è stata eseguita in modo simile utilizzando l'architettura Inception, un'altra rete neurale convoluzionale con salto di connessione6,32 utilizzando tecniche di deep learning.Hanno inoltre limitato lo studio alle immagini del plesso capillare superficiale, ma utilizzando solo le immagini più piccole 3×3 mm di Optovue AngioVue, sebbene siano stati inclusi anche pazienti con varie malattie corioretiniche.Il nostro lavoro si basa su queste basi, inclusi più modelli per affrontare varie soglie di qualità delle immagini e convalidare i risultati per immagini di diverse dimensioni.Riportiamo inoltre la metrica AUC dei modelli di machine learning e aumentiamo la loro già impressionante precisione (90%)6 sia per i modelli di bassa qualità (96%) che di alta qualità (95,7%)6.
Questa formazione presenta diverse limitazioni.Innanzitutto, le immagini sono state acquisite con una sola macchina OCTA, includendo solo le immagini del plesso capillare superficiale a 8\(\times\)8 mm e 6\(\times\)6 mm.Il motivo per escludere le immagini dagli strati più profondi è che gli artefatti della proiezione possono rendere la valutazione manuale delle immagini più difficile e forse meno coerente.Inoltre, le immagini sono state acquisite solo in pazienti diabetici, per i quali l'OCTA sta emergendo come un importante strumento diagnostico e prognostico33,34.Sebbene siamo stati in grado di testare il nostro modello su immagini di diverse dimensioni per garantire che i risultati fossero robusti, non siamo stati in grado di identificare set di dati idonei provenienti da diversi centri, il che ha limitato la nostra valutazione della generalizzabilità del modello.Sebbene le immagini siano state ottenute da un solo centro, sono state ottenute da pazienti di diversa origine etnica e razziale, il che rappresenta un punto di forza unico del nostro studio.Includendo la diversità nel nostro processo di formazione, speriamo che i nostri risultati siano generalizzati in un senso più ampio e che eviteremo di codificare pregiudizi razziali nei modelli che formiamo.
Il nostro studio mostra che le reti neurali che saltano la connessione possono essere addestrate per ottenere prestazioni elevate nel determinare la qualità dell'immagine OCTA.Forniamo questi modelli come strumenti per ulteriori ricerche.Poiché metriche diverse possono avere requisiti di qualità dell'immagine diversi, è possibile sviluppare un modello di controllo qualità individuale per ciascuna metrica utilizzando la struttura stabilita qui.
La ricerca futura dovrebbe includere immagini di diverse dimensioni da diverse profondità e diverse macchine OCTA per ottenere un processo di valutazione della qualità delle immagini di deep learning che possa essere generalizzato alle piattaforme OCTA e ai protocolli di imaging.La ricerca attuale si basa anche su approcci di deep learning supervisionati che richiedono una valutazione umana e una valutazione delle immagini, che possono richiedere molto lavoro e tempo per set di dati di grandi dimensioni.Resta da vedere se i metodi di deep learning non supervisionati possano distinguere adeguatamente tra immagini di bassa qualità e immagini di alta qualità.
Poiché la tecnologia OCTA continua ad evolversi e le velocità di scansione aumentano, l'incidenza di artefatti e immagini di scarsa qualità potrebbe diminuire.Anche i miglioramenti apportati al software, come la funzionalità di rimozione degli artefatti di proiezione recentemente introdotta, possono alleviare queste limitazioni.Tuttavia, permangono molti problemi poiché l'imaging di pazienti con scarsa fissazione o significativa torbidità del supporto provoca invariabilmente artefatti dell'immagine.Poiché l'OCTA diventa sempre più utilizzato negli studi clinici, è necessaria un'attenta considerazione per stabilire linee guida chiare per livelli accettabili di artefatti per l'analisi delle immagini.L’applicazione dei metodi di deep learning alle immagini OCTA è molto promettente e sono necessarie ulteriori ricerche in quest’area per sviluppare un approccio solido al controllo della qualità delle immagini.
Il codice utilizzato nella ricerca attuale è disponibile nel repository octa-qc, https://github.com/rahuldhodapkar/octa-qc.I set di dati generati e/o analizzati durante lo studio in corso sono disponibili presso i rispettivi autori su ragionevole richiesta.
Spaide, RF, Fujimoto, JG & Waheed, NK Artefatti di immagine nell'angiografia a coerenza ottica.Retina 35, 2163–2180 (2015).
Fenner, BJ et al.Identificazione delle caratteristiche di imaging che determinano la qualità e la riproducibilità delle misurazioni della densità del plesso capillare retinico nell'angiografia OCT.BR.J. Oftalmolo.102, 509–514 (2018).
Lauerman, JL et al.Influenza della tecnologia di tracciamento oculare sulla qualità dell'immagine dell'angiografia OCT nella degenerazione maculare legata all'età.Arco tombale.clinico.Esp.oftalmologia.255, 1535–1542 (2017).
Babyuch AS et al.Le misurazioni della densità di perfusione capillare OCTA vengono utilizzate per rilevare e valutare l'ischemia maculare.chirurgia oftalmica.Imaging laser retinico 51, S30–S36 (2020).
Lui, K., Zhang, X., Ren, S. e Sun, J. Apprendimento residuo profondo per il riconoscimento delle immagini.Nel 2016 alla IEEE Conference on Computer Vision and Pattern Recognition (2016).
Lauerman, JL et al.Valutazione automatizzata della qualità dell'immagine angiografica OCT utilizzando algoritmi di deep learning.Arco tombale.clinico.Esp.oftalmologia.257, 1641–1648 (2019).
Lauermann, J. et al.La prevalenza degli errori di segmentazione e degli artefatti da movimento nell'angiografia OCT dipende dalla malattia della retina.Arco tombale.clinico.Esp.oftalmologia.256, 1807–1816 (2018).
Pask, Adam et al.Pytorch: una libreria di deep learning imperativa e ad alte prestazioni.Elaborazione avanzata delle informazioni neurali.sistema.32, 8026–8037 (2019).
Deng, J. et al.ImageNet: un database di immagini gerarchico su larga scala.Conferenza IEEE 2009 sulla visione artificiale e il riconoscimento di modelli.248–255.(2009).
Krizhevsky A., Sutzkever I. e Hinton GE Classificazione Imagenet utilizzando reti neurali convoluzionali profonde.Elaborazione avanzata delle informazioni neurali.sistema.25, 1 (2012).