Um transformador de visão para decodificar a atividade do cirurgião a partir de vídeos cirúrgicos

Nature Biomedical Engineering (2023) Citar este artigo

6508 acessos

2 Citações

129 Altmétrica

Detalhes das métricas

A atividade intraoperatória de um cirurgião tem um impacto substancial nos resultados pós-operatórios. No entanto, para a maioria dos procedimentos cirúrgicos, os detalhes das ações cirúrgicas intraoperatórias, que podem variar amplamente, não são bem compreendidos. Aqui, relatamos um sistema de aprendizado de máquina que utiliza um transformador de visão e aprendizado contrastivo supervisionado para a decodificação de elementos da atividade cirúrgica intraoperatória de vídeos comumente coletados durante cirurgias robóticas. O sistema identificou com precisão as etapas cirúrgicas, as ações realizadas pelo cirurgião, a qualidade dessas ações e a contribuição relativa de quadros de vídeo individuais para a decodificação das ações. Por meio de testes extensivos em dados de três hospitais diferentes localizados em dois continentes diferentes, mostramos que o sistema generaliza em vídeos, cirurgiões, hospitais e procedimentos cirúrgicos e que pode fornecer informações sobre gestos e habilidades cirúrgicas de vídeos não anotados. A decodificação da atividade intraoperatória por meio de sistemas precisos de aprendizado de máquina pode ser usada para fornecer feedback aos cirurgiões sobre suas habilidades operacionais e pode permitir a identificação do comportamento cirúrgico ideal e o estudo das relações entre fatores intraoperatórios e resultados pós-operatórios.

O objetivo geral da cirurgia é melhorar os resultados pós-operatórios dos pacientes1,2. Recentemente foi demonstrado que tais resultados são fortemente influenciados pela atividade cirúrgica intraoperatória3, ou seja, quais ações são executadas por um cirurgião durante um procedimento cirúrgico e quão bem essas ações são executadas. Para a grande maioria dos procedimentos cirúrgicos, no entanto, uma compreensão detalhada da atividade cirúrgica intraoperatória permanece indefinida. Este cenário é muito comum em outros domínios da medicina, onde os impulsionadores de certos resultados do paciente ainda não foram descobertos ou se manifestam de maneira diferente. O status quo dentro da cirurgia é que a atividade cirúrgica intraoperatória simplesmente não é medida. Essa falta de medição torna difícil capturar a variabilidade na forma como os procedimentos cirúrgicos são realizados ao longo do tempo, cirurgiões e hospitais, testar hipóteses que associam a atividade intraoperatória aos resultados do paciente e fornecer feedback aos cirurgiões sobre sua técnica operacional.

A atividade cirúrgica intraoperatória pode ser decodificada a partir de vídeos comumente coletados durante procedimentos cirúrgicos assistidos por robôs. Essa decodificação fornece informações sobre quais etapas do procedimento (como dissecação e sutura de tecido) são executadas ao longo do tempo, como essas etapas são executadas (por exemplo, por meio de um conjunto de ações ou gestos discretos) pelo cirurgião operacional e a qualidade com que elas são executadas. são executados (isto é, domínio de uma habilidade; Fig. 1). Atualmente, se um vídeo fosse decodificado, seria por meio de uma análise retrospectiva manual por um cirurgião especialista. No entanto, essa abordagem humana é subjetiva, pois depende da interpretação da atividade pelo cirurgião revisor; não confiável, pois pressupõe que o cirurgião esteja ciente de todas as atividades intraoperatórias; e inescalável, pois requer a presença de um cirurgião experiente e uma grande quantidade de tempo e esforço. Essas suposições são particularmente irracionais onde cirurgiões especialistas não estão disponíveis (como em locais com poucos recursos) e já pressionados pelo tempo. Como tal, há uma necessidade premente de decodificar a atividade cirúrgica intraoperatória de maneira objetiva, confiável e escalável.

a, Vídeos cirúrgicos comumente coletados durante cirurgias robóticas são decodificados via SAIS em vários elementos da atividade cirúrgica intraoperatória: o que é realizado por um cirurgião, como as subfases de sutura do manuseio da agulha, condução e retirada da agulha, e como essa atividade é executada por um cirurgião, como por meio de gestos discretos e em diferentes níveis de habilidade. b, o SAIS é um sistema unificado, pois a mesma arquitetura pode ser usada para decodificar independentemente diferentes elementos da atividade cirúrgica, desde o reconhecimento de subfase até a classificação de gestos e avaliação de habilidades.