Publicado por: sadeckgeo | julho 22, 2016

Validação de classificação por matriz de confusão

MCon

A prática comum de classificação de imagens em sensoriamento remoto sempre nos leva a questionamentos da “verdade”. Geralmente essas duvidas são tiradas e/ou corrigidas com idas ao campo, para coleta de pontos classificados como verdade de campo. Porém campos não são muito extensos, seja por falta de tempo, dinheiro, gente ou demais problemas logísticos, não é possível validar, na maioria das vezes, a totalidade da área.

Sendo assim, empregamos o processo de tabulação cruzada, que é uma das formas estatísticas mais usadas para a análise de confiabilidade da classificação, permitindo verificar o nível de acerto entre a classificação e outro mapeamento de referência, que tenha sido feito com uma boa qualidade.

Basicamente o processo se dá em uma tabela, onde linhas representam a classificação, as colunas representam a referência (verdade) e a diagonal principal representa os acertos da classificação. Os cálculos entre linhas e colunas e a diagonal são também conhecidos como:

  • Acurácia do Usuário, quando se divide o valor da categoria pelo total da linha referente. Ela também indica qual o percentual de acerto da classificação em relação à verdade;
  • Acurácia do Produtor, quando se divide o valor da categoria pelo total da coluna referente. Ela indica o o percentual de acerto de um polígono ou um pixel verdadeiro (referência) ter sido corretamente classificado e
  • Exatidão Global, que é a soma dos valores das categorias dividido pelo valor total das linha ou colunas.

Usando valores fictícios temos a seguinte tabulação cruzada

Matriconfusão

As porcentagens em vermelho na tabela, indicam que houve muita confusão entre as classes, obtendo percentuais muito baixos para a classe em análise…

No SPRING essa função pode ser aplicada no menu Análise > Validação

No TerraAmazon e TerraView dentro do plugin de PDI em Image Processing > Palette > Validation e também pode ser aplicada durante a classificação supervisionada, quando fazemos a análise das amostras.

Na verdade acredito que todo software de SIG e/ou PDI já faça isso de forma muito simples…

Em breve farei vídeos sobre isso, se é que não já tem!

0

Em outra postagem falaremos sobre a estatística Kappa. Além dessas, existem muitas outras formas de validar seus produtos e tentaremos na medida do possível aborda-los aqui em breve.

Referências:

BANKO, Gebhard et al. A review of assessing the accuracy of classifications of remotely sensed data and of methods including remote sensing data in forest inventory. International Institute for Applied Systems Analysis, Laxenburg, Austria, 1998.

Links

http://ceur-ws.org/Vol-710/paper37.pdf

https://www.ufpe.br/cgtg/SIMGEOIV/CD/artigos/SReFOTO/172_4.pdf

http://www.crcnetbase.com/isbn/978-1-4200-5512-2

http://marte.sid.inpe.br/col/dpi.inpe.br/sbsr@80/2008/11.17.20.26/doc/7039-7046.pdf

http://www.geomatica.ufpr.br/docentes/felippe/pessoal/acuraccy.pdf

 


Respostas

  1. Muito bom, Sadeck.

    Curtido por 1 pessoa

  2. Legal!!! Muito bom mesmo!!! Ficarei no aguardo índice Kappa…

    Sadeck, você acha que é possível fazer uma segmentação em uma imagem de 5 metros de resolução espacial (PAN) e com os vetores gerados, aplicar em uma imagem multispectral de resolução espacial de 10 metros (obviamente a imagem se trata da mesma área e data) para utilizar na captura das amostras e classificação?

    Penso em fazer isso no CBERS-4, em uma classificação orientada por objeto a ser feita no INTERIMAGE…

    Será que seria possível?

    Abração,
    Ramon
    DF

    Curtido por 1 pessoa

    • Oi Ramon,
      Desculpe a demora da resposta, é que meu filho nasceu tem pouco tempo e estou retomando as atividades lentamente…

      Bem, nada impede que você faça esse procedimento, porém você precisa ver se o software permite que isso seja feito, pq geralmente ele já usa as estatísticas da imagem que foi usada para fazer a segmentação… Se você alterar os parâmetros do segmentador, acredito que você terá resultados tão finos quanto usando a imagem de 5 m.

      Qualquer coisa estamos por aqui.

      Um abraço.

      Curtir

      • Eita… eu achei que tinha respondido te agradecendo, mas só agora vi que não foi…

        Valeu pela resposta e parabéns pelo filho!

        Então, o Interimage segmenta e, claro, extrai os dados da área segmentada conforme atributos que desejamos e informamos. Mas também gera um arquivo shape com os polígonos da área segmentada, que dá para abrir “livre”. Daí eu veria uma forma de tirar a amostra destes polígonos (gerados em segmentação de imagem de 5 metros) em uma imagem de resolução espacial maior (10 metros).

        Valeu!

        Curtido por 1 pessoa

  3. Bom dia caros colegas, estou com dificuldade no processo de validação no SPRING, alguém poderia me dar alguma dica de como montar o PI de referência. Estou editando matricialmente uma imagem classificada que não irei utilizar, e coletando as amostras com pequenos polígonos referentes a cada classe, com a imagem de satélite ao fundo.

    Na validação da imagem classificada com o PI de referência, a matriz de confusão não apresenta valor algum seja para correlações corretas ou incorretas. O que não deveria acontecer, visto que, a classificação ou está classificada corretamente, apresentada na diagonal principal da matriz de confusão, ou incorretamente fora da diagonal principal. O estranho é que não tem valor algum nem na diagonal principal nem fora dela para algumas classes.

    Acho que pode ser meu PI de referência, mas não sei ao certo o que pode estar acontecendo.

    Gostaria de dicas de como proceder com a confecção de um PI de referência de maneira correta.

    Agradeço muito quem possa me ajudar.

    Wagner
    Francisco Beltrão/PR

    Curtido por 1 pessoa

    • Oi Wagner,

      Pode ser n coisas, precisaria ver ser banco para identificar o problema… aparentemente as amostras que você está usando como referência, não estão relacionadas com a imagem classificada… Mas isso é um palpite. Teria que dar uma olhada melhor no seu banco.

      T+

      Curtir

  4. Boa noite Sadeck,
    Desculpe a pergunta aqui, mas não sei onde deveria postar.
    Minha dúvida está relacionado com algo bem simples, mas que devido ao meu nível de conhecimento acaba se tornando complicado.
    Estou tentando trabalhar com as imagens do CBERS-4, mas as composições não estão gerando bons resultados, tanto para as imagens da camera MUX como da que gera os arquivos PAN10.
    Seria pedir demais um tutorial explicando como fazer esse processo corretamente, dentro do ArcGis?
    Obrigado.

    Ps: parabéns pelo filho!

    Curtido por 1 pessoa

  5. Boa tarde, Sadeck. Obrigada pelo tutorial.
    Saberia me dizer se dá pra fazer validação no QGIS? Tenho um shape com polígonos e queria comparar com dados obtidos em campo para fazer ao final uma matriz de confusão. Tem como?

    Curtir

    • Oi Jocilene,

      Eu acredito que sim, deve ter alguma ferramenta que faça esse procedimento… Caso não tenha vc pode fazer na mão mesmo, usando alguma calculadora do QGIS, ou até mesmo por SQL.

      Dê uma olhada nos blogs do Anderson e do Jorge
      andersonmedeiros.com
      http://www.processamentodigital.com.br

      Eles trabalham diretamente com QGIS.

      Até mais!

      Curtir

  6. Boa tarde .gostaria de saber como validar uma classificacao de uma imagem antiga. Quero fazer a detecao de mudancas de uso e cobertura de terra mas tenho que ter as imagens validadas

    Curtir

  7. […] chegamos a falar um pouco sobre a matriz de confusão aqui no blog (Validação de classificação por matriz de confusão) e recentemente fizemos um vídeo muito legal explicando de forma mais didática a teoria e o uso […]

    Curtir


Deixe um comentário

Categorias