Classificació d'imatges: com reconèixer el contingut d'una imatge?

Sobre aquest curs: T'interessa la visió per computador? T'agradaria saber com es pot reconèixer el contingut visual de les imatges i classificar-les a partir del seu contingut? En aquest curs aprendràs diferents mètodes de representació i classificació d'imatges. El temari del curs et permetrà conèixer l'esquema bàsic de classificació d'imatges conegut com Bag of Visual Words. A partir d'aquest esquema bàsic aprendràs com utilitzar diversos descriptors locals de la imatge així com els mètodes de classificació més habituals. També descriurem diferents extensions de l'esquema bàsic que permeten combinar diferents descriptors, incloure informació espacial o millorar la representació final de la imatge. Finalitzar el curs et permetrà:

• • Dissenyar solucions adaptades per a diferents problemes de classificació i reconeixement d'imatges
• • Conèixer les principals tècniques usades per a la descripció i classificació d'una imatge
• • Accedir a les eines que permeten el desenvolupament d'aplicacions reals de classificació d'imatges

setmana 1

module 1
En aquesta primera setmana explicarem els fonaments de la classificació d'imatges i presentarem tots els passos d'un primer sistema de classificació bàsic. Per a això, primer veurem alguns conceptes bàsics sobre el processament d'una imatge que ens serviran per introduir un primer mètode per a detectar i descriure característiques locals (SIFT) en una imatge. Després veurem com podem agrupar aquestes característiques locals per representar tota la imatge i explicarem un primer classificador simple, k-NN. Finalment comentarem els aspectes bàsics de l'avaluació del rendiment d'un sistema de classificació d'imatges.

setmana 2

module 1
Aquesta setmana introduirem Bag of Words com a mètode de representació bàsic que utilitzarem majoritàriament al llarg de tot el curs. Explicarem tots els detalls necessaris per construir la representació Bow d'una imatge, incloent la construcció del vocabulari utilitzant K-Means i com afegir la informació de les característiques locals en la representació final en forma d'histograma. A la segona part de la setmana explicarem Support Vector Machines (SVM) com a mètode de classificació, tant els conceptes fonamentals com la seva formulació matemàtica i els detalls per entrenar i utilitzar un classificador basat en SVM. Finalment, completarem l'explicació de l'avaluació del rendiment que introduïm en la primera setmana.

setmana 3

module 1
En aquesta setmana completarem l'explicació de mètodes d'extracció de característiques que vam iniciar en la primera setmana oferint alternatives a la utilització de SIFT. En concret veurem SURF com un nou mètode de detecció i extracció més eficient computacionalment que SIFT. Per augmentar la capacitat descriptiva de les característiques analitzarem altres estratègies per a la detecció de característiques locals i introduirem descriptors que ens permetin tenir en compte la informació del color a la imatge. Veurem també com podem també millorar l'eficiència computacional reduint la dimensió dels descriptors de carácterísticas locals.

setmana 4

module 1
En aquesta setmana veurem com podem combinar diferents descriptors que aporten diferent tipus d'informació en l'esquema de representació Bow. Explicarem els diferents nivells als quals es pot fer aquesta combinació: a nivell de descriptors locals (early fusió), a nivell de construcció del vocabulari (intemediate fusió) o a nivell de classificador (batega fusion)

setmana 5

module 1
En aquesta setmana abordarem com podem incorporar informació espacial dels objectes de la imatge en la representació Bow. Per a això introduirem el concepte de piràmide espacial i com s'utilitza per a modificar la representació bàsica del Bow de manera que tinguem en compte la localització en la imatge de cada característica local. Veurem també com podem comparar imatges que utilitzen la piràmide espacial. Finalment explicarem una forma d'aprendre la configuració òptima d'una piràmide espacial.

setmana 6

module 1
En aquesta última setmana veurem algunes tècniques avançades que poden ser extensions o alternatives al Bow quan ens enfrontem a problemes de classificació complexos pel tipus o el nombre d'imatges. En primer lloc veurem els GMM com un mètode alternatiu per construir el vocabulari que ens servirà també per explicar Fisher Vector com una altra possibilitat d'agregar totes les característiques locals en una representació de tota la imatge. En el mateix sentit explicarem també VLAD. Finalitzarem el curs amb una breu introducció a les xarxes neuronals convolucionals (CNNs) que s'estan constituint com un esquema alternatiu per a la classificació d'imatges, especialment en problemes amb moltes classes i imatges.

El curs està orientat tant a estudiants universitaris d'algun grau relacionat amb la informàtica, l'enginyeria o les matemàtiques, com a altres estudiants amb coneixements de programació, interessats en aprendre com utilitzar tècniques de visió per computador per extreure informació de les imatges.