3. Métodos de clasificación del vecino más próximo

Si retomamos la notación introducida en la sección 2.2 para justificar la estimación de la función de densidad por el vecino más cercano, las probabilidades a priori pueden estimarse por la frecuencia relativa global

 

$$\hat{\pi_{i}} {\frac{N_i}{N}}$$ (27)

y considerando que el estimador de la densidad de probabilidad $\hat{P}$ (X| $\omega_{i}^{}$) viene dado por la ecuación 15, un estimador de la probabilidad a posteriori será

 

$$\hat{P} \omega_{i}^{} \hat{P} \omega_{i}^{} \hat{\pi_{i}} {\frac{K_i(X)}{N_i\space v(X)}} {\frac{N_i}{N}} {\frac{K_i(X)}{v(X)\, N}} {\frac{K_i(X)}{k}}$$ (28)

A partir de este resultado se formula la siguiente regla de clasificación:

Seleccionar $\omega_{c}^{}$ si K_c(X) = $\;\stackrel{\mbox{max}}{\space _{i=1 \ldots J}}\;$ {K_i(X)}

conocida como regla de clasificación por los k vecinos más cercanos o simplemente k-NN (del inglés, k nearest neighbour). Cuando k = 1, la regla anterior se conoce como la conocida como regla de clasificación del vecino más cercano o simplemente 1-NN. Con otras palabras, podemos afirmar que los prototipos cercanos tienden a ser de la misma clase (1-NN) o bien a tener una probabilidad a posteriori similar (k-NN).

Como puede verse, estas reglas proporcionan una estimación directa de la probabilidad a posteriori de cada una de las clases y las reglas de clasificación son sencillas y fácilmente interpretables. En la sección 3.1 estudiaremos con más detalle las reglas de clasificación por vecindad. Posteriormente abordaremos dos aspectos avanzados sobre estas reglas, considerando en primer lugar la posibilidad de reducir el error de clasificación redefiniendo el conjunto de prototipos mediante técnicas de edición (sección 4) y, en segundo lugar, estudiaremos los problemas computacionales derivados de la búsqueda de los vecinos más cercanos y las soluciones propuestas, centrándonos en los algoritmos de condensado (sección 5).