¿Qué es Yolo y cómo puede mejorar el Control de Calidad?

¿Qué es YOLO?

YOLO significa "You Only Look Once", y es una familia de algoritmos diseñados para la detección de objetos en tiempo real.

Como su nombre indica, a través de YOLO se analiza una imagen una sola vez detectando todos los objetos que contiene indicando la siguiente información:

• Clasificación del objeto: es decir de qué objeto se trata
• Ubicación del objeto: es decir las coordenadas en las que se encuentra dentro de la imagen.

¿Cómo funciona YOLO?

Explicaremos el funcionamiento de YOLO mediante un ejemplo:

Tenemos una imagen de 416x416 píxeles con:

• Una pelota en la esquina superior izquierda.
• Una raqueta en esquina superior derecha.
• Un tigre en el centro.

YOLO funciona de la siguiente forma:

1. División por cuadrícula

YOLO divide la imagen por ejemplo en 13x13 celdas y tiene que concretar si hay un objeto en cada celda y, en caso afirmativo indicar sus coordenadas y de qué objetos se trata.

2. Predicción por cada celda

Si nos centramos en el tigre, lo que hace Yolo es lo siguiente, a través del uso de una red neuronal convolucional (CNN):

1. Determina en qué coordenadas está el centro de la imagen del tigre, que en este caso estaría en la celda (7,7).
2. Determina la anchura (w) y la altura de la imagen (h).
3. Determina la clase del objeto, en este caso sería la clase "tigre".
4. Indica confianza de que esté el objeto, es decir la probabilidad de que la clase definida esté ahí, en este caso 0,95.

El resultado de esto sería Celda (7,7) → predice una caja en el centro con clase = "tigre", confianza = 0.95, y le asigna w y h correspondiente.

Las otras celdas predicen:

• (2,2) → pelota (0.87 de confianza)
• (2,12) → raqueta (0.75 de confianza)
• Otras celdas predicen basura o duplicados.

3. Filtrado de resultados

La realidad es que para un mismo objeto va a haber cajas similares y hay que filtrarlas. Para este filtrado se usa Non-Max Suppression (NMS) con el fin de eliminar detecciones múltiples del mismo objeto y conservar solo la caja con mayor confianza.

Por ejemplo en el caso del tigre podría haber tres cajas:

• Caja A, con confianza de 0.95 y centrada.
• Caja B, con confianza de 0.91 y casi centrada (parecida a A)
• Caja C, con confianza de 0.4 y no está centrada.

En resumidas cuentas, a través de NMS se selecciona la mejor caja, en este caso la caja A para el tigre y se descartan las otras.

Hará lo mismo para el caso de la pelota y la raqueta.

4. Resultado Final

Devuelve las mejores detecciones con:

• Clase: tigre, pelota, raqueta
• La confianza de cada una
• Sus coordenadas

La inspección de calidad tradicional en la industria manufacturera

La inspección de calidad se lleva a cabo con el objeto de asegurar que los productos fabricados cumplen los estándares definidos con el cliente (puede ser cliente interno o cliente final).

Vamos a suponer un ejemplo en el que se fabrican tazas para café. En caso de la inspección tradicional, en el último puesto, hay una persona que se dedica a realizar una inspección 100% de las tazas previo a meterlas en una caja para posteriormente llevarlas al almacén. Esta persona tendrá las siguientes tareas:

1. Realización de una inspección del 100% de las tazas de acuerdo a una pauta de inspección previamente establecida para poder filtrar todos los defectos.
2. Registro del número de piezas afectadas y aquellas que han sido rechazadas por defectuosas: Esto se puede realizar en una hoja de papel o en un software especializado como un MES.
3. En el caso de que haya defectos repetitivos, avisar a los líderes o responsables de línea para tomar acciones.

Limitaciones de la inspección tradicional

• Hay dependencia del factor humano con sus respectivos errores, subjetividad, cansancio, etc: si por ejemplo la persona ha tenido un problema personal, puede que su concentración se vea afectada provocando mayores errores.
• El tiempo y el coste son elevados si se inspecciona mucho volumen: en el caso ejemplo tengamos en cuenta que si se fabricasen por ejemplo 1000 tazas por turno, ésta persona debería estar todo el turno. Si el coste horario es de 25 euros/hora, el coste total por turno será de 25 x 8 = 200 euros.
• Detección tardía de defectos, lo que genera retrabajos y desperdicio: esto pasaría en el caso de que la persona que hiciese la inspección no estuviera en línea, sino en una estación independiente inspeccionando las piezas previamente fabricadas.

¿Cómo YOLO puede mejorar el control de calidad tradicional?

Si seguimos con el ejemplo previamente expuesto supongamos que realizamos la instalación del siguiente hardware en la línea de producción:

• Cámara industrial 
• Iluminación LED controlada.
• PC industrial
• Conexión a PLC o red para integración

Con todo este hardware ya se puede implementar YOLO y de esta forma, la inspección tradicional sería sustituida. Las mejoras estarían relacionadas con lo siguiente:

• Coste menor a largo plazo, puesto que, una vez se haya hecho la inversión en el hardware y el modelo de YOLO sea entrenado, no se requerirá de un operario para realizar esta inspección de calidad.
• Permite que la inspección sea muy rápida proporcionando análisis de la calidad en tiempo real: en inspección tradicional a veces se debe hacer en una estación aparte y los registros llevan su tiempo, con lo que las acciones para corregir errores se demoran más.
• Si se ha entrenado correctamente es más precisa reconociendo pequeños defectos y evitando los errores humanos por subjetividad, cansancio, etc.
• Como se ha comentado antes la reactividad es mucho mejor, pudiendo hacer alertas inmediatas y ajustes automáticos en la línea.

¿Qué es necesario para implementar YOLO en tus líneas de producción?

Para implementar YOLO en una línea de producción se deben de seguir estos pasos:

Primero: Definir la aplicación: ¿Qué queremos detectar y con qué precisión?

Supongamos los pasos de la implementación de YOLO en el ejemplo anterior en el que ya lo habíamos motrado materializado. Respecto a las preguntas que deberíamos hacernos:

• ¿Qué queremos detectar?: Queremos detectar defectos en la fabricación de tazas de café.
• ¿Con qué precisión?: Queremos una precisión de un 95%, lo cual significa que detecta 95 de cada 100 piezas defectuosas.
• ¿Con qué velocidad? Si la línea ha de fabricar por ejemplo 240 piezas/hora, el sistema tendrá que ser capaz de realizar la detección cada 15 segundos

Segundo: Seleccionar el Hardware adecuado para esa aplicación

En este paso seleccionaremos el hardware más adecuado para la detección de defectos de tazas de café:

• Cámara: deberá tener una resolución adecuada para detectar defectos, ser capaz cubrir la velocidad de la línea (adecuados fps), y poder sincronizarse correctamente con los demás periféricos.
• Iluminación LED: tienen que tener un contraste adecuado para que YOLO detecte correctamente defectos, reduciendo sombras y reflejos.
• PC industrial con GPU: YOLO usa una red neuronal convolucional por lo que cada imagen procesa miles de operaciones de matriz, así que sin una GPU (diseñada para poder hacer cálculos en paralelo) será muy difíclil la detección en tiempo real.
• Conexión con PLC: esto es importante para integrar el resultado de la detección con el proceso productivo de forma que se pueda activar el rechazo automático o registrar los datos de piezas OK / NOK.

Tercero: Montaje del Hardware en la línea para capturar correctamente las imágenes

Para el montaje correcto del hardware se deberán de seguir los siguientes pasos:

1. Fijación de la cámara: eligiendo la mejor posición y ángulo y evitando vibraciones que desenfoquen la imagen.
2. Configuración de la iluminación: como se ha comentado antes se debe colocar el LED de manera uniforma ajustando la intensidad y sincronizando con la cámara.
3. Ajustes de enfoque y exposición: se deberán de ajustar en función de la distancia en la cual se encontrará la pieza.
4. Pruebas de disparo: aquí se capturarán varias imagenes de prueba a la velocidad real de producción verificando que los objetos fotografiados estén completos y sin distorsión.
5. Sincronización con la línea: a través de la señal del sensor, PLC o lo que sea se deberá sincronizar el disparo con el movimiento de la pieza.
6. Verificación y ajustes: se revisarán las imágenes con el modelo YOLO para asegurarse de que detecta correctamente y en caso de que no se realizarán los ajustes pertinentes.

Cuarto: Generación del conjunto de datos

El conjunto de datos o dataset es realmente el conjunto de imágenes que van a ser utilizadas para entrenar el modelo YOLO.

Este dataset tiene que reflejar el máximo número de variables que pueden pasar en producción: piezas buenas, piezas malas, diferentes condiciones de iluminación, diferentes materiales...

El número de imágenes a capturar deberá ser de unas 500 imágenes por clase (pieza buena/pieza mala). Cuantas más variaciones e imágenes haya, mejor rendimiento tendrá el modelo YOLO

Es decir, para nuestro ejemplo, si pretendemos que YOLO aprenda a reconocer tazas defectuosas, no bastará con darle 1 foto, sino que necesitará cientos de fotos de tazas buenas y defectuosas, en distintas posiciones, con diferentes lotes, e incluso defectos de varios tipos.

Quinto: Categorización de los datos generados

Tras la generación del dataset, se deben categorizar las imágenes sobre las tazas, ya sean buenas o defectuosas. Supongamos que solamente hay 3 tipos de defectos:

• Grietas
• Esmaltado defectuoso
• Deformaciones

Habrá 4 clases con las que se etiquetarán las diferentes imágenes:

• Clase 0: Pieza buena
• Clase 1: Grietas
• Clase 2: Esmaltado defectuoso
• Clase 3: Deformaciones

Sexto: Entrenamiento del modelo YOLO

Este es el proceso en el que el algoritmo analiza las imágenes y las etiquetas (cajas y clases) y ajusta sus parámetros internos (pesos) para detectar objetos en nuevas imágenes.

Básicamente, vamos a enseñar a YOLO a “memorizar patrones” de lo que es una taza buena o defectuosa, para que luego pueda generalizar en producción.

Los pasos que se realizan durante el entrenamiento son los siguentes:

1. Preparación del entorno: consiste en la instalación del framework de YOLO, configuración del dataset en carpetas e indicar cuántas clases hay y cómo se llaman.
2. Elegir modelo base: hay modelos preentrenados como COCO
3. Entrenamiento con el dataset generado: Se aplican una serie de comandos en el programa para realizar el entrenamiento con el dataset generado. Se pueden realizar varias pasadas sobre el dataset de imágenes.
4. Monitorizacion de métricas: se debe monitorizar la precisión y realizar seguimiento de los falsos positivos y negativos. Estas métricas deben ir mejorando con las diferentes iteraciones.
5. Validacion: Se prueba el modelo con imágenes no usadas en el entrenamiento, en el caso de ejemplo se usarían tazas nuevas de producción para comprobar si el sistema las está detectando correctamente.

En resumidas cuentas, con el caso de la producción de tazas, este entrenamiento consiste en pasarle a YOLO miles de fotos de piezas y decirle “estas son buenas o estas tienen defectos”. Después de muchas repeticiones, aprende a diferenciar patrones y guarda ese conocimiento en un archivo que se usará en producción.

Octavo: Implementación en el PC industrial e integración con PLC o red

En este paso, nuestro YOLO pre-entrenado con toda la información sobre las tazas producidas, se instala en el ordenador de la fábrica y se prueba en producción. Ese ordenador recibirá las fotos de la cámara, decide en milisegundos si la pieza está bien o mal, y le manda la orden al autómata (PLC) para que la línea actúe, dejando pasar la taza o retirandola automáticamente en caso de ser scrap.

Los puntos críticos a tener en cuenta:

• Latencia: el tiempo de ciclo de detección de defectos deberá ser inferior al tiempo de ciclo de producción.
• Robustez: el PC industrial debe resistir calor, polvo, vibraciones y otras condiciones.
• Comunicación confiable: el enlace con PLC/red no puede tener retrasos ni pérdidas de señal.

Décimo: Lanzamiento

Si los pasos anteriores se han realizado correctamente, se podrá lanzar el modelo para ser usado completamente en producción siempre monitorizando correctamente sus métricas de precisión, y falsos positivos/negativos, ya que queremos que se cumpla esa precisión definida del 95%.

Ejemplos de aplicación de YOLO en la industria

En la industria, podemos ver YOLO aplicado de diferentes formas:

1. Control de calidad: por ejemplo detectando defectos de inyección de plásticos antes de realizarse el pintado de estas piezas.
2. Conteo de piezas: se pueden contar el número de piezas fabricadas sin necesidad de sensores, esto puede ser útil para controlar la eficiencia de líneas con el OEE.
3. Control de presencia de componentes: por ejemplo imaginemos que un ensamblaje necesita 4 tornillos, YOLO podría detectarlo.
4. Control de etiquetas: puede comprobar que la etiqueta está presente y en el lugar donde debe.
5. En el caso de una línea multiproducto, es capaz de distinguir las diferentes referencias para poder clasificarlas de forma automática.