La limpieza de datos es el proceso de transformar nuestros datos para que la etapa de análisis sea más fácil y más precisa. Esto incluye eliminar información incorrecta o poco fiable. Existen un sinnúmero de mejores prácticas a la hora de limpiar datos. Una vez las conozcas, puedes aplicarlas independientemente de la herramienta que estés utilizando para limpiar los datos.
¿Cuál es la importancia de saber limpiar datos?
Si tenemos datos limpios podemos hacer mejores gráficas, agregar datos, ordenarlos, y hasta filtrarlos más fácilmente. Quizás han escuchado el refrán: “Basura que entra, basura que sale”. Pues esto también aplica a los datos, si no tenemos datos limpios la relevancia y los resultados de nuestro análisis se ven afectados.
¿Cómo evaluar la calidad de los datos?
Antes de comenzar a procesar nuestros datos, debemos hacer un análisis exploratorio. Esto nos permitirá identificar algunas anomalías en nuestros datos que tendrán que ser corregidas.
A continuación, presento una lista de anomalías que debemos identificar y corregir en el proceso de limpieza de datos:
1. Remover duplicados
- Una de las anomalías más comunes es tener duplicados. Esto puede ocurrir tanto por un error humano de entrada de datos hasta un error técnico de algún programa que estamos utilizando. Es importante remover los duplicados para evitar conteos o cálculos erróneos. No queremos hacer proyecciones de ventas con números inflados o pensar que estamos teniendo más ingresos de lo que en realidad estamos generando.
2. Valores atípicos
- Debemos prestar atención a aquellos valores que se salen de los límites o categorías típicas de nuestros datos. Por ejemplo, un número negativo en el precio de un producto o el nombre de una ciudad que no existe pudieran afectar nuestro análisis.
3. Maneja la falta de datos
- En ocasiones no tenemos los datos completos. Esto puede suceder si estamos utilizando datos de terceros, tenemos preguntas en un formulario que no son requeridas, o porque a través del tiempo ha cambiado la manera en la que recopilamos la información. Es importante establecer cómo se van a manejar los datos que faltan. ¿Se procesarán los datos faltantes como ceros? ¿Los valores numéricos faltantes serán ocupados por el promedio de los valores existentes? ¿Serán presentados como datos faltantes en las gráficas? Una vez decidas cómo manejarlos, lo importante es que cuando presentes tu análisis comuniques cómo han sido procesados los datos.
4. Campos obligatorios
- Si tienes campos que son requeridos para poder hacer el análisis de una manera correcta, deberías verificar que todos los valores para ese campos existan. Si ese campo está vacío o sin valores para algún récord y si es pertinente, puedes tomar la decisión de excluir el récord incompleto.
5. Formato de fechas
- Existen varios formatos de fechas, incluyendo el MM/DD/AAAA y el DD/MM/AAAA. En el proceso de limpieza de datos es importante asegurar que todas las fechas estén en el mismo formato. Esto es especialmente importante si estás combinando datos de distintas fuentes de información.
6. Ortografía
- Cuando trabajamos con valores cualitativos, podemos tener valores que representan lo mismo pero que que están escritos de manera distinta. Algunos de estos valores pueden tener errores ortográficos, problema de acentuación, o distintos usos de las mayúsculas. Esto nos puede afectar a la hora de agregar nuestros datos cualitativos.
7. Traducciones
- Al igual que los errores ortográficos, tener datos cualitativos en distintos idiomas puede afectar nuestro análisis. Es recomendable, guardar una copia de la información original y hacer la traducción en el conjunto de datos que vamos a analizar.
8. Tipos de datos
- En ocasiones, queremos hacer operaciones matemáticas con campos que en nuestro conjunto de datos aparecen como texto. Para poder hacer el análisis, en el proceso de limpieza de datos debemos verificar que cada campo tenga el tipo de dato correcto. Si no es así, debemos convertirlos al tipo de dato que necesitemos.
9. Formato
- Algunas compañías tienen convenciones para distinguir algunos valores. Por ejemplo: un curso introductorio de inglés pudiera ser identificado con las siglas INGL-2001 mientras que un curso avanzado de matemáticas pudiera ser identificado con las siglas MATE-3220. Si tus datos tienen formatos así, debes identificar aquellos valores que no cumplen con el formato. Te recomiendo aprender sobre expresiones regulares ya que de esta manera puedes especificar la secuencia de caracteres y patrones que usarás en tu análisis.
10. Enlaces
- Si tu conjuntos de datos incluye enlaces, y estos formarán parte del análisis final, verifica que los enlaces estén en un formato adecuado para que cuando los usuarios hagan click puedan acceder a la página web. En el caso de que haya enlaces corruptos, puedes arreglar el valor si tienes acceso a la información correcta o borrar los datos para evitar introducir errores en el análisis.
11. Identificadores
- Si tus datos incluyen identificadores (IDs), es una buena práctica validar que esos identificadores sean únicos. En el caso de que haya múltiples récords asociados a un identificador, recuerda que al hacer conteos debes hacer un conteo de valores únicos para evitar contarlos múltiples veces.
12. Caracteres especiales
- Si al verificar tus datos, notas que hay caracteres especiales o símbolos casi irreconocibles, lo más probable es que tengas un error de codificación de caracteres. Verifica el tipo de codificación de la fuente de datos que estás utilizando y convierte los datos según sea necesario. Algunas de estas codificaciones son: UTF-8, UTF-16, y UTF-32.
La limpieza de datos es una de las etapas más importantes del proceso de análisis y ciencia de datos. En muchas ocasiones se subestima su importancia y su potencial. El hacer una buena limpieza de datos nos ahorra tiempo y esfuerzo a la larga. No pases por alto los detalles. Mi consejo es, si encuentras patrones en la limpieza de datos, saca tiempo para identificar donde está la raíz del problema y diseña una solución que permita reducir el tiempo que pasarías haciendo la limpieza de datos.