Nuestro cliente opera una plataforma de multimovilidad que permite a las empresas gestionar todas las formas de movilidad desde un solo lugar: vehiculos de leasing, bicicletas, tarjetas de transporte publico, coches compartidos y compensaciones por teletrabajo. La idea es sencilla. La realidad tecnica no lo es.
El problema: 150 fuentes, 150 formatos
Cada proveedor de movilidad entrega datos a su manera. La empresa de leasing A envia archivos CSV por correo electronico. El proveedor de transporte publico B tiene una API REST. El proveedor de bicicletas C trabaja con subidas SFTP. Y todos definen sus propios campos, formatos de fecha y valores de estado. Algunos proveedores cambian su formato de datos sin previo aviso, lo que significa que cada pipeline debe ser lo suficientemente robusto para manejar cambios inesperados en el esquema.
La integracion manual no era una opcion. Con mas de 150 proveedores y en crecimiento, el equipo habria dedicado mas tiempo al procesamiento de datos que al desarrollo del producto. Las matematicas son simples: si cada integracion manual tarda dos semanas, con 150 proveedores necesitaria casi seis anos solo para cubrir el estado actual, y para entonces los requisitos ya habrian cambiado.
La solucion: adaptadores estandarizados
Desarrollamos un framework de adaptadores que conecta cada proveedor a la plataforma Fleet mediante una interfaz estandarizada. Cada adaptador traduce los datos especificos del proveedor a un formato uniforme. El principio fundamental: separacion entre la captura de datos y la logica de negocio. Los adaptadores solo se encargan de la traduccion, la plataforma solo del procesamiento.
La orquestacion funciona a traves de n8n: los flujos de datos se programan, ejecutan, validan y reintentan automaticamente en caso de error. Implementamos un sistema de reintentos multinivel: reintento inmediato para errores de red, reintento con retraso para limitacion de tasa, y escalamiento al equipo de operaciones para errores estructurales. Todos los datos se almacenan en PostgreSQL y estan disponibles para la plataforma en tiempo real.
Para la validacion de datos utilizamos JSON Schema. Cada adaptador define un esquema que describe la estructura de datos esperada. Los datos entrantes se verifican contra este esquema antes de escribirse en la base de datos. Asi detectamos entregas erroneas o incompletas antes de que causen problemas.
Resultados
El tiempo de integracion para un nuevo proveedor bajo de un promedio de dos semanas a dos dias. En la practica, esto significa: un desarrollador configura el adaptador, escribe las reglas de mapeo y prueba contra datos de ejemplo. Los mas de 150 flujos de datos funcionan de forma autonoma sin intervencion manual. La plataforma atiende actualmente a mas de 45 empresas con datos de movilidad completos y actualizados.
Un aspecto especialmente importante: la tasa de error bajo a menos del 0,3%. Anteriormente, las inconsistencias de datos eran habituales: formatos de moneda incorrectos, campos obligatorios faltantes, entradas duplicadas. El sistema de validacion estandarizado ahora detecta estos problemas automaticamente.
Lo que otras plataformas pueden aprender de esto
La escalabilidad comienza con la estandarizacion. No todos los problemas requieren inteligencia artificial. A veces la respuesta es un modelo de datos bien disenado, interfaces estandarizadas y una orquestacion fiable. La tecnologia no tiene que ser espectacular para entregar resultados espectaculares. Lo que importa es la arquitectura: si hoy tiene 10 proveedores y manana quiere tener 200, la estructura base debe soportarlo sin tener que reconstruir todo.
El segundo punto: invierta en monitorizacion. Construimos dashboards para cada flujo de datos que muestran cuando fue la ultima sincronizacion exitosa, cuantos registros se procesaron y si se detectan anomalias. Cuando un proveedor cambia su formato, lo sabemos en minutos, no cuando un cliente se queja.
