«Si quieres más capacidad de procesamiento, la tienes. Es como si apareciese de la nada. Con Confluent, está solucionado».
Gustavo Ferreira
Tech Lead Software Engineer, Curva
La idea de llevar una cartera llena de tarjetas de crédito ahora parece anticuada. Los consumers esperan poder pagar cualquier cosa con un toque en un dispositivo. Curve lleva aún más lejos el concepto de facilitar los pagos, con la misión de simplificar la forma en que las personas gastan, envían dinero, gestionan su presupuesto y ahorran.
Con la tarjeta Curve, los consumers vinculan de forma segura todas sus tarjetas de crédito y débito a una única tarjeta o aplicación de pago. Mientras la transacción se realiza con la tarjeta Curve, se transfiere inmediatamente a la tarjeta vinculada que el consumidor elija en el punto de venta. Los titulares de tarjetas pueden incluso configurar reglas para determinados tipos de pago: una para la compra de alimentos y otra para salir a comer, por ejemplo.
Con esto, todo un conjunto de funcionalidades fintech llega a manos de los consumers. Un único panel móvil ofrece una visión completa de los gastos de un usuario, que además obtiene un control total sobre la gestión de sus cuentas —incluida la posibilidad de retroceder en el tiempo y cambiar los métodos de pago—.
Pero la eficiencia y la sencillez para los consumers en la parte visible para el usuario casi siempre se traducen en un back end extremadamente complejo, y Curve no es una excepción. Como startup, Curve nació con una arquitectura monolítica, pero para expandirse, escalar y competir en un mercado en rápida evolución, y seguir ofreciendo a sus clientes la próxima gran funcionalidad, el equipo de ingeniería pasó a utilizar transacciones de datos event-driven en tiempo real impulsadas por Confluent.
Cómo pasar de un estado monolítico a Data in Motion
Al principio, como la mayoría de las startups, a Curve le preocupaba sobre todo avanzar rápido. «Nuestro objetivo era tener un MVP —un producto mínimo viable—», explica Gustavo Ferreira, ingeniero de software líder técnico, «y después encontrar un mercado para él. «Todo se mueve muy rápido y la gente da prioridad a avanzar rápido antes que a hacer las cosas a la perfección».
Por este motivo, la arquitectura original de la empresa era monolítica. «En mi opinión, es una buena decisión», afirma Ferreira. «No quieres que los sistemas se vuelvan demasiado complejos antes de saber si el producto va a despegar».
Por aquel entonces, optaron por RabbitMQ self-managed como columna vertebral para la mensajería asíncrona—un sencillo bus de servicios de mensajería. A medida que la empresa crecía, esto acabó generando tres categorías de problemas.
Desafío #1: una configuración abocada al fracaso
El sistema simplemente no podía escalar. Con una sola instancia de RabbitMQ, se creó un único punto de fallo y, si dejaba de funcionar, todo dejaba de funcionar. El equipo de Curve dedicaba mucho tiempo al mantenimiento y recibía avisos los fines de semana porque se estaban quedando sin espacio en disco. Como dice Ferreira: «Parecía que día sí, día no, alguien nos decía que teníamos demasiados mensajes en la cola».
Desafío #2: innovación obstaculizada
Este modelo dificultó el avance del equipo de ingeniería. Algunos mensajes se publicaban en una cola con la intención de que solo un consumer los consumiera de esa cola. En otros casos, un mecanismo pub/sub sencillo permitía publicar mensajes en un exchange y que varios consumers los consumieran, sin garantía de orden. A menudo, el equipo tenía que realizar mucha reingeniería para que las cosas funcionaran y, como resultado, dedicaba demasiado tiempo a buscar soluciones provisionales para sortear las limitaciones arquitectónicas y no el suficiente a la innovación de producto propiamente dicha.
Desafío #3: datos ocultos
El procesamiento por lotes resultó ser un problema. El equipo de datos tenía que crear y ejecutar un trabajo de Airflow por cada base de datos para extraer los datos y luego escribirlos en BigQuery, donde se llevaba a cabo el análisis. Escribir esto llevaría varias horas. Si el esquema hubiera cambiado, habría pasado desapercibido y se habría perdido información. Solo cuando se hubiera detectado, se habría realizado una recarga manual.
Un mundo de posibilidades con Data Mesh
El equipo de TI de Curve se planteó externalizar la gestión de RabbitMQ a un proveedor externo que pudiera gestionarlo totalmente. Pero ejecutar RabbitMQ no era el único problema, ni siquiera era el verdadero quid de la cuestión; el problema era lo que la tecnología podía hacer posible en primer lugar. Lo que realmente se necesitaba era una arquitectura de streaming de datos descentralizada y cloud-native.
Pero, aunque desplegar Apache Kafka® es relativamente fácil, los equipos de ingeniería suelen encontrarse con dificultades al crecer y costes ocultos cuando intentan escalar. Además, el equipo quería funcionalidades que Kafka por sí solo no podía ofrecer. Así que decidieron apostar por Confluent para crear una arquitectura event-driven true, ganar flexibilidad al poder activar rápidamente nuevos clústeres, escalar con facilidad y, finalmente, habilitar una Data Mesh.
Con la transmisión de datos ya implementada y los Connectors transfiriendo datos desde todas las áreas de la organización, un equipo puede ahora publicar eventos y otro suscribirse. Esto permite a los equipos de proyecto acceder a los datos y crear nuevas funcionalidades rápidamente. Esta configuración da soporte a distintas áreas de ingeniería y de negocio en Curve:
1. Tecnología de pagos: la capacidad de comunicarse con pasarelas de pago y la lógica para procesar las transacciones—tanto las históricas como los eventos nuevos
2. Producto: un mundo de posibilidades para desarrollar nuevas capacidades para los clientes
3. Crédito: servicios líderes en su categoría para ofrecer a los clientes soluciones innovadoras de crédito y financiación
4. Datos: Confluent para pipelines ETL, desde el origen de datos hasta el almacén de datos, pasando por todo el procesamiento
Si un equipo quiere ofrecer información sobre los patrones de gasto de los consumers —por ejemplo, cuánto gasta un usuario en comida frente a entretenimiento—, esa información ya está en los streams de datos y es fácil acceder a ella. Tal como lo describe Ferreira: «Son cosas que pueden desbloquearse y llevarse al mercado relativamente rápido si podemos externalizar en la mayor medida posible los requisitos no funcionales a proveedores externos y centrarnos, en cambio, en lo que estamos aquí para ofrecer: productos y servicios financieros».
Con Apache Kafka como tecnología crítica y Confluent como motor, la pila tecnológica de Curve ahora utiliza Confluent Cloud en AWS, con clústeres dedicados en una red privada. Varios Connectors como PostgresCdcSource y KinesisSource hacen fluir los datos desde los orígenes hasta los sinks de Lambda y S3. Y Schema Registry garantiza la calidad de los datos.
Es importante destacar que las ventajas del registro inmutable y duradero que ofrece Confluent permiten a Curve hacer muchas cosas que el equipo no podía hacer antes, como crear Topics de entidades, activar la compactación y ahorrar espacio de almacenamiento. Con Confluent, ahora es posible volver a reproducir mensajes. Si no se detecta un error en el servicio durante horas, el equipo puede volver atrás en el tiempo y restablecer los mensajes afectados. También pueden crear un servicio nuevo hoy y hacer que recupere mensajes que ya existían en un topic, algo que antes era imposible. Como lo resume Ferreira: «Ahora nunca hay dos procesadores distintos para los datos antiguos y los nuevos. Solo hay un punto».
En definitiva, Confluent ayuda a la empresa a crecer de una forma mucho más sostenible. Este nuevo modelo de transmisión de datos también permite al equipo obtener más información a partir de los datos. «Los datos no significan nada si no puedes analizarlos», afirmó Ferreira. «Nuestra empresa está muy orientada a los datos y casi todas las decisiones se basan en ellos».
¿Qué le espera a Curve?
La modernización de la base de datos de Curve ha ido avanzando a lo largo de los últimos años. «Aún estamos empezando», afirma Ferreira. «Aún queda mucho por explorar en torno al concepto de Data Mesh».
Por un lado, todavía hay servicios antiguos en RabbitMQ que encajarían mejor en una arquitectura event-driven completa, aunque ningún servicio nuevo se comunica con él. «Con el tiempo, tendrán que ampliarse para comunicarse con Confluent Kafka y así podremos aprovechar de verdad el potencial de los Data Mesh», afirma Ferreira.
El próximo proyecto de infraestructura probablemente será un catálogo de datos. Curve ahora tiene numerosos topics, pero no todo el mundo sabe que existen. La posibilidad de encontrar los datos mediante un catálogo permitirá a los equipos de producto aprovechar al máximo todos los datos en streaming que ya están disponibles. Y eso traerá consigo más productos y funciones nuevos para seguir el ritmo de la evolución de las expectativas de los consumers en materia de banca —e incluso contribuir a marcarla—.
Resultados comerciales
Acceso ágil y escalable a los datos Los datos, que antes estaban limitados por cuellos de botella y confinados, ahora fluyen a través de Connectors y están disponibles para todos los equipos, lo que permite crear nuevos productos y funcionalidades más rápido.
Menos tiempo de desarrollo La facilidad para añadir nuevos Topics al conector de BigQuery y los cambios automáticos del esquema reducen el tiempo de desarrollo y soporte.
Mayor seguridad para los consumers Con los datos disponibles casi en tiempo real, los datos son siempre precisos, lo que permite proteger mejor los datos de los consumers.
Más información a partir de mejores datos La facilidad para transmitir nuevos Topics a BigQuery garantiza que el equipo de datos pueda obtener información más valiosa y crear procesos para reaccionar en tiempo real a lo que sucede en su entorno.
Resultados técnicos
Una disponibilidad de datos mucho mayor para distintos equipos La transmisión de datos y los Connectors de Confluent dan a los equipos de toda la organización acceso a todos los datos para utilizarlos en proyectos de desarrollo específicos y variados.
Fácil actualización de topics Si se añade un nuevo topic a Confluent, basta con actualizar la configuración del conector de BigQuery para incluir ese topic. La tabla se crea y mantiene automáticamente en BigQuery, desde donde se une a otras fuentes de datos.
Se acabaron los problemas de escalabilidad Con Confluent Cloud, el almacenamiento de datos se escala bajo demanda, por lo que el equipo de Ferreira ya no tiene que gestionarlo.
La capacidad de volver a reproducir datos genera muchas funcionalidades valiosas. Por ejemplo, puedes corregir un error y luego volver atrás para reprocesar los datos afectados de hace unos días.
El mantenimiento queda descartado: «Ni siquiera sabemos cuándo son las ventanas de mantenimiento —y no nos importa», afirma Ferreira.
Empieza a usar Confluent hoy mismo
Las nuevas altas reciben 400 dólares para gastar en Confluent Cloud durante los primeros 30 días.



