logo-Instacart

Instacart Taps Confluent to Put (and Keep) Its Data in Motion During Unprecedented Growth

Descubre por qué Instacart eligió Confluent

Lee el case study

Descubre cómo Instacart adoptó una nueva forma de pensar sobre los datos

Lee el artículo

Hear how Instacart handled 10 years of growth in 6 weeks

Watch the Video

Descubre cómo Instacart diseñó una arquitectura de datos moderna

Ver vídeo

"Confluent has really been an accelerant to the work that my team does. Confluent has been and will be critical to us succeeding as this much larger enterprise."

Nate Kupp

Director of Engineering, Instacart

Pocas empresas crecen tan rápido como lo hizo Instacart en 2020. Cuando la pandemia de la COVID-19 acabó con gran parte de la vida del mundo en marzo de 2020, Instacart se convirtió en la forma esencial de comprar comida. El equipo de infraestructura de datos tuvo que incorporar 500 000 nuevos clientes en cuestión de semanas. La necesidad de hacerlo en tiempo real significaba que el equipo de Confluent debía evolucionar los sistemas también en tiempo real, lo que llevaba a considerar cada día cómo podían aumentar la capacidad.

Instacart adoptó Confluent para expandir de forma drástica sus sistemas de datos. El equipo estaba familiarizado con Apache Kafka y sabía que podía ayudar a gestionar su enorme sistema de inventario. Confluent Cloud les ayudó a poner en marcha de inmediato el streaming de datos para crear modelos de disponibilidad en tiempo real, sistemas de detección del fraude y mucho más, sin tener que contratar a un equipo para gestionar Kafka.

Descubre cómo Instacart gestionó 10 años de crecimiento en 6 semanas
Descubre cómo Instacart construyó la base de su infraestructura de datos

Instacart comenzó con un único caso práctico de streaming y pasó rápidamente a aplicaciones de misión crítica y a una infraestructura centrada en datos.

El éxito inicial de Instacart con el streaming de datos sirvió de base para su estrategia más amplia: crear una Data Mesh central para que los equipos puedan obtener lo que necesitan.

Instacart recurre a Confluent para poner (y mantener) sus Data in Motion en marcha durante un crecimiento sin precedentes

Instacart es la plataforma líder de compra de alimentación en línea de Norteamérica y colabora con casi 700 minoristas nacionales, regionales y locales para ofrecer servicios de entrega y recogida en más de 65 000 tiendas.

Al comienzo de la pandemia de COVID-19, a principios de 2020, Instacart experimentó la mayor demanda de clientes de su historia. Sus aplicaciones de cara al cliente, sus sistemas de back end y sus procesos empresariales se pusieron a prueba cuando millones de personas recurrieron a Instacart como servicio esencial para conseguir de forma segura los alimentos y productos que necesitaban.

«Experimentamos en seis semanas un crecimiento equivalente al de unos 10 años», dijo Dusty Pearce, vicepresidente de ingeniería de Instacart. «¿Cómo ayudamos a estos usuarios que quizá nunca hayan usado una aplicación ni hayan comprado por internet antes? ¿Cómo cambiamos rápidamente nuestro producto para ayudarles a conseguir lo que necesitan? ¿Cómo incorporamos a 500 000 compradores en todo Estados Unidos en seis semanas? «Todos estos desafíos juntos fueron una auténtica locura».

Instacart necesitaba un servicio realmente cloud-native que pudiera escalar de forma elástica y ofrecer la resiliencia necesaria para mantener un servicio siempre activo que respaldara el crecimiento de su negocio.

Eligieron la plataforma de Confluent para Data in Motion para conectar los sistemas y aplicaciones dispares necesarios para actualizar el inventario en tiempo real y respaldar el proceso integral de tramitación de pedidos de Instacart, desde el momento en que se añade un artículo al carrito hasta que se entrega al cliente.

Al aprovechar el servicio en la nube totalmente gestionado de Confluent para dar soporte a su infraestructura de datos subyacente, Instacart ahora puede asignar mejor los valiosos recursos técnicos a innovar en los principales productos y ofertas para clientes, compradores y socios.

Construcción de la infraestructura para dar soporte a millones de clientes

Pocas empresas crecieron tan rápido como Instacart en 2020: pasó de estar disponible en unos 1500 establecimientos de 30 estados a más de 28 000 establecimientos en todo el país y Canadá, y prestar servicio a más del 85 % de los hogares estadounidenses.

Sin apenas una hoja de ruta para gestionar una transformación tan rápida y de tal magnitud, el equipo de ingeniería de Instacart tuvo que pensar con rapidez y en tiempo real para mantener sus datos localizables y precisos, y cumplir la misión de Instacart de facilitar al máximo que las familias estadounidenses y canadienses pudieran poner comida en la mesa en un momento en que, para muchas personas, ir físicamente al supermercado se había convertido en algo que daba miedo.

«Era realmente un ejercicio nocturno de “¿Qué podemos hacer para crear capacidad para la oleada, la gran oleada de personas que vendrán mañana?”» dijo Pearce. «Y eso era una parte importante de aquello en lo que trabajaba mi equipo de infraestructura, principalmente con sistemas de datos. «Los sistemas de datos son los más frágiles, pero, al mismo tiempo, nuestro equipo de producto y el equipo directivo estaban pendientes de todos estos nuevos usuarios».

Ir más allá de Kafka para alcanzar una escala masiva

Como ya conocía Apache Kafka® porque lo había utilizado en trabajos anteriores, Pearce sabía que Kafka era la tecnología que Instacart necesitaba adoptar para que su enorme sistema de inventario siguiera funcionando sin problemas durante este periodo sin precedentes.

«Conozco muy bien (Kafka), entiendo la plataforma y sabía que era una plataforma en la que podía confiar», afirmó Pearce. «Sin embargo, no tenía el tiempo del que disponía antes para formar un equipo y desarrollar esto desde cero. Tuve que ponerme manos a la obra y empezar a aprovechar los sistemas de streaming casi de inmediato».

Instacart había empezado a usar Kafka para algunos casos de uso iniciales, incluido Customer 360, y dependía de su proveedor de la nube para los servicios gestionados relacionados con Kafka. «Funcionó hasta cierto punto, pero tuvimos dificultades con el soporte», dijo Pearce. «También nos faltaba experiencia interna, así que realmente necesitábamos encontrar un socio que pudiera ayudarnos a impulsar esta plataforma al ritmo que necesitábamos, sin que yo tuviera que esperar un año o dos para reunir a todo el personal en un mercado realmente competitivo. Simplemente parecía que era el momento adecuado».

Pearce y su equipo eligieron Confluent Cloud y comenzaron de inmediato a integrar Confluent en su infraestructura de TI para dar soporte a la gestión del inventario y a otros casos de uso clave.

«La frase célebre que siempre he usado es que, cuando llamas a tu proveedor de servicios, no quieres que el equipo de soporte tenga que buscar a su experto en Kafka», dijo Pearce. «Así que Confluent era una opción natural para nuestra infraestructura de Kafka».

Los resultados: el producto adecuado en el momento adecuado para cada cliente

Mejor gestión del inventario mediante datos en tiempo real. «Confluent mejora la experiencia de una forma que nos permite usar los datos para hacer un seguimiento más preciso del inventario», afirmó Pearce. «Al usar Data in Motion y datos en tiempo real, la probabilidad de que consigas no solo la manzana que has pedido, sino también una manzana realmente buena, aumenta enormemente».

Reducción del TCO. «Es curioso decir esto porque somos un equipo de ingeniería grande, pero siempre nos faltan recursos», dijo Nate Kupp, director de ingeniería de datos de Instacart. «Para mí, ponerme a contratar a un montón de ingenieros para que se ocupen de Kafka no es algo que pueda hacer. Y poder delegar esas preocupaciones es un gran alivio para nosotros y nos permite centrarnos en aportar valor a la organización sin preocuparnos por las operaciones y otros gastos generales».

Detección del fraude mejorada. «Cuando pienso en las primeras victorias que hemos conseguido con Confluent, la que más destaca para mí es la detección del fraude», dijo Kupp. «Conectamos, pusimos en marcha Kafka y Confluent, formamos al equipo en torno a esto y, en un par de meses, pudimos poner en producción un sistema que resuelve este problema para el equipo. Fue genial».

Ejecución más rápida. «Con Confluent realmente hemos sentido el avance del trabajo que hace mi equipo», dijo Kupp. «Antes he hablado de quitarle a mi equipo la carga operativa, pero creo que, en realidad, Confluent permite que mi equipo ejecute más rápido en varios aspectos. «Confluent ha sido de gran ayuda con cosas como poner en marcha Kafka Clusters y tener prototipos funcionando muy rápidamente. Ese tipo de tareas le llevarían mucho tiempo a mi equipo si lo hiciéramos con Kafka de código abierto. Con Confluent, podemos conseguirlo muy rápidamente».

¿Qué le espera a la infraestructura de datos de Instacart?

De cara al uso futuro de Confluent, Pearce y Kupp afirmaron que tienen previsto centrarse en convertir Confluent en la columna vertebral de la arquitectura de datos de Instacart, para facilitar aún más los casos de uso actuales y, además, aprovechar todo el valor de Data in Motion en toda la organización.

«Hemos reflexionado mucho sobre cuestiones como el fraude, donde queremos poder contar con detección del fraude en tiempo real e integrarla en el producto», dijo Kupp. «O nuestros algoritmos de disponibilidad: ¿cómo sabemos si un artículo en particular está disponible en una tienda concreta? Ese tipo de cosas. En toda la empresa hay muchísimas oportunidades como esa, y creo que muchas de ellas surgen al pasar al streaming desde los sistemas por lotes que teníamos antes».

En definitiva, afirmó Kupp, la visión para Confluent es utilizarlo como un Data Mesh y sistema nervioso central para todo Instacart. «A medida que observamos nuestra organización distribuida, existen dudas sobre la propiedad de los datos asociadas a nuestra estrategia de Data Mesh y a las funcionalidades de Confluent que permiten y capacitan a todas nuestras organizaciones para ser dueñas de sus propios datos», afirmó Pearce. «Y luego hay formas específicas en las que podemos incorporar datos en tiempo real al desarrollo de software. Y luego hay otras partes de nuestro negocio, como el de la publicidad, que quieren avanzar con rapidez, comprender el comportamiento de los usuarios e intentar inspirarlos con contenido que valoran».

Para Pearce, liberar todo el valor de Confluent en Instacart depende realmente de aprovechar todo el potencial de los talentosos ingenieros de Instacart para mejorar la experiencia del cliente. «Empezarás a ver cada vez a más equipos de desarrollo de software pensando en cómo razonar y en cómo podemos aprovechar los datos en tiempo real para crear funcionalidades y devolver valor al cliente de formas que, en mi opinión, no eran posibles con el antiguo modelo de datos por lotes», dijo. «Creo que Confluent desbloqueará la creatividad de muchas personas muy inteligentes que entienden muy bien a sus clientes, y eso solo puede ser positivo».

En definitiva, afirmó Pearce, Confluent se convertirá en la columna vertebral para mantener los Data in Motion a lo largo del continuo crecimiento de Instacart. «En realidad, se trataba de asociarnos con alguien que conozca muy bien este sector, que tenga una amplia experiencia manteniendo los Data in Motion y que entienda la estrategia de Data Mesh en la que hemos estado trabajando», afirmó. «Ahora tenemos que operar y gestionar el software y la empresa a esta escala mucho mayor; Confluent ha sido y será fundamental para que tengamos éxito como esta empresa mucho más grande».

Más información sobre Instacart

Empieza a usar Confluent hoy mismo

Las nuevas altas reciben 400 dólares para gastar en Confluent Cloud durante los primeros 30 días.

Ver más historias de clientes

logo-Dick-s Sporting Goods

Dick's Sporting Goods

DICK’S Sporting Goods Up-Levels the Shopping Experience with Confluent

Confluent Cloud
logo-Nuuly

Nuuly

A team of engineers and developers at Nuuly designed, built and deployed a real-time event streaming architecture based on Confluent Cloud and Apache Kafka in just six months

Confluent Cloud
logo-Ticketmaster

Ticketmaster

Ticketmaster aprovecha Confluent para reducir la fricción en el desarrollo e impulsar el aprendizaje automático.

Confluent Platform