Canadá
Meridian OneCap Credit Corp.
Index Exchange
Ingeniero Staff, Plataforma de Datos e Infraestructura
RemotoCanadá
Toronto, Ontario, Canada
SQLDockerKubernetes
Traducción automática. Consulta el original.
Sobre la oportunidad
En Index Exchange, estamos reinventando el funcionamiento de la publicidad digital a gran escala. Como plataforma global de oferta publicitaria (SSP), capacitamos a los principales medios y profesionales del marketing del mundo para prosperar en un ecosistema programático que prioriza la privacidad.
Somos pioneros en el sector con más de 20 años de experiencia acelerando la evolución de la tecnología publicitaria. Nuestra tecnología propia cuenta con la confianza de algunas de las marcas y medios más grandes del mundo y desempeña un papel crucial para mantener Internet abierto, accesible y mayoritariamente gratuito.
Procesamos más de 550 mil millones de subastas en tiempo real cada día (en comparación, Google procesa 8.5 mil millones de búsquedas al día) con una latencia ultrabaja. Nuestra plataforma está integrada verticalmente, desde servidores hasta redes, y se ejecuta principalmente en nuestra propia infraestructura física y en la nube. Esta infraestructura integral está diseñada para proporcionar estabilidad y agilidad, lo que nos permite adaptarnos rápidamente a medida que evoluciona el mercado.
En el centro de todo esto se encuentra nuestra cultura centrada en la ingeniería. Nuestros ingenieros abordan problemas a escala de Internet en equipos globales muy unidos. Desde mover petabytes de datos y optimizar con IA hasta tomar decisiones de infraestructura en tiempo real, los Indexers tienen la capacidad y la influencia para dar forma al futuro de la publicidad. Nos movemos rápido, construimos con criterio y nos mantenemos fieles a nuestros valores fundamentales.
Sobre el puesto
Estamos contratando a un Ingeniero de Datos Staff para construir y hacer evolucionar la capa de procesamiento de datos y canalizaciones que impulsa los sistemas de informes, facturación y flujos de datos en tiempo real en Index Exchange.
Este puesto se centra en el diseño y la operación de canalizaciones de datos por lotes y en tiempo real a gran escala, lo que permite una transformación de datos fiable, escalable y eficiente en toda la plataforma.
Trabajarás en sistemas que transforman datos de eventos brutos de gran volumen en conjuntos de datos limpios, consultables y de calidad de producción.
Esto es lo que harás
Trabajarás en sistemas de datos de gran escala que:
- Procesan miles de millones de eventos al día a través de canalizaciones distribuidas
- Impulsan la plataforma de datos central que da soporte a los consumidores (equipos de informes, facturación, MLO)
- Operan a través de arquitecturas por lotes (Spark) y en tiempo real (Kafka / Flink)
- Requieren un equilibrio cuidadoso de:
- precisión de los datos
- eficiencia de procesamiento
- compensaciones entre latencia y coste
Resolverás problemas como:
- Diseñar canalizaciones que escalen sin disparar los costes de computación
- Gestionar la precisión de los datos a escala (desduplicación, datos tardíos, uniones)
- Construir sistemas que soporten tanto:
- rellenos históricos (backfills)
- actualizaciones casi en tiempo real
- Evolucionar las canalizaciones desde el procesamiento centralizado (Hadoop) hacia patrones más distribuidos y eficientes
- Canalizaciones de streaming y almacenes de datos (DW) de streaming.
Expectativas para el nivel Staff
- Definir estándares y patrones de procesamiento de datos entre equipos
- Liderar iniciativas de plataformas y canalizaciones a gran escala
- Influir en las decisiones de arquitectura y modelado de datos
- Impulsar mejoras en:
- fiabilidad
- eficiencia de costes
- escalabilidad
Esto es lo que harás
Canalizaciones de datos (lotes + streaming)
- Diseñar y operar canalizaciones utilizando:
- Spark, Flink, etc.
- Kafka / Flink (streaming)
- Transformar datos de eventos brutos en:
- conjuntos de datos limpios (capa silver)
- conjuntos de datos listos para el negocio (tablas gold / de informes)
Modelos de datos principales y conjuntos de datos
- Construir y mantener conjuntos de datos canónicos (conjuntos de datos agregados, tablas de informes)
- Definir contratos de datos y garantizar la coherencia entre canalizaciones
- Dar soporte a casos de uso en evolución:
- informes
- facturación
- ML / experimentación
Orquestación de flujos de trabajo
- Construir y mantener DAGs de Airflow para:
- programación de canalizaciones
- gestión de dependencias
- rellenos (backfills)
- Mejorar la fiabilidad y observabilidad de los flujos de trabajo
Optimización del procesamiento de datos
- Optimizar canalizaciones para:
- rendimiento (tiempo de ejecución, rendimiento)
- costes (eficiencia de computación)
- escalabilidad (crecimiento de datos)
- Mejorar:
- estrategias de particionamiento
- diseño de datos
- patrones de ejecución de trabajos
Canalizaciones de streaming y casi en tiempo real
- Construir canalizaciones que soporten:
- actualizaciones incrementales
- transformaciones de streaming
- agregación a escala
- Contribuir a patrones en evolución como:
- agregación en el borde (edge aggregation)
- convergencia de streaming a lotes
- disponibilidad de datos en tiempo real
Responsabilidades de diseño de plataforma y sistema
- Definir y hacer evolucionar patrones de procesamiento de datos:
- lotes frente a streaming
- estrategias de agregación
- recálculo incremental frente a completo
- Trabajar con:
- Spark (procesamiento central)
- Kafka (transporte)
- Flink (computación de streaming)
- sistemas de almacenamiento (Hadoop / Ceph)
- Kubernetes
- Contribuir a:
- decisiones de arquitectura de plataforma de datos
- estandarización de canalizaciones
- marcos de procesamiento de datos reutilizables
- Influir en las compensaciones:
- latencia frente a coste
- precisión frente a rendimiento
- computación frente a almacenamiento
Trabajarás estrechamente con:
- Productos de datos
- Equipos de ML y experimentación
- Infraestructura y sistemas locales (on-prem)
Lo que buscamos
- Sólida experiencia en ingeniería de datos a escala
- Profunda experiencia en:
- Marcos de procesamiento de datos distribuidos
- SQL y modelado de datos
- Liderazgo de proyectos de principio a fin
- Experiencia con:
- Airflow u orquestación de flujos de trabajo
- Kafka o sistemas de streaming
- Gestión de kubernetes
- Sólida comprensión de:
- procesamiento de datos distribuido
- modelado de datos (conjuntos de datos a gran escala)
- optimización del rendimiento
- Capacidad para:
- responsabilizarse de las canalizaciones de principio a fin
- depurar problemas complejos de datos
- trabajar en entornos de gran escala y en constante evolución
Lo que necesitas
- Grado o Máster en Informática o campos relacionados con la ingeniería
- 8+ años de experiencia como Ingeniero de Software en el desarrollo de productos de software distribuidos a gran escala y de nivel empresarial
- 3+ años de experiencia laboral diseñando y construyendo canalizaciones y aplicaciones de datos de alto rendimiento utilizando Hadoop/Ceph, Spark/Flink, Hive, Presto/Trino, Kafka, StarRocks/Vertica, Airflow, Kubernetes u otras tecnologías similares
- Profunda comprensión de los principios de diseño de sistemas distribuidos a gran escala y familiaridad con las principales tecnologías relacionadas con big data y marcos distribuidos
- Sólidas habilidades de liderazgo, mentoría y comunicación, con experiencia colaborando en un equipo distribuido globalmente y culturalmente diverso
- Conocimiento de modelado de datos, almacenamiento de datos (data warehousing), procesamiento de datos en streaming y herramientas de inteligencia empresarial
- Experiencia trabajando con metodologías Agile con integración y entrega continuas como CI/CD
- Experiencia trabajando con herramientas de contenedorización y virtualización como Kubernetes y Docker
Por qué te encantará trabajar aquí
- Planes integrales de salud, dental y visión para ti y tus dependientes
- Tiempo libre remunerado, días de salud y días de asuntos personales, además de horarios de trabajo flexibles
- Planes competitivos de aportación a la jubilación
- Paquetes de acciones (equity)
- Generosa baja parental disponible para padres biológicos, no biológicos y adoptivos
- Subsidio anual de bienestar, además de descuentos en gimnasios y actividades grupales de bienestar
- Beneficios y descuentos para transporte, donde estén disponibles
- Programa de asistencia al empleado
- Programa de primeros auxilios en salud mental que proporciona un punto de contacto y tranquilidad en el momento
- Un día de voluntariado al año y un programa de igualación de donaciones
- Reuniones generales quincenales y eventos regulares del equipo dirigidos por la comunidad
- Múltiples recursos y programas para apoyar el aprendizaje continuo
- Un lugar de trabajo que apoya un entorno diverso, equitativo e inclusivo: obtén más información aquí can01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.indexexchange.com%2Fabout%2Fdiversity-equity-inclusion%2F&data=05%7C01%7C%7Cbd817b7937664bdeb2b008db095e285e%7Cb07c069022b843668d8d7b845d088e18%7C1%7C0%7C638114072223704542%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=I7VfjnjaTtyacfynF7cGU7TSsL32hK3xgUETeVqkB7E%3D&reserved=0
Igualdad de oportunidades de empleo
En Index Exchange, creemos que los productos exitosos son creados por equipos tan diversos como la audiencia que los utiliza. Por ello, estamos comprometidos con la igualdad de oportunidades de empleo. Celebramos la diversidad de raza, color, ascendencia, religión, sexo, origen nacional, orientación sexual, edad, ciudadanía, estado civil, discapacidad, identidad o expresión de género, o condición de veterano. Además, nos damos cuenta de que la diversidad es más profunda que cualquier estatus o clasificación: la diversidad es la experiencia humana. Para aquellos que muestran determinación, pasión y humildad, Index les dará la bienvenida.
Accesibilidad para candidatos con discapacidad
Index Exchange da la bienvenida y anima a las personas con discapacidad a solicitar trabajar con nosotros.
Si necesitas una adaptación, por favor comparte los detalles de tu solicitud y cualquier información sobre cómo podemos ayudarte con el reclutador cuando se ponga en contacto contigo. Index Exchange hará esfuerzos razonables para garantizar que las solicitudes de adaptación se cumplan durante todo el proceso de contratación.
Index en todas partes, Index en cualquier lugar
Nuestra sede corporativa está en Toronto, con oficinas principales en Nueva York, Montreal, Kitchener, Londres, San Francisco y muchas otras ciudades globales. Como importante intercambio publicitario global, estamos comprometidos a operar como un equipo global muy unido y a abrazar y potenciar el talento dondequiera que estén nuestros colegas.
Descargo de responsabilidad de IA: Se pueden utilizar herramientas automatizadas, incluida la inteligencia artificial, para ayudar en la selección y evaluación de los candidatos para este puesto. Todas las decisiones de contratación implican una revisión humana.
Estado de la vacante: Esta publicación es para una vacante existente.
#LI-ONSIGHT
#LI-HF1
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil