Portugal
ambi.
Associação Porto Digital
Ingeniero/a de Datos
Portugal
Porto, Portugal
PythonSQLDocker
Traducción automática. Consulta el original.
Sobre la oportunidad
La Associação Porto Digital, una empresa privada sin ánimo de lucro, con sede en Oporto y más de 20 años de existencia, se encuentra en crecimiento y desea contratar un/a Ingeniero/a de Datos.
El/la profesional reportará al Coordinador/a del área de Arquitectura de Datos e Inteligencia Artificial e integrará un equipo de trabajo híbrido (presencial y remoto). El contrato de trabajo será inicialmente temporal con posibilidad de renovación y/o indefinido según la experiencia demostrada.
Únete a la Associação Porto Digital como Ingeniero/a de Datos e impulsa la transformación digital urbana en Oporto. Mejora los servicios públicos, impacta la vida de los ciudadanos y contribuye al desarrollo sostenible.
TAREAS
Principales actividades/tareas a realizar:
- Diseñar, desarrollar y mantener pipelines de datos (batch y streaming) para datos estructurados y no estructurados.
- Desarrollar y optimizar procesos ETL utilizando lenguajes de programación como Python y/o SQL.
- Trabajar con tecnologías open source para procesamiento, integración y almacenamiento de datos (ej.: Spark, Kafka, NiFi, Airflow) en entorno on-premises.
- Gestionar y optimizar bases de datos asegurando rendimiento, integridad y disponibilidad.
- Garantizar la calidad, integridad y fiabilidad de los datos a lo largo de todo el ciclo de vida (validación, monitorización y pruebas).
- Diseñar y mejorar arquitecturas de datos asegurando rendimiento, escalabilidad y seguridad.
- Establecer la conexión entre Científicos/as de Datos, Analistas de Datos e Inteligencia Artificial, transcribiendo las necesidades en requisitos técnicos y tratamiento de datos;
- Mejorar la Plataforma Urbana de la ciudad de Oporto, creando nuevas formas de aumentar el valor y la calidad de los datos recogidos y utilizados en la toma de decisiones con impacto en la calidad de vida de la comunidad.
REQUISITOS
Formación
- Formación en Ingeniería Informática, Análisis de Datos, Ciencia de Computadoras, Ingeniería Electrotécnica y de Computadoras o similares.
Cualificaciones
- Experiencia mínima de 3 años en funciones de Data Engineering, desarrollo de plataformas de datos o áreas similares.
- Buenos conocimientos de SQL y experiencia con bases de datos relacionales y analíticas.
- Experiencia en desarrollo de pipelines ETL/ELT para integración, transformación y disponibilización de datos.
- Buenos conocimientos de Python para procesamiento de datos, automatización e integración de sistemas.
- Experiencia práctica con Apache Kafka, incluyendo comprensión de tópicos, particiones, claves, consumer groups, offsets, retención y mecanismos de replay.
- Comprensión de los principales desafíos de procesamiento de datos en tiempo real, especialmente ordenación, duplicación, idempotencia, latencia, tratamiento de errores y evolución de esquemas.
- Experiencia con herramientas de orquestación de pipelines, como Apache Airflow o equivalentes.
- Conocimientos de modelado de datos, data warehouses, data lakes y arquitecturas lakehouse.
- Experiencia en la implementación de procesos incrementales, control de calidad y monitorización de pipelines.
- Familiaridad con Git, procesos de revisión de código y prácticas de integración y entrega continuas.
- Conocimientos de Docker y principios de desarrollo y operación de servicios en entornos distribuidos.
- Buenos conocimientos de inglés.
Competencias personales y organizacionales
- Autonomía, proactividad y sentido de la responsabilidad.
- Buena capacidad analítica y de resolución estructurada de problemas.
- Capacidad para diseñar soluciones sencillas, reutilizables y sostenibles, evitando desarrollos aislados por caso de uso.
- Organización, rigor y atención al detalle.
- Orientación a la calidad, fiabilidad y mejora continua.
- Capacidad para diagnosticar problemas en pipelines y sistemas distribuidos.
- Capacidad para trabajar en equipos multidisciplinares y colaborar con perfiles técnicos y funcionales.
- Buena comunicación y capacidad para explicar decisiones técnicas de forma clara.
- Capacidad para documentar procesos y promover el intercambio de conocimiento.
- Orientación a resultados y cumplimiento de plazos.
- Interés en trabajar con diferentes dominios urbanos, como movilidad, economía, medio ambiente, territorio y servicios municipales.
- Orientación a la creación de valor para la ciudad de Oporto y sus ciudadanos.
Valorable
- Experiencia con ClickHouse u otras bases de datos colunares y con dbt.
- Conocimientos de Apache NiFi, Change Data Capture con Debezium o procesamiento de streams con Flink/Kafka Streams.
- Familiaridad con arquitecturas lakehouse, Apache Iceberg, Parquet y almacenamiento de objetos.
- Experiencia con datos geográficos, PostGIS o sistemas GIS.
- Conocimientos de FIWARE, NGSI-LD, Orion-LD, catálogos de datos o mecanismos de data lineage.
BENEFICIOS
- Horario flexible
- Subsidio de Alimentación
- Seguro de salud
- Teléfono móvil y servicio de comunicaciones
- APP ANDA
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil
