Big Data Engineer
Descrizione dell'offerta
Big Data Engineer
Stiamo attualmente collaborando con un’organizzazione leader nel settore assicurativo , impegnata in un ambizioso progetto di evoluzione della propria piattaforma Big Data . L’azienda è un player innovativo che punta a consolidare la propria infrastruttura dati per supportare processi decisionali strategici e operativi. Il mercato assicurativo è caratterizzato da una crescente domanda di soluzioni per l’elaborazione in tempo reale, architetture distribuite e integrazione con piattaforme cloud, in risposta alla necessità di ridurre la latenza e migliorare la qualità delle analisi. Il cliente si colloca in questo contesto come protagonista della trasformazione digitale, con un approccio orientato alla scalabilità, sicurezza e innovazione tecnologica.
Descrizione del Progetto
Il progetto nasce dalla necessità di evolvere il sistema Big Data esistente, rendendolo più performante e capace di gestire flussi di dati in tempo reale . Attualmente, l’elaborazione è principalmente batch, con limitata capacità di streaming, il che impatta negativamente sulla tempestività delle analisi e sulla reattività dei processi di business. Per questo motivo, il progetto mira a implementare un’architettura moderna che integri strumenti di streaming, con particolare attenzione a Spark Streaming , per consentire l’elaborazione continua di dati provenienti da fonti eterogenee.
Il progetto prevede:
- La progettazione e realizzazione di pipeline di streaming integrate con sistemi di messaggistica (Kafka) e storage distribuiti (HDFS, Amazon S3).
- La definizione di standard architetturali e best practice per garantire scalabilità, sicurezza e manutenibilità.
- L’ottimizzazione delle performance del sistema Big Data, riducendo la latenza e migliorando l’affidabilità dei dati.
- L’integrazione con strumenti batch e NoSQL per una gestione completa dei dati.
L’azienda si aspetta un approccio hands-on , con forte interazione con il team interno e capacità di guidare il cambiamento tecnologico in tempi rapidi. Questo intervento è cruciale per garantire insight tempestivi, supporto alle decisioni strategiche e una piattaforma resiliente e scalabile.
Ruolo e Responsabilità
Stiamo cercando un Big Data Engineer che collaborerà con il team interno per progettare e implementare pipeline di streaming basate su Spark Streaming , ottimizzando l’elaborazione dei dati in tempo reale. Il consulente sarà responsabile della definizione delle soluzioni tecniche, dell’integrazione con i sistemi esistenti e della garanzia di scalabilità e sicurezza dell’architettura.
L’obiettivo è affiancare il team nella creazione di un ecosistema Big Data robusto, capace di gestire sia elaborazioni batch che streaming, riducendo la latenza e migliorando la qualità delle informazioni disponibili. Il ruolo richiede una presenza costante sul campo e un approccio operativo, favorendo la collaborazione tra le funzioni aziendali e promuovendo soluzioni innovative.
Competenze Richieste
- Esperienza consolidata come Big Data Engineer in contesti complessi.
- Conoscenza approfondita di Spark Streaming e framework di elaborazione distribuita.
- Familiarità con strumenti batch (Spark, Hadoop, Hive) e storage distribuiti (HDFS, Amazon S3).
- Esperienza con sistemi di messaggistica e streaming (Kafka, Flink, Storm).
- Competenza in DB NoSQL (HBase, Cassandra, MongoDB).
- Ottima padronanza di linguaggi di programmazione (Scala, Python, Java), con focus su Scala .
- Conoscenza di architetture Big Data e pattern di data-architecture.
- Capacità di progettare soluzioni scalabili e sicure.
- Preferenziale: esperienza con Cloudera, Databricks, AWS.
- Fondamenti di Machine Learning e tecniche di data wrangling.
Dettagli Contrattuali
- Sede di lavoro : Full-Remote
- Tipologia Contrattuale : Consulente Autonomo Libero Professionista (Partita IVA)
- Engagement : Full Time
- Durata : Ingaggio iniziale fino a fine giugno 2026 con alta probabilità di estensioni progettuali