Data Engineer - Stream Processing F/H

> 3 years of experience

Permanent contract

45k€ ➞ 60k€/year

Rejoindre Sencrop c’est :

Aider les agriculteurs à nourrir de manière durable notre population croissante.
Intégrer une équipe qui valorise : les pratiques Agiles, la co-construction et la formation.
Prioriser la qualité de la donnée.

LE CONTEXTE

L’équipe Tech est organisée en petites équipes pluridisciplinaires (Soft/Product/Data) recherchant constamment le retour des utilisateurs sur notre application pour mieux les accompagner. Adeptes des pratiques Agile et Craft, la collaboration et la qualité de la donnée et du code sont primordiales.

Nous recherchons un ingénieur expérimenté en traitement des données, pour améliorer et étendre nos capacités en matière de gestion des données météorologiques.

VOTRE MISSION

Votre mission principale sera de :

Améliorer notre moteur de traitement de flux.
Participer à l'évolution de l'architecture globale de traitement des données et du stockage.
Améliorer la détection des anomalies et à cette fin, intégrer davantage d'algorithmes.
Intégrer de nouvelles fonctionnalités, apporter plus de sources de données.
Viser des données de très haute qualité
Améliorer la disponibilité des données pour tous les utilisateurs possibles
Assurer l'évolutivité de notre architecture
Travailler en étroite collaboration avec les Data Analyst et les Product Owners pour anticiper les nouveaux besoins en matière de données.

Notre stack technique :

Apache Flink
Apache Kafka, Kafka-connect
Hadoop/EMR for Flink
Scala
PostgreSQL
Python
AWS services
terraform automation

PROFIL RECHERCHE

Vous êtes au bon endroit si :

Vous avez une forte expérience avec un framework de traitement de données distribuées (spark, flink...).
Vous maîtrisez Scala et Python.
Expérience avec la qualité logicielle (tests automatisés...) dans un contexte de gros volume de données.
Forte connaissance des architectures de données distribuées (débit vs latence, CAP, etc.)
Forte attention portée à la qualité des données
Expérience dans le déploiement de clusters de calcul (ex. Hadoop)
Connaissance de l'automatisation des infrastructures
Des connaissances en machine-learning sont un plus.

BON À SAVOIR

Rôle clé dans une startup en pleine croissance
Organisation du travail flexible
Une équipe internationale
Onboarding à l'arrivée et formations à la demande
Nos hobbies : nature, sport, afterworks, ...
Une mutuelle attractive et gratuite (Alan)
Des avantages grâce à notre CSE (plateforme Leeto...)
Contrat : CDI
Lieu : Lille, Euratechnologies. Des bureaux flambant neufs dans un campus regroupant des milliers de personnes travaillant en entreprises et écoles de la Tech !

TeamOur Tech Team is composed of 23 experts dedicated to making a real impact in agriculture: - 13 people in Software - 6 people in Data - 4 persons in Product Sencrop empowers farmers to make the right decisions at the right time. Some of the tools and technologies we’re using: AWS Lambda, react and node.js, Elastic clusters, Kibana, postgres, github-actions, terraform, see https://stackshare.io/companies/sencrop

Home>Job offers

Skills

Backend

Scala

Python

Apache Flink

About the company

We are a passionate team committed to helping farmers in their daily lives and in their transition to a more sustainable agriculture. 🌾 Weather plays a key role in agriculture. A better knowledge of the weather allows farmers to protect their crops from risks (frost, diseases, pests...), to make better daily decisions and to reduce their environmental impact. Sencrop, an international AgTech startup, provides to farmers reliable, accurate, and ultralocal weather data through connected ag-weather stations. Our mission is to empower every farmer to reduce their crop risks and take better decisions, with a positive impact on our planet. We built Europe's largest collaborative data-driven platform connected to the fields. More than 20.000 farmers are using our connected ag-weather stations to receive real-time data & forecasts for temperature, humidity, wind speed, and rainfall in their fields. Click here to discover our application: https://bit.ly/3qdQvzq. Our SaaS platform ingests millions of weather data points from all over Europe every day in order to help our users decide in real-time the course of action they should take in any weather event. Sencrop helps farmers make the best farming choices at the right time: crop protection/sowing/irrigation… just to name a few. OUR VALUES - Customer-centricity: we listen to our customers - Personal responsibility: everyone contributes - Creativity: we bring ideas, test and learn - Honesty: we create an atmosphere of trust and confidence - Sharing: a real team spirit - Scientific approach: a scientific process for innovation Read more