How to generate a dynamic ETL Process with Apache Airflow

tl;dr Airflow uses DAGs (Directed Acyclic Graph) to orchestrate workflows. A DAG consists of a sequence of tasks, which can be implemented to perform the extract, transform and load processes. Instead of utilizing Airflow’s internal features to generate the ETL process, a custom solution is implemented to gain more flexibility. Jinja2 templates are used for the fixed code parts. Task … Read More

Niklas‘ 5 Tipps + Tricks zur AWS Zertifizierung

Tipp 1: Spare Kosten und beantrage Deine Fortbildungen bei Deinem Abteilungsleiter oder Deiner Abteilungsleiterin In meinem Jahresgespräch kam die Frage auf, welche Weiterbildung für mich sinnvoll wäre. Da es bereits in meinem aktuellen Projekt Berührungspunkte mit AWS gegeben hatte und Cloud Computing ein gängiges Thema bei vielen unserer Kunden war, fiel meine Wahl auf die Absolvierung eines AWS-Zertifikats und somit … Read More

Zusammenfassung der Erlang Factory Lite 2015 in Berlin

Dieses Jahr bin ich wieder voller Vorfreude nach Berlin aufgebrochen, auch weil es ein günstiges Angebot für die ICE-Tickets und das Hotel gab. Das Ticket für die Konferenz ist für das gebotene Program ebenfalls preislich absolut angemessen. Im Vergleich mit anderen Konferenzen also ein richtiger “Schnapper”! Am Abend vor der eigentlichen Konferenz wurde noch zu #elixbeer Treffen des Berlin.ex Meetup … Read More

code.talks 2015 – Das Klassentreffen der Hamburger IT

Alle paar Jahre wird man von seinen alten Mitschülern zu den allseits beliebten Klassentreffen eingeladen, zu denen sich viele anmelden und nur wenige kommen. Doch bei der code.talks sieht es anders aus: die Tickets sind begehrt und waren dieses Jahr bereits Wochen vor dem Termin ausverkauft – ein sehr gutes Zeichen! Früher hieß die code.talks noch „Developer-Conference-Hamburg“ und hat bei … Read More

[Scrum] Commitment – (Rarely?) A Love Story

Oft wird angeführt, dass dadurch zu viel Druck auf dem Team lastet, was letztlich zu Überstunden und schlechter Qualität (“heiße Nadel”) führt. Das Commitment wird oft als Metrik und als Performanceindikator wahrgenommen. Meist wird suggeriert, dass das Team schlechter gearbeitet hätte, wenn es das Commitment nicht erreicht. Das erzeugt Ängste und verleitet die Beteiligten, sich hauptsächlich auf das Erreichen dieser … Read More

ElixirConfEU in Krakau: Was Elixir und Erlang alles können

Die Konferenz hat gezeigt, dass Elixir nicht nur was für innovationsbegeisterte Neulinge ist. Viele „Alte Hasen“ und renommierte Firmen setzen auf Erlang und sind interessiert an einer Weiterentwicklung wie Elixir.  Zwar ist die Szene um diese Technologie bisher noch nicht so groß wie die von NodeJS, doch in den letzten Jahren hat sie sich als sehr beständig gezeigt. In vielerlei … Read More

#ANSIBLEFEST London 2015

London, February 2015, Hilton London Metropole, Edgware Road. London, where  „the steering wheel is on the proper side“ (Jeremy Clarkson) and everything feels a little bit different we had the opportunity to attend #ANSIBLEFEST which felt – amazing! What’s going on then… First of all I’ve learned that all of us have the same excuses for choosing Ansible in favor of … Read More