Blog Archives

IoT messaging systems

RabbitMQ QPID HiveMQ Mosquitto Kafka Redis Focus broker, enterprise, multi protocoll broker, enterprise small footprint, non relaible networks small footprint, non relaible networks high througthput in memory db + messaging (text only) Semantics queue (standart, priority), pub/sub queue (standart, priority,

Veröffentlicht in Allgemein, BigData, Messaging

Hadoop stream processing

Apache Storm Spark Apache Samza Apache Flink Apache Apex Developer Hortonworks (Twitter) Databricks  LinkedIn dataArtisans DataTorrent Computation model Storm – streaming Trident – micro-batching Micro-batching Streaming Streaming or batching Streaming with time boundaries API Storm – programmatic Trident – declarative

Veröffentlicht in Allgemein, BigData, Java, Messaging

Hadoop file format comparison

Use case and environment IoT datalake use case. 6000 devices (with unique ID), measuring 3 values 60 time per second (60 Herz). One day of data (24 hours) – 31.104.000.000 records in database. Row in a table – [ID:int, timestamp:long,

Veröffentlicht in Allgemein, BigData, DWH

Hive vs Spak vs Impala

Hive 0.13 Spark 1.6 Impala 2.1 Support Hortonworks + Yahoo DataBricks + Yahoo Cloudera Cluster Management YARN YARN, Mesos, local YARN (Llama) Engine MR, Tez Spark impalad Where are tables stored HDFS HDFS (through Hive Metastore). Distributed shared object space

Veröffentlicht in Allgemein, BigData

OWB to ODI migration

Oracle has finaliy presented an oficial OWB to ODI migration utility and article describing typical migration path! Alternative tools and ways for OWB to ODI migration: OWB2ODI Converter Export Metadata from OWB by OMBScript and generation of ODI XML files.

Veröffentlicht in DWH, Oracle

ETL tool comparison

Loading Type OWB: ELT ODI: ELT Informatica: ETL, ELT with „Pushdown Optimization Option“ Pentaho: ETL DataStage: ETL Microsoft SSIS: ELT System Plfatform OWB: Windows, Unix ODI: Windows, Unix Informatica: Windows, Unix Pentaho: Windows, Unix, Other Platforms (JDK) DataStage: Windows, Unix,

Veröffentlicht in DWH

IBM Message Broker logging overview

Provided from IBM Message Broker platform Rudimentary Activity-Log (Start/End Broker, deployments etc. Operational perspective) Standart error logging (flow or transaction fails, queue full etc.) Logging in Flow (LOG Command in ESQL, Logging from Java Compute Node) Trace Node Monitoring events

Veröffentlicht in IBM Message Broker

IBM Message Broker automatic deployment (windows)

IBM Message Broker folgt der Unix Ideologie und hat eine Reihe von Konfiguration/Administration CommandLine Tools. Im Unix Style, werden diese Tools durch Shell Scripte erweitert und automatisiert. Im Windows kann das aber zum Problem werden. Zum Beispiel ist die Einbidung

Veröffentlicht in IBM Message Broker

Oracle ODI Interface-Sprache

Oracle ODI erkennt (wie jede andere gute Java Anwendung) die Sprache von der Betriebsystem-Umgebung. Aus unterschiedlichen Gründen (multinationales Entwickler-Team, schlecte Übersetzung, englische Dokumentation oder Tutorials) möchte man jedoch eine andere IDE Sprache festlegen. Um die Sprache in der aktuellen ODI

Veröffentlicht in DWH, Oracle

Java Hibernate + Oracle. Performance optimization.

Man kann grundsätzlich auf 3 verschiedenen Ebenen das Programm optimieren: Datenmodell Ebene Oracle Tuning (Indexes, Hints, Partitioning, Hardware und Betriebssystem Optimierung) Hibernate Tuning (fetch mode, caching, programm logic) Das Tuning auf dem Datenmodell Ebene ist eher unwahrscheinlich, wird meistens nur

Veröffentlicht in Java