Pentaho Data Integration

• Einführung in Pentaho Data Integration (PDI): Machen Sie sich mit dem Zweck, den Funktionen und Möglichkeiten von Pentaho Data Integration vertraut, einschließlich seiner Rolle in ETL-Prozessen und im Datenmanagement.
• Überprüfung der Systemanforderungen: Stellen Sie sicher, dass Ihr System alle notwendigen Hardware- und Softwareanforderungen für die Installation und den Betrieb von PDI erfüllt.
• Installation: Laden Sie Pentaho Data Integration herunter und installieren Sie es auf Ihrem System gemäß den offiziellen Installationsrichtlinien. Überprüfen Sie, ob Spoon, das grafische ETL-Tool, richtig eingerichtet ist.
• Konfiguration: Konfigurieren Sie die PDI-Einstellungen entsprechend Ihren Projektanforderungen, einschließlich Datenbankverbindungen, Dateipfaden und Umgebungsvariablen.
• Vertrautmachen mit der Benutzeroberfläche: Erkunden Sie die Spoon-Oberfläche, einschließlich Transformationen, Jobs, Steps und Hops. Verstehen Sie den Unterschied zwischen Transformationen (Datenverarbeitung) und Jobs (Workflow-Orchestrierung).
• Integration von Datenquellen: Verbinden Sie PDI mit verschiedenen Datenquellen wie relationalen Datenbanken, Flat Files, APIs und Cloud-Speichern, um Rohdaten für die Verarbeitung zu extrahieren.
• Datenumwandlung: Verwenden Sie Transformationsschritte, um Daten zu bereinigen, zu filtern, zu aggregieren, zu verbinden und zu formatieren. Implementierung von Datenvalidierungs- und Deduplizierungstechniken zur Gewährleistung der Datengenauigkeit.
• Laden von Daten: Laden Sie transformierte Daten in Zielsysteme wie Data Warehouses, Cloud-Plattformen oder Reporting-Tools. Konfigurieren Sie Ausgabeschritte, um Daten in Formate wie CSV, JSON, XML und relationale Datenbanken zu exportieren.
• Workflow-Automatisierung und Job-Planung: Erstellen und konfigurieren Sie Jobs, um ETL-Workflows zu automatisieren, Batch-Prozesse zu planen und Abhängigkeiten zu verwalten. Integration mit externen Schedulern wie Cron oder Windows Task Scheduler.
• Fehlerbehandlung und Debugging: Implementieren Sie Mechanismen für die Fehlerbehandlung, Protokollierung und Debugging-Tools, um Probleme in ETL-Prozessen zu erkennen und zu beheben. Richten Sie Warnmeldungen und Wiederherstellungsstrategien für fehlgeschlagene Aufträge ein.
• Optimierung der Leistung: Optimieren Sie ETL-Workflows, indem Sie Parallelverarbeitung, Speicheroptimierung, Indizierungsstrategien und optimierte SQL-Abfragen einsetzen, um die Effizienz zu steigern.
• Integration von Big Data und Cloud: Erfahren Sie, wie Sie PDI in Big-Data-Plattformen wie Hadoop und Spark sowie in Cloud-Dienste wie AWS, Google Cloud und Azure für eine skalierbare Datenverarbeitung integrieren können.
• Integration von Dashboards und Berichten: Verbinden Sie PDI mit BI-Tools wie Pentaho Business Analytics, um verarbeitete Daten zu visualisieren und zu analysieren.
• Sicherheitsmanagement: Implementieren Sie Authentifizierung, rollenbasierte Zugriffskontrolle und Verschlüsselung, um sensible Daten innerhalb von PDI-Workflows zu schützen.
• Überwachung und Wartung: Überwachen Sie die Leistung von ETL-Jobs, beheben Sie Fehler und führen Sie routinemäßige Wartungsaufgaben durch, um den reibungslosen Betrieb von Datenpipelines sicherzustellen.
• Praktische Projekte und Anwendungsfälle aus der Praxis: Arbeiten Sie an praktischen Projekten, die reale Herausforderungen bei der Datenintegration simulieren und so die wichtigsten Konzepte und Best Practices vertiefen.
• Abschließende Bewertung und Zertifizierung: Führen Sie eine abschließende Prüfung durch, um Ihr Wissen und Ihre Fähigkeiten in Pentaho Data Integration zu bestätigen. Nach erfolgreichem Abschluss der Schulung erhalten Sie eine Zertifizierung.

Diese Liste ist nicht vollständig und es gibt noch viele weitere Themen, die in einem Seminar für Pentaho Data Integration behandelt werden können, abhängig von den spezifischen Bedürfnissen und Anforderungen der Teilnehmer.

Modul 1: Einführung in die Pentaho Data Integration

   Lektion 1: Ziele & Class Logistik

   Lektion 2: Was ist Pentaho Data Integration (PDI)?

Modul 2: Transformation Grundlagen

   Lektion 1: Erlernen der PDI-Benutzeroberfläche

   Lektion 2: Erstellen von Transformationen

   Lektion 3: Fehlerbehandlung und Logging Einleitung

   Lektion 4: Einführung in die Repositories

Modul 3: Lesen & Schreiben von Dateien

   Lektion 1: Input & Output Schritte

   Lektion 2: Parameter & kettle.properties

Modul 4: Arbeiten mit Datenbanken

   Lektion 1: Herstellen einer Verbindung zu einer Datenbank & Explore

   Lektion 2: Tabellen Input & Output

   Lektion 3: Einfügen, Aktualisieren und Löschen von Steps

   Lektion 4: Data Cleansing

   Lektion 5: Verwenden von Parametern und Argumente in SQL

 Modul 5: Datenflüsse & Nachschlagen

   Lektion 1: Das Kopieren und Verteilen von Daten

   Lektion 2: Lookups

   Lektion 3: Zusammenführen von Daten

Modul 6: Berechnungen

   Lektion 1: Verwendung vom Group By Step

   Lektion 2: Rechner

   Lektion 3: Regulärer Ausdruck

   Lektion 4: Benutzerdefinierte Java-Expression

   Lektion 5: JavaScript

Modul 7: Jobs Orchestrieren

   Lektion 1: Einführung in die Jobs

   Lektion 2: Senden von Alerts

   Lektion 3: Looping Bedingungen

   Lektion 4: Ausführen von Jobs von einem Terminal-Fenster

Modul 8: Planung

   Lektion 1: Einrichten des Schedulers

   Lektion 2: Überwachung geplanter Tasks

Modul 9: Untersuchung von Daten Integration Repositories

   Lektion 1: Die Pentaho Data Integration Repository

Modul 10: Detaillierte Protokollierung

   Lektion 1: Detaillierte Protokollierung der gesamten Ausführung

Grundsätzlich wird immer die letzte vom Hersteller freigegebene Version geschult.

https://pentaho.com/products/pentaho-data-integration/

Die Schulung ist relevant für:

Dateningenieure: Fachleute, die für den Entwurf, die Erstellung und die Verwaltung von Datenpipelines und ETL-Workflows zuständig sind, werden davon profitieren, dass sie lernen, wie man mit PDI Daten effizient extrahiert, transformiert und lädt.

Datenanalysten: Analysten, die große Datenmengen verarbeiten und bereinigen müssen, bevor sie Analysen und Berichte erstellen, können PDI zur Automatisierung von Datenvorbereitungsaufgaben einsetzen.

ETL-Entwickler: Entwickler, die sich auf ETL-Prozesse (Extrahieren, Transformieren, Laden) spezialisiert haben und die leistungsstarken Transformations- und Automatisierungsfunktionen von PDI für eine nahtlose Datenintegration nutzen möchten.

Business Intelligence (BI)-Fachleute: BI-Fachleute, die mit Berichts- und Visualisierungstools arbeiten, können PDI nutzen, um Daten für Dashboards und Analyseplattformen vorzubereiten und zu integrieren.

Datenbank-Administratoren (DBAs): DBAs, die für die Verwaltung und Optimierung des Datenflusses zwischen verschiedenen Systemen verantwortlich sind, können PDI zur Automatisierung der Datenaufnahme und -umwandlung verwenden.

Software-Entwickler: Entwickler, die mit datenintensiven Anwendungen arbeiten, können PDI erlernen, um den Datenfluss und die Integration zwischen verschiedenen Plattformen zu optimieren.

Big-Data-Fachleute: Fachleute, die mit Hadoop, Spark und Cloud-basierten Datenverarbeitungsplattformen arbeiten, können von der Integration von PDI in Big-Data-Ökosysteme profitieren.

Systemverwalter: IT-Fachleute, die für die Pflege von Daten-Workflows und die Sicherstellung der Datenverfügbarkeit verantwortlich sind, können PDI für die Automatisierung von Aufgaben und die Datensynchronisierung nutzen.

Projektmanager in datengesteuerten Umgebungen: Manager, die datenbezogene Projekte beaufsichtigen, können von den Fähigkeiten von PDI profitieren, um effiziente Datenintegrationsstrategien besser planen und umsetzen zu können.

Organisationen, die in die Cloud oder zu Data Lakes migrieren: Teams, die an Cloud-Migrationen, Data-Warehousing- oder Data-Lake-Implementierungen beteiligt sind, werden PDI für eine nahtlose Datenverschiebung und -umwandlung als nützlich empfinden.

Allgemeine Voraussetzungen, die Teilnehmer erfüllen sollten, um von einem solchen Seminar optimal zu profitieren:

Grundlegende Kenntnisse in Datenbanken: Verständnis von relationalen Datenbanken, SQL-Abfragen und grundlegenden Datenbankoperationen ist erforderlich, da PDI häufig mit Datenbanken interagiert.

Grundkenntnisse in ETL-Prozessen: Erfahrung mit Extraktion, Transformation und Laden (ETL) von Daten hilft, die Kernfunktionen von PDI besser zu verstehen.

Erfahrung mit Betriebssystemen: Kenntnisse in der Nutzung von Windows, Linux oder macOS sind notwendig, da PDI auf verschiedenen Plattformen installiert und konfiguriert wird.

Java-Laufzeitumgebung (JRE/JDK): PDI basiert auf Java, daher muss die Java Runtime Environment (JRE) oder das Java Development Kit (JDK) auf dem System installiert sein.

Kenntnisse in Datenintegration und Transformation: Grundverständnis für Datenmigration, Datenbereinigung und Transformationstechniken hilft beim effizienten Einsatz von PDI.

Erfahrung mit Skripting: Grundlegende Kenntnisse in JavaScript, Groovy oder Shell-Skripten können von Vorteil sein, insbesondere bei erweiterten Datenverarbeitungsanforderungen.

Systemanforderungen erfüllen: Der Computer sollte die Mindestanforderungen für PDI erfüllen, einschließlich ausreichend RAM, Speicherplatz und Prozessorleistung für große Datenverarbeitungsaufgaben.

Kenntnisse in Business Intelligence: Vertrautheit mit BI-Tools wie Pentaho Business Analytics oder anderen Reporting- und Dashboard-Lösungen kann hilfreich sein.

Es gibt verschiedene Zertifizierungen im Bereich Pentaho Data Integration (PDI), die Sie durch die Teilnahme an einem entsprechenden Seminar erwerben können. Die bekanntesten Zertifizierungen sind

Pentaho Certified Data Integration Developer
Pentaho Zertifizierter Berater für Business Analytics
Pentaho Zertifizierter Lösungsberater
Pentaho Kettle Data Integration Zertifizierung

Diese Zertifizierungen decken verschiedene Aspekte der Pentaho Data Integration ab, wie z.B. die Gestaltung und Implementierung von ETL-Prozessen, die Arbeit mit Transformationen und Jobs, die Integration verschiedener Datenquellen, die Optimierung der Leistung und die Automatisierung von Workflows.

Um die Zertifizierung zu erhalten, müssen Sie eine oder mehrere Prüfungen ablegen, die Ihre Fähigkeiten und Kenntnisse in diesem Bereich bewerten. Die genauen Anforderungen und Prüfungen variieren je nach Zertifizierung. Es ist daher wichtig, sich im Vorfeld über die Anforderungen und Prüfungen zu informieren, um gezielt auf die Zertifizierung hinzuarbeiten.

Bitte beachten Sie, dass unsere Seminare Sie auf Ihre tägliche Arbeit vorbereiten. Eine Zertifizierung ist nicht unser Ziel, dazu sind die Seminare zu starr strukturiert.

Wenn Sie als Unternehmen in die Weiterbildung Ihrer Mitarbeiter im Bereich der Pentaho Data Integration investieren, gibt es verschiedene Möglichkeiten, um sicherzustellen, dass sich diese Investition langfristig auszahlt:

Setzen Sie klare Ziele: Legen Sie gemeinsam mit Ihrem Mitarbeiter klare Ziele fest, die Sie durch die Teilnahme am Seminar erreichen möchten. Stellen Sie sicher, dass diese Ziele mit den Unternehmenszielen und -bedürfnissen in Einklang stehen.

Wählen Sie das richtige Seminar: Stellen Sie sicher, dass das Seminar, das Sie für Ihren Mitarbeiter auswählen, die Fähigkeiten und Kenntnisse vermittelt, die für die Erreichung der definierten Ziele erforderlich sind.

Bieten Sie Unterstützung und Ressourcen: Stellen Sie sicher, dass Ihr Mitarbeiter alle Ressourcen und Unterstützung erhält, die er benötigt, um das Seminar erfolgreich abzuschließen. Dazu können beispielsweise Zeit für das Selbststudium, Schulungsmaterialien oder technische Unterstützung gehören.

Planen Sie die Umsetzung der erworbenen Kenntnisse: Stellen Sie sicher, dass Ihr Mitarbeiter die erworbenen Kenntnisse und Fähigkeiten in der Praxis anwenden kann. Planen Sie beispielsweise Schulungen oder Projekte, bei denen er seine neuen Fähigkeiten einsetzen und vertiefen kann.

Verfolgen Sie den Fortschritt: Stellen Sie sicher, dass Sie den Fortschritt Ihres Mitarbeiters im Auge behalten und regelmäßig Feedback geben. Dadurch können Sie sicherstellen, dass die investierte Zeit und das Geld in eine qualitativ hochwertige Schulung langfristig zurückzahlen.

Wir unterstützen Sie dabei, Ihre Mitarbeiterinnen und Mitarbeiter nach dem Seminarbesuch an Ihr Unternehmen zu binden, indem wir ihnen die bestmöglichen Rahmenbedingungen bieten, um das Gelernte in die Praxis umzusetzen und mit Ihrem Unternehmen verbunden zu bleiben. Bitte kontaktieren Sie uns: investitionensichern@scngmbh.de

Dieses Seminar hat den Level "Administration / Basis und Aufbau".

Wenn Sie sich nicht sicher sind ob dieser Kurs das richtige Niveau für Sie hat, dann können Sie dies vorab mit dem Trainer abstimmen.

• Basiskenntnisse über Pentaho Administration – Pentaho Administration
• Erweiterte Kenntnisse über Pentaho Data Integration – Pentaho Data Integration
• Basiskenntnisse über Pentaho Report Data – Pentaho Report Data Modeling
• Erweiterte Kenntnisse über Pentaho Report Designer – Pentaho Report Designer I
• Basiskenntnisse über Pentaho Report Designer – Pentaho Report Designer II
• Pentaho Report Designer– Pentaho Report Designer Fast Track

IBM Big Data

IBM Big SQL: IBM Big SQL Administration
IBM Open Platform: IBM Open Platform mit Apache Hadoop

IBM Cloud und Data Platform

IBM Datacap: IBM Datacap Administration
IBM InfoSphere: IBM InfoSphere DataStage engine Administration for Information Server

IBM Data: IBM Data Studio / Optim

IBM DB2

IBM DB2 Administration: IBM DB2 Administration Linux
IBM DB2 Backup: IBM DB2 Backup und Recovery

Informatica

Informatica Data: Informatica DataQuality Administration
Informatica Master: Informatica Master Data Manager Administration

Jaspersoft

JasperSoft Studio: JasperSoft Studio Reports
JasperReport: JasperReport Server komplett

KNIME

KNIME Analytics: KNIME Analytics für Data Wranglers Aufbau
KNIME Server: KNIME Server Administrator

MicroStrategy Data

MicroStrategy Visual: MicroStrategy Visual Data Discovery
MicroStrategy Data-Warehouse-Schema-Design

Pentaho

Pentaho Data: Pentaho Data Integration
Pentaho Report: Pentaho Report Data Modeling

PostgreSQL / PostGIS

PostgreSQL: PostgreSQL Administration
PostgreSQL / PostGIS: PostgreSQL - PostGIS für Entscheider

Qlik

QlikView: QlikView Server Administrator
QlikView Tuning: QlikView Tuning und Skalieren

SAS

SAS Administration: SAS Metadata Administration
SAS Daten Management: SAS Daten Integration

Microsoft SQL Server

SQL Server: SQL Server Administration
SQL Server Admin: SQL Server Admin Update

Wir bieten Ihnen Seminare mit einem hohen Praxisbezug an. Die Inhalte und Übungen sind auf Ihre täglichen Aufgaben im Unternehmen ausgerichtet und verzichten vollständig auf Werbehinweise anderer Produkte des Softwareherstellers.

Alle Trainings bei uns sind herstellerunabhängig. Dies ermöglicht es uns kritische Betrachtungen zu den Produkten selbst und Vergleiche zu Wettbewerbern des Herstellers im Seminar anzubieten. Die Kursinhalte sind eigene Inhalte und aus den praktischen Erfahrungen unserer Trainer in Projekten abgeleitet.

Selbstverständlich können die Inhalte bei Firmenseminaren individuell an Ihre Bedürfnisse angepasst werden. Bitte sprechen Sie uns einfach an.

• Durchführungsgarantie - Durchführungsgarantie ab zwei Teilnehmern
• Mobile Klassenräume - die ideale Ergänzung bei Firmenseminaren
• Kostenfreier Support - für Fragen nach Seminarende
• Lieferung auf Rechnung - keine Vorkasse erforderlich
• Gespräch mit dem Trainer / Qualitätssicherung - lernen Sie den Trainer vorab kennen und einschätzen
• Klären der Seminarvorrausetzungen - sprechen Sie Ihre Kenntnisse mit dem Trainer durch
• Unterstützung bei den Reisekosten - bei Hotelübernachtungen übernehmen wir einen Teil der Kosten
• Verpflegung - ganztägig Kalt- / Warmgetränke und ein vollwertiges Mittagessen im Restaurant
• Lage der Schulungszentren - immer zentral gelegen und sehr gut erreichbar
• Rabatt - wir haben attraktive Preise, profitieren Sie zustätzlich von unseren Rabatten
• Remotelabs - Mieten Sie unsere Remotelabs für eigene Seminare oder als Ergänzung zu Ihren Firmenseminaren