Nachfolgend führe ich Sie Schritt für Schritt durch die Einrichtung.

• Zertifikate für SSL-Verbindungen zu Remote-Sources importieren
• Remote Datenquelle über SQL anlegen
• Virtuelle Tabelle über SQL anlegen
• Remote Datenquelle über SAP HANA Database Explorer anlegen
• Virtuelle Tabelle über SQL SAP HANA Database Explorer anlegen

Zertifikate für SSL-Verbindungen zu Remote-Sources importieren

Zunächst müssen Sie ein SSL-Zertifikat herunterladen. Führen Sie den folgenden Befehl in der Eingabeaufforderung aus.

curl -O https://dl.cacerts.digicert.com/DigiCertGlobalRootCA.crt.pem

Legen Sie anschließend in der HANA Datenbank eine Zertifikatssammlung an.

CREATE PSE datasphere_ch_pse;

Legen Sie nun mit dem Inhalt des heruntergeladenen Zertifakts einen neuen Zertifikat auf der Datenbank an.

CREATE CERTIFICATE datasphere_ch_cert FROM '
-----BEGIN CERTIFICATE-----
MIIDrzCCApegAwIBAgIQCDvgVpBCRrGhdWrJWZHHSjANBgkqhkiG9w0BAQUFADBh
MQswCQYDVQQGEwJVUzEVMBMGA1UEChMMRGlnaUNlcnQgSW5jMRkwFwYDVQQLExB3
d3cuZGlnaWNlcnQuY29tMSAwHgYDVQQDExdEaWdpQ2VydCBHbG9iYWwgUm9vdCBD
QTAeFw0wNjExMTAwMDAwMDBaFw0zMTExMTAwMDAwMDBaMGExCzAJBgNVBAYTAlVT
...
-----END CERTIFICATE-----'; 

Fügen Sie nun das angelegte Zertifikat zur Zertifikatssammlung hinzu.

ALTER PSE datasphere_ch_pse ADD CERTIFICATE datasphere_ch_cert;

Setzen Sie schließlich den Zweck der neu angelegten PSE auf REMOTE SOURCE.

SET PSE datasphere_ch_pse PURPOSE REMOTE SOURCE;

Remote Datenquelle über SQL anlegen

Legen Sie nun eine Remote-Quelle an. Nutzen Sie den Hostnamen und den Datasphere Datenbank Benutzer. Für on-premises HANA Datenbank müssen Sie ggf. die Whitelist von Datasphere mit der IP ergänzen. Für HANA Cloud innerhalb derselben BTP Instanz war es nicht notwendig.

CREATE REMOTE SOURCE <remote_source_name> ADAPTER "hanaodbc" 
    CONFIGURATION 'Driver=libodbcHDB.so;ServerNode=<HANA_Cloud_endpoint>;
    encrypt=TRUE;'
    WITH CREDENTIAL TYPE 'PASSWORD' USING 'user=<user_name>;password=<password>';

Zum Beispiel:

CREATE REMOTE SOURCE "DSP_SHARE_TO_HANA" ADAPTER "hanaodbc" 
    CONFIGURATION 'Driver=libodbcHDB.so;ServerNode=dcc5315a-xxx.hna0.prod-eu10.hanacloud.ondemand.com:443;
    encrypt=TRUE;'
    WITH CREDENTIAL TYPE 'PASSWORD' USING 'user=YOURSPACE#YOURUSER;password=YourPassword';

Virtuelle Tabelle über SQL anlegen

Anschließend können Sie die Datenquelle nutzen, um eine Virtuelle Tabelle anzulegen. Dabei können Sie auf der Datasphere Datenbank angelegten Tabellen oder Views nutzen, mit der aktivierten Option „Für die Verwendung verfügbar machen“ (English Expose for Consumption). Diese Views erscheinen automatisch in der Datenbank.

CREATE VIRTUAL TABLE "<target space>"."<target table>" AT "<remote connection>"."<source database>"."<source space>"."<source table or view>";

Zum Beispiel:

CREATE VIRTUAL TABLE "DBADMIN"."VT_ZDR_VW_001" AT "DSP_SHARE_TO_HANA"."<NULL>"."MYSPACE"."ZDR_VW_001";

Diese Tabelle kann nun ganz normal genutzt werden.

SELECT * FROM "DBADMIN"."VT_ZDR_VW_001" LIMIT 100;

Remote Datenquelle über SAP HANA Database Explorer anlegen

Alternativ kann die Datenquelle über die Database Explorer Oberfläche angelegt werden. Selektieren Sie dazu im Catalog den Eintrag Remote Sources und wählen Sie im Untermenü Add Remote Source aus.

Geben Sie nun den Namen der Datenquelle ein und füllen Sie die Felder aus. Nutzen Sie dabei den Hostnamen, Port 443 und den Datasphere Datenbank Benutzer.

Klicken Sie anschließend auf Create. Für on-premises HANA Datenbank müssen Sie ggf. die Whitelist von Datasphere mit der IP ergänzen. Für HANA Cloud innerhalb derselben BTP Instanz war es nicht notwendig.

Virtuelle Tabelle über SQL SAP HANA Database Explorer anlegen

Wählen Sie nun das Schema und den Objekttyp aus und klicken Sie auf Search. Selektieren Sie nun das gewünschte Objekt und klicken Sie auf Create Virtual Object(s).

Geben Sie nun den Namen des Objekts und wählen Sie das Schema aus. Klicken Sie anschließend auf Create.

Nun steht die Tabelle im Database Explorer zur Verfügung.

Ihre User beklagen sich über langsame Berichte?

• In meinem Newsletter lernen Sie, wie Sie Abhilfe schaffen.
• Entdecken Sie die Möglichkeiten der Performanceoptimierung.
• Praktische Anleitungen ermöglichen Ihnen schnelle Erfolge bei der Optimierung von SAP Systemen.
• Viele Tipps und Tricks zu SAP BI Themen.
• Holen Sie die maximale Performance aus Ihrem SAP BI!
• Bei der Anmeldung zu meinem Newsletter erhalten Sie das Buch „High Performance SAP BI“ als Willkommensgeschenk.

Jetzt anfordern!

Vorname

E-Mail *

* Pflichtfeld

 

Kein SPAM. Ich hasse Spam genau so wie du.

Markdown Crashkurs

Alles was du brauchst, auf einen Blick.

Überschriften

Wichtig: Nach # kommt immer ein Leerzeichen. Leerzeilen zwischen Blöcken sorgen für saubere Trennung.

Markdown

# Überschrift 1 (größte)
## Überschrift 2
### Überschrift 3
#### Überschrift 4

Ergebnis

Textformatierung

Listen

Ungeordnet

- Punkt 1
- Punkt 2
  - Unterpunkt
  - Noch einer

Ergebnis

Geordnet

1. Erster
2. Zweiter
3. Dritter

Ergebnis

Checkboxen (To-Do Listen)

- [x] Erledigt
- [ ] Offen
- [ ] Noch zu tun

Ergebnis

Links & Bilder

[Link-Text](https://example.com)
![Bild-Beschreibung](bild.png)

Ergebnis

Zitate

> Das ist ein Zitat
> Zweite Zeile

Ergebnis

Code-Blöcke

```js
const x = 42;
console.log(x);
```

Ergebnis

const x = 42;
console.log(x);

Tabellen

| Spalte 1 | Spalte 2 | Spalte 3 |
|----------|----------|----------|
| Wert A   | Wert B   | Wert C   |
| Wert D   | Wert E   | Wert F   |

Ergebnis

Horizontale Linie

---

Ergebnis

Das Kommunikationssystem stellt über einen Kommunikationsbenutzer die Verbindung her. Es stellt die über eine Kommunikationsvereinbarung zugewiesene (und in Kommunikationsszenarien gebündelte) APIs für den Datenaustausch zur Verfügung.

• Communication System – Kommunikationssystem
• Communication User – Kommunikationsbenutzer
• Communication Scenario – Kommunikationsszenario
• Communication Arrangement – Kommunikationsvereinbarung

Communication System – Kommunikationssystem

Das Kommunikationssystem stellt das Herzstück der Verbindung dar. Es repräsentiert die Gegenpartei in der Kommunikation, zum Beispiel Systeme SAP Analytics Cloud oder SAP Datasphere.

Für eingehende (inbound) Kommunikation ist es das System, das Services aufruft, die von Ihrem System bereitgestellt werden. Aus Sicht von S/4HANA das Zielsystem, z.B. SAP Analytics Cloud, SAP Datasphere oder andere Systeme, die Daten von S/4HANA konsumieren.

Für ausgehende (outbound) Kommunikation ist es das System, das Services bereitstellt, die von Ihrem System aufgerufen werden. Aus Sicht von S/4HANA das Quellsystem, z.B. SAP Integration Suite, SAP Ariba oder andere Systeme, die Daten an S/4HANA liefern.

Das Kommunikationssystem wird in der App Communication Systems (App ID F1762) angelegt.

Bei dem Namen des Kommunikationssystems sollten Sie den Typ sowie die ID des Systems nutzen. Zum Beispiel SAC_CH_DEV

Die Authentifizierung der Kommunikation zwischen den Systemen erfolgt über einen Kommunikationsbenutzer.

Communication User – Kommunikationsbenutzer

Die Kommunikationssysteme nutzen Kommunikationsbenutzer, um sich für die Datenbereitstellung zu authentifizieren. Eine Datenübermittlung ist nur möglich, wenn das jeweilige System die von Ihnen hinterlegten Anmeldedaten verwendet. Dabei ist der Kommunikationsbenutzer einem Kommunikationssystem zugeordnet.

Die Kommunikationsbenutzer werden mithilfe der App Maintain Communication Users (App ID F1338) verwaltet.

Ich schlage folgende Namenskonvention für Kommunikationsbenutzer vor: <system>_<user inbound/outbound>

Zum Beispiel: SAC_CH_DEV_COM_IN

Communication Scenario – Kommunikationsszenario

Kommunikationsszenarien bündeln ein- und ausgehende APIs bzw. Services, die für bestimmte Prozesse erforderlich sind. Jede Kommunikationsvereinbarung muss auf einem Kommunikationsszenario basieren. Für alle Standard-APIs stellt SAP S/4HANA Cloud vordefinierte Kommunikationsszenarios bereit. Zum Beispiel für Finance.

Jedes API im SAP Business Accelerator Hub ist mit mindestens einem Kommunikationsszenario verknüpft. Zum Beispiel Company Code. Wenn Sie ein Standard-Kommunikationsszenario nicht im System sehen, müssen Sie prüfen, ob das entsprechende Scope-Item aktiviert ist. Darüber hinaus können Sie auch eigene CDS Views als APIs definieren.

Kommunikationsszenarien können in der App Display Communication Scenarios (App ID F3707) angezeigt werden.

Communication Arrangement – Kommunikationsvereinbarung

Kommunikationsvereinbarung verknüpft ein Kommunikationsszenario mit dem Kommunikationssystem. Das eingehende Kommunikationsvereinbarung definiert, wie Daten vom Kommunikationspartner (das Kommunikationssystem) empfangen werden, während die ausgehende Kommunikationsvereinbarung definiert, wie Daten an den Kommunikationspartner (das Kommunikationssystem) gesendet werden. Das Kommunikationsszenario legt die Berechtigungen, die ein- und ausgehenden Services sowie die unterstützten Authentifizierungsmethoden fest, die für die Kommunikation erforderlich sind.

Kommunikationsvereinbarungen werden in der App Communication Arrangements (App ID F1763) angelegt.

Ich schlage folgende Namenskonvention vor: <system>_<communication scenario>

Zum Beispiel SAC_CH_DEV_SAP_COM_0087

Ihre User beklagen sich über langsame Berichte?

• In meinem Newsletter lernen Sie, wie Sie Abhilfe schaffen.
• Entdecken Sie die Möglichkeiten der Performanceoptimierung.
• Praktische Anleitungen ermöglichen Ihnen schnelle Erfolge bei der Optimierung von SAP Systemen.
• Viele Tipps und Tricks zu SAP BI Themen.
• Holen Sie die maximale Performance aus Ihrem SAP BI!
• Bei der Anmeldung zu meinem Newsletter erhalten Sie das Buch „High Performance SAP BI“ als Willkommensgeschenk.

Jetzt anfordern!

Vorname

E-Mail *

* Pflichtfeld

 

Kein SPAM. Ich hasse Spam genau so wie du.

Sie können den SDI Data Provisioning Agent entweder auf Windows oder Linux installieren. Folgen Sie dazu den jeweiligen Schritten in diesem Blog.

• Data Provisioning Agent herunterladen
• Windows Installation und Konfiguration
  • Benutzer anlegen
  • Installation starten
  • Data Provisioning Agent ausführen
  • Datasphere IP Allowlist pflegen
  • Datasphere Agent anlegen
  • Data Provisioning Agent mit Datasphere verbinden
  • Adapter in Datasphere registrieren
  • Verbindung konfigurieren
  • Zugriff auf Data Provisioning Agent Logs aktivieren
• Linux Installation und Konfiguration
  • Benutzer anlegen
  • Installation starten
  • Data Provisioning Agent ausführen
  • Datasphere IP Allowlist pflegen
  • Datasphere Agent anlegen
  • Data Provisioning Agent mit Datasphere verbinden
  • Adapter in Datasphere registrieren
  • Verbindung konfigurieren
  • Zugriff auf Data Provisioning Agent Logs aktivieren

Data Provisioning Agent herunterladen

Zunächst müssen Sie die aktuelle Version des Data Provisioning Agents herunterladen. Diese bekommen Sie unter SAP Development Tools oder im Software Center unter HANA DP AGENT 2.0 (SUPPORT PACKAGES AND PATCHES) /HANA DP AGENT 2.0.

Dabei erfordert der Download über SAP Development Tools keine Anmeldung. Wählen Sie die Version für Ihr Betriebssystem (Windows oder Linux) aus, laden Sie das Archiv herunter und entpacken Sie den Inhalt.

Windows Installation und Konfiguration

Benutzer anlegen

Für die Einrichtung des Data Provisioning Agents ist ein Benutzer mit Passwort erforderlich. Sie können einen neuen Benutzer über Konten → Andere Benutzer anlegen. In meinem Beispiel verwende ich einen lokalen Benutzer.

Installation starten

Öffnen Sie den entpackten Ordner und führen Sie das Programm hdbsetup.exe als Administrator aus. Nun werden Sie mithilfe der grafischen Oberfläche durch die Installationsschritte geführt.

Wählen Sie zunächst den Dateipfad, unter dem SAP HANA Data Provisioning Agent installiert werden soll. In meinem Beispiel nutze ich den Standardpfad C:\usr\sap\dataprovagent

Vergeben Sie nun einen Namen für den Agent und geben Sie den Benutzer samt Passwort ein. Andere Einstellungen können Sie bei Standard belassen. Um die Domain nachzuschlagen, können Sie Windows Taste und R drücken (um Ausführen zu starten) und sysdm.cpl ausführen, um die Systemeigenschaften anzuzeigen.

Im Reiter Computername können Sie die Domain einsehen.

In meinem Beispiel verwende ich einen lokalen Benutzer. Daher nutze ich statt der Domain den Computernamen.

Im nächsten Schritt können Sie die Einstellungen nochmals überprüfen, bevor Sie die Installation starten.

Nun wird die Installation durchgeführt.

Nach der erfolgreichen Installation muss der Computer ggf. neu gestartet werden.

Data Provisioning Agent ausführen

Nun wollen wir die Installation überprüfen. Starten Sie dazu die Eingabeaufforderung als Administrator.

Navigieren Sie zu dem Installations-Verzeichnis des Data Provisioning Agents (C:\usr\sap\dataprovagent) und Unterverzeichnis bin.

cd C:\usr\sap\dataprovagent\bin

Starten Sie die Konfiguration mit dem folgenden Befehl:

agentcli.bat --configAgent

Falls Sie eine Java Fehlermeldung erhalten, stellen Sie sicher, dass Sie die Eingabeaufforderung als Administrator ausgeführt haben.

Falls Sie die folgende Fehlermeldung erhalten, war das eingegebene Benutzerpasswort falsch: Exception occurred: Agent service did not start due to a logon failure. Check the password for the account name. Return code: 1069.

Sie können das Passwort in den Windows Diensten anpassen. Drücken Sie Windows Taste und R (um Ausführen zu starten) und geben Sie services.msc ein.

Selektieren Sie den Dienst SAP_HANA_SDI_Agent_Service_Daemon_[Name Ihres Agents] und wechseln Sie über Rechtsklick zu den Eigenschaften.

Im Reiter Anmelden können Sie das Passwort anpassen. Der Punkt vor dem Benutzernamen deutet an, dass es sich um ein lokales Konto handelt. Normalerweise würde da die Domain stehen.

Datasphere IP Allowlist pflegen

Damit unser lokal installierter Agent mit Datasphere kommunizieren kann, muss seine IP zu der Whitelist in SAP Datasphere hinzugefügt werden.

Wechseln Sie bitte zu Datasphere und folgen Sie dem Menupfad System → Configuration.

Wählen Sie anschliessend den Reiter IP Allowlist aus.

Fügen Sie über Add eine neue IP Range hinzu, die erlaubt werden soll. Nutzen Sie dabei Ihre öffentliche IP Adresse. Diese können Sie zum Beispiel auf der Webseite Wie ist meine IP-Adresse einsehen.

Datasphere Agent anlegen

Wechseln Sie nun zum Reiter Data Integration und fügen Sie einen neuen On-Premise Agent hinzu.

Vergeben Sie einen Namen für den Agent und klicken Sie auf Create.

Nun werden die Informationen angezeigt, die Sie für die Konfiguration des Data Provisioning Agents benötigen:

• Agent name
• HANA server (host name)
• HANA port
• HANA user name for agent messaging
• HANA user password for agent messaging

Data Provisioning Agent mit Datasphere verbinden

Wechseln Sie nun zurück in die Eingabeaufforderung und wählen Sie in DPAgent Configuration Tool die Option 7 aus, Connect the Configuration Tool to SAP HANA.

Wählen Sie anschließend die Option 2 aus, Connect to SAP Datasphere via JDBC.

Kopieren Sie nun die Werte aus Datasphere in die Eingabeaufforderung. Für die anderen Werte, wie JDBC Verschlüsselung und Proxy Server, können Sie die Standardwerte übernehmen.

Drücken Sie nun Enter, um die Konfiguration abzuschliessen. Den Datasphere Dialog mit den Einstellungen können Sie ebenfalls schliessen.

Alternativ können Sie die Werte vor der Konfiguration über Data Provisioning Agent in der Datei dpagentconfig.ini im Verzeichnis C:\usr\sap\dataprovagent einpflegen. Dann müssen Sie nur den Benutzer und das Password konfigurieren. Die anderen Werte können Sie mit der Enter Taste aus dem Vorschlagswert übernehmen. In der nachfolgenden Tabelle finden Sie die Übersicht.

Damit die Änderungen übernommen werden, müssen Sie den Agenten (Service) neustarten.

Kehren Sie mit b (für Back) zum Hauptmenü des Data Provisioning Agents zurück und wählen Sie die Option 2, Start or Stop Agent aus.

Stoppen Sie zunächst den Agent mit der Option 2, Stop Agent Using Service.

Kehren Sie mit Enter zum vorherigen Menu zurück und starten Sie den Agent erneut mit der Option 1, Start Agent Using Service.

Unter Windows können Sie auch den Dienst SAP_HANA_SDI_Agent_Service_Daemon_[Name Ihres Agents] einfach neustarten.

Um die Dienste aufzurufen, drücken Sie Windows Taste und R (um Ausführen zu starten) und geben Sie services.msc ein.

Das Herstellen der Verbindung kann ca 3 Minuten dauern. Der Fortschritt kann anhand von Logs nachvollzogen werden. Öffnen Sie dazu in C:\usr\sap\dataprovagent\log die Datei framework.trc

Sie können den Status im Hauptmenü über die Option 1, Agent Status einsehen.

Nach der erfolgreichen Verbindung ändert sich auch der Status in Datasphere. Nutzen Sie zur Aktualisierung den Eintrag Refresh Agents.

Adapter in Datasphere registrieren

Nun können Sie die Adapter in Datasphere registireren. Selektieren Sie Ihren Agent, klicken Sie auf die drei Punkte und wählen Sie im Untermenü Edit aus.

Selektieren Sie die Adapter, die Sie nutzen möchten, und bestätigen Sie die Auswahl mit Save.

Verbindung konfigurieren

Nun kann der Data Provisioning Agent in der Verbindung ausgewählt werden und das Model Import Feature steht zur Verfügung.

Zugriff auf Data Provisioning Agent Logs aktivieren

Neben lokalen Logs können Sie auch auf die Logs des Data Provisioning Agent in Datasphere zugreifen. Dazu müssen Sie im Data Provisioning Agent einen FileAdapter Access Token konfigurieren. Führen Sie dazu in bin Verzeichnis, z.B. C:\usr\sap\dataprovagent\bin den folgenden Befehl aus:

agentcli.bat --setSecureProperty

Wählen Sie anschliessend im Menü die Option 14, Set FileAdapter Access Token, aus. Vergeben Sie ein Passwort und bestätigen Sie diesen nochmals.

Passen Sie nun Ihren Agent an. Wählen Sie unter Enable Log Access die Option true aus und fügen Sie das zuvor angelegte Passwort ein.

Nun können die Logs in Datasphere eingesehen werden.

Linux Installation und Konfiguration

Das folgende Beispiel basiert auf SUSE Linux Enterprise 16.0, da Ubuntu Distribution nicht unterstützt wird. Alternativ können Sie Red Hat Enterprise Linux verwenden.

Benutzer anlegen

Für die Einrichtung des Data Provisioning Agents ist ein Benutzer mit Passwort erforderlich. Dazu können Sie den folgenden Befehl verwenden:

sudo useradd [Benutzer]

Zum Beispiel:

sudo useradd dpagent

Vergeben Sie anschliessend ein Passwort für den Benutzer:

sudo passwd [Benutzer]

sudo passwd dpagent

Installation starten

Um den Standardinstallationsort (/usr/sap/dataprovagent) zu verwenden, muss der Agent-Benutzer Schreibzugriff auf das Verzeichnis haben. Legen Sie den Ordner mit sudo an und weisen Sie den Agent-Benutzer die notwendigen Berechtigungen zu.

sudo mkdir -p /usr/sap/dataprovagent
sudo chown dpagent:dpagent /usr/sap/dataprovagent
sudo chmod 755 /usr/sap/dataprovagent

Starten Sie anschliessend die Installation als Agent-Benutzer. Zunächst müssen Sie die Installationsdateien ausführbar machen.

su - dpagent
sudo chmod +x hdbinst
sudo chmod +x instruntime/sdbrun

Anschliessend können Sie die Installation starten:

./hdbinst --silent --batch --path="/usr/sap/dataprovagent" --agent_listener_port=5050 --agent_admin_port=5051

Data Provisioning Agent ausführen

Bitte beachten Sie, dass auf einem Linux-Host mehrere Instanzen des Datenbereitstellungs-Agent installiert werden können. Setzen Sie daher eine Umgebungsvariable DPA_INSTANCE auf den Root-Speicherort der Installation (/usr/sap/dataprovagent). Stellen Sie sicher, dass Sie DPA_INSTANCE auf die Instanz setzen, die Sie ändern möchten, bevor Sie das Konfigurationstool starten. Wenn Sie die Umgebungsvariable nicht korrekt setzen, können Sie die Konfiguration einer anderen Agenteninstanz unbeabsichtigt ändern.

export DPA_INSTANCE=/usr/sap/dataprovagent

Navigieren Sie zu dem Installations-Verzeichnis des Data Provisioning Agents (/usr/sap/dataprovagent/) und Unterverzeichnis bin.

cd /usr/sap/dataprovagent/bin

Starten Sie die Konfiguration mit dem folgenden Befehl:

./agentcli.sh --configAgent

Datasphere IP Allowlist pflegen

Damit unser lokal installierter Agent mit Datasphere kommunizieren kann, muss seine IP zu der Whitelist in SAP Datasphere hinzugefügt werden.

Wechseln Sie bitte zu Datasphere und folgen Sie dem Menupfad System → Configuration.

Wählen Sie anschliessend den Reiter IP Allowlist aus.

Fügen Sie über Add eine neue IP Range hinzu, die erlaubt werden soll. Nutzen Sie dabei Ihre öffentliche IP Adresse. Diese können Sie zum Beispiel auf der Webseite Wie ist meine IP-Adresse einsehen.

Datasphere Agent anlegen

Wechseln Sie nun zum Reiter Data Integration und fügen Sie einen neuen On-Premise Agent hinzu.

Vergeben Sie einen Namen für den Agent und klicken Sie auf Create.

Nun werden die Informationen angezeigt, die Sie für die Konfiguration des Data Provisioning Agents benötigen:

• Agent name
• HANA server (host name)
• HANA port
• HANA user name for agent messaging
• HANA user password for agent messaging

Data Provisioning Agent mit Datasphere verbinden

Wechseln Sie nun zurück in die Eingabeaufforderung und starten Sie den Agenten. Wählen Sie in DPAgent Configuration Tool die Option 2 aus, Start or Stop Agent. Wählen Sie im nächsten Menü die Option 1, Start Agent Using Service aus.

Nun können wir die Verbindung zu Datasphere konfigurieren. Wechseln Sie mit b zum Hauptmenü und wählen Sie die Option 7 aus, Connect the Configuration Tool to SAP HANA. Wählen Sie anschließend die Option 2 aus, Connect to SAP Datasphere via JDBC.

Kopieren Sie nun die Werte aus Datasphere in die Eingabeaufforderung. Für die anderen Werte, wie JDBC Verschlüsselung und Proxy Server, können Sie die Standardwerte übernehmen. Standardwerte können mit der Enter Taste übernommen werden.

Drücken Sie nun Enter, um die Konfiguration abzuschliessen. Den Datasphere Dialog mit den Einstellungen können Sie ebenfalls schliessen.

Alternativ können Sie die Werte vor der Konfiguration über Data Provisioning Agent in der Datei dpagentconfig.ini im Verzeichnis /usr/sap/dataprovagent einpflegen. Dann müssen Sie nur den Benutzer und das Password konfigurieren. Die anderen Werte können Sie mit der Enter Taste aus dem Vorschlagswert übernehmen. In der nachfolgenden Tabelle finden Sie die Übersicht.

Damit die Änderungen übernommen werden, müssen Sie den Agenten (Service) neustarten.

Kehren Sie mit b (für Back) zum Hauptmenü des Data Provisioning Agents zurück und wählen Sie die Option 2, Start or Stop Agent aus. Stoppen Sie zunächst den Agent mit der Option 2, Stop Agent Using Service.

Kehren Sie mit Enter zum vorherigen Menu zurück und starten Sie den Agent erneut mit der Option 1, Start Agent Using Service.

Das Herstellen der Verbindung kann ca 3 Minuten dauern. Der Fortschritt kann anhand von Logs nachvollzogen werden. Öffnen Sie dazu in C:\usr\sap\dataprovagent\log die Datei framework.trc

Sie können den Status im Hauptmenü über die Option 1, Agent Status einsehen.

Nach der erfolgreichen Verbindung ändert sich auch der Status in Datasphere. Nutzen Sie zur Aktualisierung den Eintrag Refresh Agents.

Adapter in Datasphere registrieren

Nun können Sie die Adapter in Datasphere registireren. Selektieren Sie Ihren Agent, klicken Sie auf die drei Punkte und wählen Sie im Untermenü Edit aus.

Selektieren Sie die Adapter, die Sie nutzen möchten, und bestätigen Sie die Auswahl mit Save.

Verbindung konfigurieren

Nun kann der Data Provisioning Agent in der Verbindung ausgewählt werden und das Model Import Feature steht zur Verfügung.

Zugriff auf Data Provisioning Agent Logs aktivieren

Neben lokalen Logs können Sie auch auf die Logs des Data Provisioning Agent in Datasphere zugreifen. Dazu müssen Sie im Data Provisioning Agent einen FileAdapter Access Token konfigurieren. Führen Sie dazu in bin Verzeichnis, z.B. /usr/sap/dataprovagent/bin den folgenden Befehl aus:

./agentcli.sh --setSecureProperty

Wählen Sie anschliessend im Menü die Option 14, Set FileAdapter Access Token, aus.

Vergeben Sie ein Passwort und bestätigen Sie diesen nochmals.

Passen Sie nun Ihren Agent an. Wählen Sie unter Enable Log Access die Option true aus und fügen Sie das zuvor angelegte Passwort ein. Speichern Sie anschliessend die Änderungen.

Nun können die Logs in Datasphere eingesehen werden.

Ihre User beklagen sich über langsame Berichte?

• In meinem Newsletter lernen Sie, wie Sie Abhilfe schaffen.
• Entdecken Sie die Möglichkeiten der Performanceoptimierung.
• Praktische Anleitungen ermöglichen Ihnen schnelle Erfolge bei der Optimierung von SAP Systemen.
• Viele Tipps und Tricks zu SAP BI Themen.
• Holen Sie die maximale Performance aus Ihrem SAP BI!
• Bei der Anmeldung zu meinem Newsletter erhalten Sie das Buch „High Performance SAP BI“ als Willkommensgeschenk.

Jetzt anfordern!

Vorname

E-Mail *

* Pflichtfeld

 

Kein SPAM. Ich hasse Spam genau so wie du.

Setup

Zuerst installieren wir die benötigten Module. In diesem Beispiel verwende ich einfachheitshalber Langchain, Langchain HANA und OpenAI. Für die Kommunikation mit der HANA Cloud Datenbank wird SAP HANA Python Client hdbcli verwendet. Für die Arbeit mit PDF Dateien nutze ich pypdf. Für die Verwaltung von Umgebungsvariablen nutze ich python-dotenv.

pip install hdbcli
pip install pypdf
pip install langchain
pip install langchain-hana
pip install python-dotenv

Im nächsten Schritt werden diese importiert

import os
from dotenv import load_dotenv
from hdbcli import dbapi
from pypdf import PdfReader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_hana import HanaDB
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from datetime import datetime

Die API Schlüssel und die Konstanten für den Datenbankzugriff werden in der .env Datei im folgenden Format abgelegt. Dabei werden keine Leerzeichen oder Klammern genutzt. Im Beitrag Wie Sie einen SAP Datasphere Datenbankbenutzer anlegen habe ich detailliert die Einrichtung eines Bentuzers für die HANA Cloud Datenbank von Datasphere beschrieben. Sie können auch eine dedizierte HANA Cloud Datenbank auf BTP nutzen, um die Last auf Datasphere zu verringern.

OPENAI_API_KEY=your_api_key
dbUser=space#user
dbPassword=your_db_user_password
dbHost=your_host
dbPort=your_port_eg_444
dbTable=name_of_the_table

Diese Informationen werden nun in die Umgebungsvariablen geladen, um später auf diese zugreifen zu können.

load_dotenv(override=True)

Dokumente laden und aufteilen

Nun laden wir die Dokumente, die wir in der Vector Engine ablegen wollen.

file_path = "C:/temp/Apple_10k_2025.pdf"
pdf =PdfReader(file_path)

Anschließend extrahieren wir den Text aus der PDF Datei.

text = ""

for page in pdf.pages:
    text += page.extract_text()

Dieser wird in mehrere Teile gesplittet.

text_splitter = RecursiveCharacterTextSplitter()

chunks = text_splitter.split_text(text)

len(chunks)
print(chunks[0])

Metadaten vorbereiten

Neben den Inhalten selbst sind auch Metadaten für das Housekeeping entscheidend. Daher extrahieren wir Metadaten aus dem Dokument.

# Get the current date in YYYYMMDD format
currentdate = datetime.now().strftime('%Y%m%d')

# Extract file name
pdf_file = file_path.split('/')[-1]

# Extract company name. Assuming it comes before the first underscore
# Extract characters before the first underscore in file name
pdf_company = pdf_file.split('_')[0]

# Extract pdf metadata
pdf_author = pdf.metadata.author
pdf_creation_year = pdf.metadata.creation_date.year
pdf_creation_month = pdf.metadata.creation_date.month
pdf_creation_day = pdf.metadata.creation_date.day
pdf_creator = pdf.metadata.creator
pdf_title = pdf.metadata.title

# Central embedding (vs user embedding), therefore good quality
quality = "good"

print(pdf_file)
print(pdf_company)

Die Metadaten werden für den jeweiligen Teil des Dokumentes erstellt.

##Provide metadata for each chunk
metadatas = [{'embedd_time': currentdate, 
                'file': pdf_file, 
                'company': pdf_company, 
                'author': pdf_author, 
                'creation_year': pdf_creation_year,
                'creation_month': pdf_creation_month,
                'creation_day': pdf_creation_day,
                'creator': pdf_creator,
                'title': pdf_title,
                'quality': quality} 
                for chunk in chunks]

Embedding Modell erstellen

Nun instanzieren wir das Modell, welches wir für Embeddings nutzen wollen. In meinem Beispiel verwende ich das OpenAI Modell.

#text-embedding-3-small can have up to 1536 dimensions
#text-embedding-3-large can have up to 3072 dimensions
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")

SAP HANA Cloud Datenbank

Um die Embeddings zu speichern, nutzen wir die Vector Engine der SAP HANA Cloud Datenbank. Zunächst stellen wir eine Verbindung zur Datenbank her. Achten Sie darauf, dass Ihre IP in der Whitelist der Datenbank gepflegt ist.

connection = dbapi.connect(
    address=os.getenv('dbHost'),
    port=os.getenv('dbPort'),
    user=os.getenv('dbUser'),
    password=os.getenv('dbPassword'),
    encrypt=True,
    sslValidateCertificate=False
    )

print(f"Connected to Datasphere:: {connection.isconnected()}")

Nun geben wir die Tabelle an, die für den Zugriff auf die Vektoreinbettungen verwendet werden soll. Die angegebene Tabelle wird automatisch erstellt, falls sie nicht existiert. Falls die angegebene Tabelle bereits existiert, wird sie verwendet. In unserem Beispiel haben wir den Namen der Tabelle in der Umgebungsvariable abgelegt.

db = HanaDB(embedding=embeddings, connection=connection, table_name=os.getenv('dbTable'))

Im SAP HANA Database Explorer sehen Sie nun die neu angelegte Tabelle.

Die Tabelle ist zunächst leer. Mit dem folgenden Befehl fügen wir die Dokumentteile samt Metadaten hinzu.

#Add the loaded document chunks
db.add_texts(chunks, metadatas)

Jetzt können Sie die jeweiligen Dokumentschnipsel samt Metadaten und dem entsprechenden Vector in der Tabelle sehen.

Ein Vektorindex kann Top-k-Nearest-Neighbor-Abfragen für Vektoren erheblich beschleunigen. Mit der Funktion create_hnsw_index können Sie einen Hierarchical Navigable Small World (HNSW) Vektorindex erstellen.

db.create_hnsw_index()

Das Ergebnis ist im Reiter Indexes einsehbar.

Inhalte abfragen

Nun kann die Datenbank in Ihrer RAG Pipeline genutzt werden. Anbei ein Beispiel für die Ähnlichkeitssuche, wobei die 5 besten Ergebnisse verwenden werden.

query = "Which new products were announced by Apple in 2025? Display the results per quarter."
docs = db.similarity_search(query, k=5)

Mit dem folgenden Befehl können die Ergebnisse ausgegeben werden:

#Output
for doc in docs:
        print("-" * 80)
        print(doc.page_content)
        print("-" * 80)

Sie können auch bestimmte Metadaten bei der Suche verwenden. Einen Überblick über mögliche Filter finden Sie in der Langchain SAP HANA Cloud Vector Engine Dokumentation.

query = "Which new products were announced in first quarter of 2025?"
docs = db.similarity_search(query, k=2, filter={"quality": "good"})

Langchain Dokumente für Embeddings nutzen

Neben dem demonstrierten Beispiel für PDF Dateien. Können Sie auch Langchain Document Objekte für Embeddings nutzen. Diese speichern den Inhalten und die zugehörigen Metadaten. Zum Beispiel:

docs = [
Document(
page_content="Product, Service and Software Announcements. Reis Corp announces new product, service and software offerings at various times during the year. Significant announcements during fiscal year 2025 included the following: First Quarter 2025: • myLaptop Noob 16-in.; Second Quarter 2025: • myLaptop Water 13-innch and• Reis Intelligence™, a artificial intelligence system that leverages SAP HANA Cloud Vector Engine. As well as myPhone 110, myPhone 110 Plus and myPhone 110 Noob.",
metadata={"doc_name": "Reis_10k.txt", "quality": "good"},
),
Document(
page_content="foo",
metadata={"doc_name": "foo.txt", "quality": "good"},
),
Document(
page_content="foo",
metadata={"doc_name": "bar.txt", "quality": "bad"},
),
]      
db.add_documents(docs)

Inhalte löschen

Wie bereits erwähnt, helfen die Metadaten beim Housekeeping. So können Sie diese zum selektiven Löschen nutzen.

db.delete(filter={"quality": "bad"})

Alternativ können Sie einfach alle Embeddings löschen:

## Delete already existing documents from the table
db.delete(filter={})

Verbindung zur Datenbank trennen

Denken Sie bitte daran, Ihre Verbindung zur Datenbank anschließend zu trennen.

## Close connection to Datasphere
connection.close()
print(f"\nConnected to Datasphere:: {connection.isconnected()}")

Ihre User beklagen sich über langsame Berichte?

• In meinem Newsletter lernen Sie, wie Sie Abhilfe schaffen.
• Entdecken Sie die Möglichkeiten der Performanceoptimierung.
• Praktische Anleitungen ermöglichen Ihnen schnelle Erfolge bei der Optimierung von SAP Systemen.
• Viele Tipps und Tricks zu SAP BI Themen.
• Holen Sie die maximale Performance aus Ihrem SAP BI!
• Bei der Anmeldung zu meinem Newsletter erhalten Sie das Buch „High Performance SAP BI“ als Willkommensgeschenk.

Jetzt anfordern!

Vorname

E-Mail *

* Pflichtfeld

 

Kein SPAM. Ich hasse Spam genau so wie du.