Das Kommunikationssystem stellt über einen Kommunikationsbenutzer die Verbindung her. Es stellt die über eine Kommunikationsvereinbarung zugewiesene (und in Kommunikationsszenarien gebündelte) APIs für den Datenaustausch zur Verfügung.

• Communication System – Kommunikationssystem
• Communication User – Kommunikationsbenutzer
• Communication Scenario – Kommunikationsszenario
• Communication Arrangement – Kommunikationsvereinbarung

Communication System – Kommunikationssystem

Das Kommunikationssystem stellt das Herzstück der Verbindung dar. Es repräsentiert die Gegenpartei in der Kommunikation, zum Beispiel Systeme SAP Analytics Cloud oder SAP Datasphere.

Für eingehende (inbound) Kommunikation ist es das System, das Services aufruft, die von Ihrem System bereitgestellt werden. Aus Sicht von S/4HANA das Zielsystem, z.B. SAP Analytics Cloud, SAP Datasphere oder andere Systeme, die Daten von S/4HANA konsumieren.

Für ausgehende (outbound) Kommunikation ist es das System, das Services bereitstellt, die von Ihrem System aufgerufen werden. Aus Sicht von S/4HANA das Quellsystem, z.B. SAP Integration Suite, SAP Ariba oder andere Systeme, die Daten an S/4HANA liefern.

Das Kommunikationssystem wird in der App Communication Systems (App ID F1762) angelegt.

Bei dem Namen des Kommunikationssystems sollten Sie den Typ sowie die ID des Systems nutzen. Zum Beispiel SAC_CH_DEV

Die Authentifizierung der Kommunikation zwischen den Systemen erfolgt über einen Kommunikationsbenutzer.

Communication User – Kommunikationsbenutzer

Die Kommunikationssysteme nutzen Kommunikationsbenutzer, um sich für die Datenbereitstellung zu authentifizieren. Eine Datenübermittlung ist nur möglich, wenn das jeweilige System die von Ihnen hinterlegten Anmeldedaten verwendet. Dabei ist der Kommunikationsbenutzer einem Kommunikationssystem zugeordnet.

Die Kommunikationsbenutzer werden mithilfe der App Maintain Communication Users (App ID F1338) verwaltet.

Ich schlage folgende Namenskonvention für Kommunikationsbenutzer vor: <system>_<user inbound/outbound>

Zum Beispiel: SAC_CH_DEV_COM_IN

Communication Scenario – Kommunikationsszenario

Kommunikationsszenarien bündeln ein- und ausgehende APIs bzw. Services, die für bestimmte Prozesse erforderlich sind. Jede Kommunikationsvereinbarung muss auf einem Kommunikationsszenario basieren. Für alle Standard-APIs stellt SAP S/4HANA Cloud vordefinierte Kommunikationsszenarios bereit. Zum Beispiel für Finance.

Jedes API im SAP Business Accelerator Hub ist mit mindestens einem Kommunikationsszenario verknüpft. Zum Beispiel Company Code. Wenn Sie ein Standard-Kommunikationsszenario nicht im System sehen, müssen Sie prüfen, ob das entsprechende Scope-Item aktiviert ist. Darüber hinaus können Sie auch eigene CDS Views als APIs definieren.

Kommunikationsszenarien können in der App Display Communication Scenarios (App ID F3707) angezeigt werden.

Communication Arrangement – Kommunikationsvereinbarung

Kommunikationsvereinbarung verknüpft ein Kommunikationsszenario mit dem Kommunikationssystem. Das eingehende Kommunikationsvereinbarung definiert, wie Daten vom Kommunikationspartner (das Kommunikationssystem) empfangen werden, während die ausgehende Kommunikationsvereinbarung definiert, wie Daten an den Kommunikationspartner (das Kommunikationssystem) gesendet werden. Das Kommunikationsszenario legt die Berechtigungen, die ein- und ausgehenden Services sowie die unterstützten Authentifizierungsmethoden fest, die für die Kommunikation erforderlich sind.

Kommunikationsvereinbarungen werden in der App Communication Arrangements (App ID F1763) angelegt.

Ich schlage folgende Namenskonvention vor: <system>_<communication scenario>

Zum Beispiel SAC_CH_DEV_SAP_COM_0087

Ihre User beklagen sich über langsame Berichte?

• In meinem Newsletter lernen Sie, wie Sie Abhilfe schaffen.
• Entdecken Sie die Möglichkeiten der Performanceoptimierung.
• Praktische Anleitungen ermöglichen Ihnen schnelle Erfolge bei der Optimierung von SAP Systemen.
• Viele Tipps und Tricks zu SAP BI Themen.
• Holen Sie die maximale Performance aus Ihrem SAP BI!
• Bei der Anmeldung zu meinem Newsletter erhalten Sie das Buch „High Performance SAP BI“ als Willkommensgeschenk.

Jetzt anfordern!

Vorname

E-Mail *

* Pflichtfeld

 

Kein SPAM. Ich hasse Spam genau so wie du.

Sie können den SDI Data Provisioning Agent entweder auf Windows oder Linux installieren. Folgen Sie dazu den jeweiligen Schritten in diesem Blog.

• Data Provisioning Agent herunterladen
• Windows Installation und Konfiguration
  • Benutzer anlegen
  • Installation starten
  • Data Provisioning Agent ausführen
  • Datasphere IP Allowlist pflegen
  • Datasphere Agent anlegen
  • Data Provisioning Agent mit Datasphere verbinden
  • Adapter in Datasphere registrieren
  • Verbindung konfigurieren
  • Zugriff auf Data Provisioning Agent Logs aktivieren
• Linux Installation und Konfiguration
  • Benutzer anlegen
  • Installation starten
  • Data Provisioning Agent ausführen
  • Datasphere IP Allowlist pflegen
  • Datasphere Agent anlegen
  • Data Provisioning Agent mit Datasphere verbinden
  • Adapter in Datasphere registrieren
  • Verbindung konfigurieren
  • Zugriff auf Data Provisioning Agent Logs aktivieren

Data Provisioning Agent herunterladen

Zunächst müssen Sie die aktuelle Version des Data Provisioning Agents herunterladen. Diese bekommen Sie unter SAP Development Tools oder im Software Center unter HANA DP AGENT 2.0 (SUPPORT PACKAGES AND PATCHES) /HANA DP AGENT 2.0.

Dabei erfordert der Download über SAP Development Tools keine Anmeldung. Wählen Sie die Version für Ihr Betriebssystem (Windows oder Linux) aus, laden Sie das Archiv herunter und entpacken Sie den Inhalt.

Windows Installation und Konfiguration

Benutzer anlegen

Für die Einrichtung des Data Provisioning Agents ist ein Benutzer mit Passwort erforderlich. Sie können einen neuen Benutzer über Konten → Andere Benutzer anlegen. In meinem Beispiel verwende ich einen lokalen Benutzer.

Installation starten

Öffnen Sie den entpackten Ordner und führen Sie das Programm hdbsetup.exe als Administrator aus. Nun werden Sie mithilfe der grafischen Oberfläche durch die Installationsschritte geführt.

Wählen Sie zunächst den Dateipfad, unter dem SAP HANA Data Provisioning Agent installiert werden soll. In meinem Beispiel nutze ich den Standardpfad C:\usr\sap\dataprovagent

Vergeben Sie nun einen Namen für den Agent und geben Sie den Benutzer samt Passwort ein. Andere Einstellungen können Sie bei Standard belassen. Um die Domain nachzuschlagen, können Sie Windows Taste und R drücken (um Ausführen zu starten) und sysdm.cpl ausführen, um die Systemeigenschaften anzuzeigen.

Im Reiter Computername können Sie die Domain einsehen.

In meinem Beispiel verwende ich einen lokalen Benutzer. Daher nutze ich statt der Domain den Computernamen.

Im nächsten Schritt können Sie die Einstellungen nochmals überprüfen, bevor Sie die Installation starten.

Nun wird die Installation durchgeführt.

Nach der erfolgreichen Installation muss der Computer ggf. neu gestartet werden.

Data Provisioning Agent ausführen

Nun wollen wir die Installation überprüfen. Starten Sie dazu die Eingabeaufforderung als Administrator.

Navigieren Sie zu dem Installations-Verzeichnis des Data Provisioning Agents (C:\usr\sap\dataprovagent) und Unterverzeichnis bin.

cd C:\usr\sap\dataprovagent\bin

Starten Sie die Konfiguration mit dem folgenden Befehl:

agentcli.bat --configAgent

Falls Sie eine Java Fehlermeldung erhalten, stellen Sie sicher, dass Sie die Eingabeaufforderung als Administrator ausgeführt haben.

Falls Sie die folgende Fehlermeldung erhalten, war das eingegebene Benutzerpasswort falsch: Exception occurred: Agent service did not start due to a logon failure. Check the password for the account name. Return code: 1069.

Sie können das Passwort in den Windows Diensten anpassen. Drücken Sie Windows Taste und R (um Ausführen zu starten) und geben Sie services.msc ein.

Selektieren Sie den Dienst SAP_HANA_SDI_Agent_Service_Daemon_[Name Ihres Agents] und wechseln Sie über Rechtsklick zu den Eigenschaften.

Im Reiter Anmelden können Sie das Passwort anpassen. Der Punkt vor dem Benutzernamen deutet an, dass es sich um ein lokales Konto handelt. Normalerweise würde da die Domain stehen.

Datasphere IP Allowlist pflegen

Damit unser lokal installierter Agent mit Datasphere kommunizieren kann, muss seine IP zu der Whitelist in SAP Datasphere hinzugefügt werden.

Wechseln Sie bitte zu Datasphere und folgen Sie dem Menupfad System → Configuration.

Wählen Sie anschliessend den Reiter IP Allowlist aus.

Fügen Sie über Add eine neue IP Range hinzu, die erlaubt werden soll. Nutzen Sie dabei Ihre öffentliche IP Adresse. Diese können Sie zum Beispiel auf der Webseite Wie ist meine IP-Adresse einsehen.

Datasphere Agent anlegen

Wechseln Sie nun zum Reiter Data Integration und fügen Sie einen neuen On-Premise Agent hinzu.

Vergeben Sie einen Namen für den Agent und klicken Sie auf Create.

Nun werden die Informationen angezeigt, die Sie für die Konfiguration des Data Provisioning Agents benötigen:

• Agent name
• HANA server (host name)
• HANA port
• HANA user name for agent messaging
• HANA user password for agent messaging

Data Provisioning Agent mit Datasphere verbinden

Wechseln Sie nun zurück in die Eingabeaufforderung und wählen Sie in DPAgent Configuration Tool die Option 7 aus, Connect the Configuration Tool to SAP HANA.

Wählen Sie anschließend die Option 2 aus, Connect to SAP Datasphere via JDBC.

Kopieren Sie nun die Werte aus Datasphere in die Eingabeaufforderung. Für die anderen Werte, wie JDBC Verschlüsselung und Proxy Server, können Sie die Standardwerte übernehmen.

Drücken Sie nun Enter, um die Konfiguration abzuschliessen. Den Datasphere Dialog mit den Einstellungen können Sie ebenfalls schliessen.

Alternativ können Sie die Werte vor der Konfiguration über Data Provisioning Agent in der Datei dpagentconfig.ini im Verzeichnis C:\usr\sap\dataprovagent einpflegen. Dann müssen Sie nur den Benutzer und das Password konfigurieren. Die anderen Werte können Sie mit der Enter Taste aus dem Vorschlagswert übernehmen. In der nachfolgenden Tabelle finden Sie die Übersicht.

Damit die Änderungen übernommen werden, müssen Sie den Agenten (Service) neustarten.

Kehren Sie mit b (für Back) zum Hauptmenü des Data Provisioning Agents zurück und wählen Sie die Option 2, Start or Stop Agent aus.

Stoppen Sie zunächst den Agent mit der Option 2, Stop Agent Using Service.

Kehren Sie mit Enter zum vorherigen Menu zurück und starten Sie den Agent erneut mit der Option 1, Start Agent Using Service.

Unter Windows können Sie auch den Dienst SAP_HANA_SDI_Agent_Service_Daemon_[Name Ihres Agents] einfach neustarten.

Um die Dienste aufzurufen, drücken Sie Windows Taste und R (um Ausführen zu starten) und geben Sie services.msc ein.

Das Herstellen der Verbindung kann ca 3 Minuten dauern. Der Fortschritt kann anhand von Logs nachvollzogen werden. Öffnen Sie dazu in C:\usr\sap\dataprovagent\log die Datei framework.trc

Sie können den Status im Hauptmenü über die Option 1, Agent Status einsehen.

Nach der erfolgreichen Verbindung ändert sich auch der Status in Datasphere. Nutzen Sie zur Aktualisierung den Eintrag Refresh Agents.

Adapter in Datasphere registrieren

Nun können Sie die Adapter in Datasphere registireren. Selektieren Sie Ihren Agent, klicken Sie auf die drei Punkte und wählen Sie im Untermenü Edit aus.

Selektieren Sie die Adapter, die Sie nutzen möchten, und bestätigen Sie die Auswahl mit Save.

Verbindung konfigurieren

Nun kann der Data Provisioning Agent in der Verbindung ausgewählt werden und das Model Import Feature steht zur Verfügung.

Zugriff auf Data Provisioning Agent Logs aktivieren

Neben lokalen Logs können Sie auch auf die Logs des Data Provisioning Agent in Datasphere zugreifen. Dazu müssen Sie im Data Provisioning Agent einen FileAdapter Access Token konfigurieren. Führen Sie dazu in bin Verzeichnis, z.B. C:\usr\sap\dataprovagent\bin den folgenden Befehl aus:

agentcli.bat --setSecureProperty

Wählen Sie anschliessend im Menü die Option 14, Set FileAdapter Access Token, aus. Vergeben Sie ein Passwort und bestätigen Sie diesen nochmals.

Passen Sie nun Ihren Agent an. Wählen Sie unter Enable Log Access die Option true aus und fügen Sie das zuvor angelegte Passwort ein.

Nun können die Logs in Datasphere eingesehen werden.

Linux Installation und Konfiguration

Das folgende Beispiel basiert auf SUSE Linux Enterprise 16.0, da Ubuntu Distribution nicht unterstützt wird. Alternativ können Sie Red Hat Enterprise Linux verwenden.

Benutzer anlegen

Für die Einrichtung des Data Provisioning Agents ist ein Benutzer mit Passwort erforderlich. Dazu können Sie den folgenden Befehl verwenden:

sudo useradd [Benutzer]

Zum Beispiel:

sudo useradd dpagent

Vergeben Sie anschliessend ein Passwort für den Benutzer:

sudo passwd [Benutzer]

sudo passwd dpagent

Installation starten

Um den Standardinstallationsort (/usr/sap/dataprovagent) zu verwenden, muss der Agent-Benutzer Schreibzugriff auf das Verzeichnis haben. Legen Sie den Ordner mit sudo an und weisen Sie den Agent-Benutzer die notwendigen Berechtigungen zu.

sudo mkdir -p /usr/sap/dataprovagent
sudo chown dpagent:dpagent /usr/sap/dataprovagent
sudo chmod 755 /usr/sap/dataprovagent

Starten Sie anschliessend die Installation als Agent-Benutzer. Zunächst müssen Sie die Installationsdateien ausführbar machen.

su - dpagent
sudo chmod +x hdbinst
sudo chmod +x instruntime/sdbrun

Anschliessend können Sie die Installation starten:

./hdbinst --silent --batch --path="/usr/sap/dataprovagent" --agent_listener_port=5050 --agent_admin_port=5051

Data Provisioning Agent ausführen

Bitte beachten Sie, dass auf einem Linux-Host mehrere Instanzen des Datenbereitstellungs-Agent installiert werden können. Setzen Sie daher eine Umgebungsvariable DPA_INSTANCE auf den Root-Speicherort der Installation (/usr/sap/dataprovagent). Stellen Sie sicher, dass Sie DPA_INSTANCE auf die Instanz setzen, die Sie ändern möchten, bevor Sie das Konfigurationstool starten. Wenn Sie die Umgebungsvariable nicht korrekt setzen, können Sie die Konfiguration einer anderen Agenteninstanz unbeabsichtigt ändern.

export DPA_INSTANCE=/usr/sap/dataprovagent

Navigieren Sie zu dem Installations-Verzeichnis des Data Provisioning Agents (/usr/sap/dataprovagent/) und Unterverzeichnis bin.

cd /usr/sap/dataprovagent/bin

Starten Sie die Konfiguration mit dem folgenden Befehl:

./agentcli.sh --configAgent

Datasphere IP Allowlist pflegen

Damit unser lokal installierter Agent mit Datasphere kommunizieren kann, muss seine IP zu der Whitelist in SAP Datasphere hinzugefügt werden.

Wechseln Sie bitte zu Datasphere und folgen Sie dem Menupfad System → Configuration.

Wählen Sie anschliessend den Reiter IP Allowlist aus.

Fügen Sie über Add eine neue IP Range hinzu, die erlaubt werden soll. Nutzen Sie dabei Ihre öffentliche IP Adresse. Diese können Sie zum Beispiel auf der Webseite Wie ist meine IP-Adresse einsehen.

Datasphere Agent anlegen

Wechseln Sie nun zum Reiter Data Integration und fügen Sie einen neuen On-Premise Agent hinzu.

Vergeben Sie einen Namen für den Agent und klicken Sie auf Create.

Nun werden die Informationen angezeigt, die Sie für die Konfiguration des Data Provisioning Agents benötigen:

• Agent name
• HANA server (host name)
• HANA port
• HANA user name for agent messaging
• HANA user password for agent messaging

Data Provisioning Agent mit Datasphere verbinden

Wechseln Sie nun zurück in die Eingabeaufforderung und starten Sie den Agenten. Wählen Sie in DPAgent Configuration Tool die Option 2 aus, Start or Stop Agent. Wählen Sie im nächsten Menü die Option 1, Start Agent Using Service aus.

Nun können wir die Verbindung zu Datasphere konfigurieren. Wechseln Sie mit b zum Hauptmenü und wählen Sie die Option 7 aus, Connect the Configuration Tool to SAP HANA. Wählen Sie anschließend die Option 2 aus, Connect to SAP Datasphere via JDBC.

Kopieren Sie nun die Werte aus Datasphere in die Eingabeaufforderung. Für die anderen Werte, wie JDBC Verschlüsselung und Proxy Server, können Sie die Standardwerte übernehmen. Standardwerte können mit der Enter Taste übernommen werden.

Drücken Sie nun Enter, um die Konfiguration abzuschliessen. Den Datasphere Dialog mit den Einstellungen können Sie ebenfalls schliessen.

Alternativ können Sie die Werte vor der Konfiguration über Data Provisioning Agent in der Datei dpagentconfig.ini im Verzeichnis /usr/sap/dataprovagent einpflegen. Dann müssen Sie nur den Benutzer und das Password konfigurieren. Die anderen Werte können Sie mit der Enter Taste aus dem Vorschlagswert übernehmen. In der nachfolgenden Tabelle finden Sie die Übersicht.

Damit die Änderungen übernommen werden, müssen Sie den Agenten (Service) neustarten.

Kehren Sie mit b (für Back) zum Hauptmenü des Data Provisioning Agents zurück und wählen Sie die Option 2, Start or Stop Agent aus. Stoppen Sie zunächst den Agent mit der Option 2, Stop Agent Using Service.

Kehren Sie mit Enter zum vorherigen Menu zurück und starten Sie den Agent erneut mit der Option 1, Start Agent Using Service.

Das Herstellen der Verbindung kann ca 3 Minuten dauern. Der Fortschritt kann anhand von Logs nachvollzogen werden. Öffnen Sie dazu in C:\usr\sap\dataprovagent\log die Datei framework.trc

Sie können den Status im Hauptmenü über die Option 1, Agent Status einsehen.

Nach der erfolgreichen Verbindung ändert sich auch der Status in Datasphere. Nutzen Sie zur Aktualisierung den Eintrag Refresh Agents.

Adapter in Datasphere registrieren

Nun können Sie die Adapter in Datasphere registireren. Selektieren Sie Ihren Agent, klicken Sie auf die drei Punkte und wählen Sie im Untermenü Edit aus.

Selektieren Sie die Adapter, die Sie nutzen möchten, und bestätigen Sie die Auswahl mit Save.

Verbindung konfigurieren

Nun kann der Data Provisioning Agent in der Verbindung ausgewählt werden und das Model Import Feature steht zur Verfügung.

Zugriff auf Data Provisioning Agent Logs aktivieren

Neben lokalen Logs können Sie auch auf die Logs des Data Provisioning Agent in Datasphere zugreifen. Dazu müssen Sie im Data Provisioning Agent einen FileAdapter Access Token konfigurieren. Führen Sie dazu in bin Verzeichnis, z.B. /usr/sap/dataprovagent/bin den folgenden Befehl aus:

./agentcli.sh --setSecureProperty

Wählen Sie anschliessend im Menü die Option 14, Set FileAdapter Access Token, aus.

Vergeben Sie ein Passwort und bestätigen Sie diesen nochmals.

Passen Sie nun Ihren Agent an. Wählen Sie unter Enable Log Access die Option true aus und fügen Sie das zuvor angelegte Passwort ein. Speichern Sie anschliessend die Änderungen.

Nun können die Logs in Datasphere eingesehen werden.

Ihre User beklagen sich über langsame Berichte?

• In meinem Newsletter lernen Sie, wie Sie Abhilfe schaffen.
• Entdecken Sie die Möglichkeiten der Performanceoptimierung.
• Praktische Anleitungen ermöglichen Ihnen schnelle Erfolge bei der Optimierung von SAP Systemen.
• Viele Tipps und Tricks zu SAP BI Themen.
• Holen Sie die maximale Performance aus Ihrem SAP BI!
• Bei der Anmeldung zu meinem Newsletter erhalten Sie das Buch „High Performance SAP BI“ als Willkommensgeschenk.

Jetzt anfordern!

Vorname

E-Mail *

* Pflichtfeld

 

Kein SPAM. Ich hasse Spam genau so wie du.

Setup

Zuerst installieren wir die benötigten Module. In diesem Beispiel verwende ich einfachheitshalber Langchain, Langchain HANA und OpenAI. Für die Kommunikation mit der HANA Cloud Datenbank wird SAP HANA Python Client hdbcli verwendet. Für die Arbeit mit PDF Dateien nutze ich pypdf. Für die Verwaltung von Umgebungsvariablen nutze ich python-dotenv.

pip install hdbcli
pip install pypdf
pip install langchain
pip install langchain-hana
pip install python-dotenv

Im nächsten Schritt werden diese importiert

import os
from dotenv import load_dotenv
from hdbcli import dbapi
from pypdf import PdfReader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_hana import HanaDB
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from datetime import datetime

Die API Schlüssel und die Konstanten für den Datenbankzugriff werden in der .env Datei im folgenden Format abgelegt. Dabei werden keine Leerzeichen oder Klammern genutzt. Im Beitrag Wie Sie einen SAP Datasphere Datenbankbenutzer anlegen habe ich detailliert die Einrichtung eines Bentuzers für die HANA Cloud Datenbank von Datasphere beschrieben. Sie können auch eine dedizierte HANA Cloud Datenbank auf BTP nutzen, um die Last auf Datasphere zu verringern.

OPENAI_API_KEY=your_api_key
dbUser=space#user
dbPassword=your_db_user_password
dbHost=your_host
dbPort=your_port_eg_444
dbTable=name_of_the_table

Diese Informationen werden nun in die Umgebungsvariablen geladen, um später auf diese zugreifen zu können.

load_dotenv(override=True)

Dokumente laden und aufteilen

Nun laden wir die Dokumente, die wir in der Vector Engine ablegen wollen.

file_path = "C:/temp/Apple_10k_2025.pdf"
pdf =PdfReader(file_path)

Anschließend extrahieren wir den Text aus der PDF Datei.

text = ""

for page in pdf.pages:
    text += page.extract_text()

Dieser wird in mehrere Teile gesplittet.

text_splitter = RecursiveCharacterTextSplitter()

chunks = text_splitter.split_text(text)

len(chunks)
print(chunks[0])

Metadaten vorbereiten

Neben den Inhalten selbst sind auch Metadaten für das Housekeeping entscheidend. Daher extrahieren wir Metadaten aus dem Dokument.

# Get the current date in YYYYMMDD format
currentdate = datetime.now().strftime('%Y%m%d')

# Extract file name
pdf_file = file_path.split('/')[-1]

# Extract company name. Assuming it comes before the first underscore
# Extract characters before the first underscore in file name
pdf_company = pdf_file.split('_')[0]

# Extract pdf metadata
pdf_author = pdf.metadata.author
pdf_creation_year = pdf.metadata.creation_date.year
pdf_creation_month = pdf.metadata.creation_date.month
pdf_creation_day = pdf.metadata.creation_date.day
pdf_creator = pdf.metadata.creator
pdf_title = pdf.metadata.title

# Central embedding (vs user embedding), therefore good quality
quality = "good"

print(pdf_file)
print(pdf_company)

Die Metadaten werden für den jeweiligen Teil des Dokumentes erstellt.

##Provide metadata for each chunk
metadatas = [{'embedd_time': currentdate, 
                'file': pdf_file, 
                'company': pdf_company, 
                'author': pdf_author, 
                'creation_year': pdf_creation_year,
                'creation_month': pdf_creation_month,
                'creation_day': pdf_creation_day,
                'creator': pdf_creator,
                'title': pdf_title,
                'quality': quality} 
                for chunk in chunks]

Embedding Modell erstellen

Nun instanzieren wir das Modell, welches wir für Embeddings nutzen wollen. In meinem Beispiel verwende ich das OpenAI Modell.

#text-embedding-3-small can have up to 1536 dimensions
#text-embedding-3-large can have up to 3072 dimensions
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")

SAP HANA Cloud Datenbank

Um die Embeddings zu speichern, nutzen wir die Vector Engine der SAP HANA Cloud Datenbank. Zunächst stellen wir eine Verbindung zur Datenbank her. Achten Sie darauf, dass Ihre IP in der Whitelist der Datenbank gepflegt ist.

connection = dbapi.connect(
    address=os.getenv('dbHost'),
    port=os.getenv('dbPort'),
    user=os.getenv('dbUser'),
    password=os.getenv('dbPassword'),
    encrypt=True,
    sslValidateCertificate=False
    )

print(f"Connected to Datasphere:: {connection.isconnected()}")

Nun geben wir die Tabelle an, die für den Zugriff auf die Vektoreinbettungen verwendet werden soll. Die angegebene Tabelle wird automatisch erstellt, falls sie nicht existiert. Falls die angegebene Tabelle bereits existiert, wird sie verwendet. In unserem Beispiel haben wir den Namen der Tabelle in der Umgebungsvariable abgelegt.

db = HanaDB(embedding=embeddings, connection=connection, table_name=os.getenv('dbTable'))

Im SAP HANA Database Explorer sehen Sie nun die neu angelegte Tabelle.

Die Tabelle ist zunächst leer. Mit dem folgenden Befehl fügen wir die Dokumentteile samt Metadaten hinzu.

#Add the loaded document chunks
db.add_texts(chunks, metadatas)

Jetzt können Sie die jeweiligen Dokumentschnipsel samt Metadaten und dem entsprechenden Vector in der Tabelle sehen.

Ein Vektorindex kann Top-k-Nearest-Neighbor-Abfragen für Vektoren erheblich beschleunigen. Mit der Funktion create_hnsw_index können Sie einen Hierarchical Navigable Small World (HNSW) Vektorindex erstellen.

db.create_hnsw_index()

Das Ergebnis ist im Reiter Indexes einsehbar.

Inhalte abfragen

Nun kann die Datenbank in Ihrer RAG Pipeline genutzt werden. Anbei ein Beispiel für die Ähnlichkeitssuche, wobei die 5 besten Ergebnisse verwenden werden.

query = "Which new products were announced by Apple in 2025? Display the results per quarter."
docs = db.similarity_search(query, k=5)

Mit dem folgenden Befehl können die Ergebnisse ausgegeben werden:

#Output
for doc in docs:
        print("-" * 80)
        print(doc.page_content)
        print("-" * 80)

Sie können auch bestimmte Metadaten bei der Suche verwenden. Einen Überblick über mögliche Filter finden Sie in der Langchain SAP HANA Cloud Vector Engine Dokumentation.

query = "Which new products were announced in first quarter of 2025?"
docs = db.similarity_search(query, k=2, filter={"quality": "good"})

Langchain Dokumente für Embeddings nutzen

Neben dem demonstrierten Beispiel für PDF Dateien. Können Sie auch Langchain Document Objekte für Embeddings nutzen. Diese speichern den Inhalten und die zugehörigen Metadaten. Zum Beispiel:

docs = [
Document(
page_content="Product, Service and Software Announcements. Reis Corp announces new product, service and software offerings at various times during the year. Significant announcements during fiscal year 2025 included the following: First Quarter 2025: • myLaptop Noob 16-in.; Second Quarter 2025: • myLaptop Water 13-innch and• Reis Intelligence™, a artificial intelligence system that leverages SAP HANA Cloud Vector Engine. As well as myPhone 110, myPhone 110 Plus and myPhone 110 Noob.",
metadata={"doc_name": "Reis_10k.txt", "quality": "good"},
),
Document(
page_content="foo",
metadata={"doc_name": "foo.txt", "quality": "good"},
),
Document(
page_content="foo",
metadata={"doc_name": "bar.txt", "quality": "bad"},
),
]      
db.add_documents(docs)

Inhalte löschen

Wie bereits erwähnt, helfen die Metadaten beim Housekeeping. So können Sie diese zum selektiven Löschen nutzen.

db.delete(filter={"quality": "bad"})

Alternativ können Sie einfach alle Embeddings löschen:

## Delete already existing documents from the table
db.delete(filter={})

Verbindung zur Datenbank trennen

Denken Sie bitte daran, Ihre Verbindung zur Datenbank anschließend zu trennen.

## Close connection to Datasphere
connection.close()
print(f"\nConnected to Datasphere:: {connection.isconnected()}")

Ihre User beklagen sich über langsame Berichte?

• In meinem Newsletter lernen Sie, wie Sie Abhilfe schaffen.
• Entdecken Sie die Möglichkeiten der Performanceoptimierung.
• Praktische Anleitungen ermöglichen Ihnen schnelle Erfolge bei der Optimierung von SAP Systemen.
• Viele Tipps und Tricks zu SAP BI Themen.
• Holen Sie die maximale Performance aus Ihrem SAP BI!
• Bei der Anmeldung zu meinem Newsletter erhalten Sie das Buch „High Performance SAP BI“ als Willkommensgeschenk.

Jetzt anfordern!

Vorname

E-Mail *

* Pflichtfeld

 

Kein SPAM. Ich hasse Spam genau so wie du.

Wählen Sie zunächst im seitlichen Navigationsbereich den Eintrag Spaces aus.

Wählen Sie anschliessend Ihren Space aus und klicken Sie auf Bearbeiten, um den Space zu öffnen.

Wählen Sie nun den Reiter Datenbankzugriff aus. Klicken Sie anschliessend im Abschnitt Datenbankbenutzer auf Anlegen, um einen Benutzer anzulegen.

Vergeben Sie einen Namen und selektieren Sie die Einstellungen Lesezugriff aktivieren und (bei Bedarf) Schreibzugriff aktivieren. Klicken Sie anschliessend auf Anlegen.

Um das Passwort für den Benutzer festzulegen, klicken Sie auf das Info Symbol Info-Dialogfeld öffnen.

Klicken Sie nun im Dialogfeld Datenbankbenutzerdetails auf Neues Kennwort anfordern, um ein Kennwort festzulegen.

Klicken Sie anschliessend auf Einblenden und Kennwort kopieren. Notieren sie das Kennwort, da sie dieses nicht nochmals anzeigen können. Sie müssten ein neues Kennwort anfordern.

In diesem Dialog sehen Sie auch den Hostnamen und den Port, den Sie für die Verbindung zur Datenbank brauchen. Zum Beispiel über den SAP HANA Python Client hdbcli.

Um mit einem Benutzer auf die Datenbank zuzugreifen, markieren Sie den Benutzer und klicken Sie anschliessend auf Datenbank-Explorer öffnen.

Geben Sie nach der BTP Anmeldung das Passwort des Benutzers ein und klicken Sie auf OK, um SAP HANA Database Explorer zu öffnen.

Ihre User beklagen sich über langsame Berichte?

• In meinem Newsletter lernen Sie, wie Sie Abhilfe schaffen.
• Entdecken Sie die Möglichkeiten der Performanceoptimierung.
• Praktische Anleitungen ermöglichen Ihnen schnelle Erfolge bei der Optimierung von SAP Systemen.
• Viele Tipps und Tricks zu SAP BI Themen.
• Holen Sie die maximale Performance aus Ihrem SAP BI!
• Bei der Anmeldung zu meinem Newsletter erhalten Sie das Buch „High Performance SAP BI“ als Willkommensgeschenk.

Jetzt anfordern!

Vorname

E-Mail *

* Pflichtfeld

 

Kein SPAM. Ich hasse Spam genau so wie du.

Im Beitrag Vibe Coding mit SAP AI Core habe ich die Verwendung von MCP Servern vorgestellt. In diesem Beitrag werden wir einen eigenen MCP Server erstellen und auf SAP BTP hosten.

Um die Funktionsweise zu erklären, erstelle ich einen einfachen MCP Server, der die aktuelle Zeit ausgibt. Abgelegt als time_server.py.

from mcp.server.fastmcp import FastMCP
from datetime import datetime

# Create an instance of the FastMCP server
mcp = FastMCP("TimeServer", stateless_http=True)

@mcp.tool(description="Provides the current time in ISO format as a string")
def get_current_time() -> str:
    """
    Use this tool to get the current time in ISO format as a string.

    Returns:
    str: Current time in ISO format. The full format looks like 'YYYY-MM-DD HH:MM:SS.mmmmmm'. The default separator between date and time is 'T'. e.g 2025-10-17T17:04:22.739427. 
    """
    return datetime.now().isoformat()

Darüber hinaus erstelle ich einen Ressourcen MCP Server, der den Inhalt von denis_reis_cv.md bereitstellt. Gespeichert als cv_server.py.

from mcp.server.fastmcp import FastMCP
from pathlib import Path
import anyio

# Create an instance of the FastMCP server
mcp = FastMCP("CvServer", stateless_http=True)

@mcp.resource(
    uri="data://cv",
    name="DenisReisCv",
    description="Provides the CV of Denis Reis.",
    mime_type="text/markdown",
)
async def get_cv() -> str:
    """
    Retrieves the professional CV of Denis Reis.
    
    Returns:
        str: The complete CV content in markdown format, or an error message if unavailable.
    
    Raises:
        Returns error message strings rather than exceptions for graceful degradation.
    """
    try:
        # Get the directory where this script is located
        script_dir = Path(__file__).parent
        cv_path = script_dir / "denis_reis_cv.md"
        
        # Use anyio to perform file I/O in a thread pool to avoid blocking the event loop
        cv_content = await anyio.Path(cv_path).read_text(encoding="utf-8")
        return cv_content
    except FileNotFoundError:
        return "Error: CV file not found."
    except Exception as e:
        return f"Error reading CV: {str(e)}"

def main():
    # Initialize and run the server
    mcp.run(transport='stdio')

if __name__ == "__main__":
    main()

Diese beiden Server werden über die server.py Datei gestartet. Beachten Sie, dass der Time MCP über <host>/time/mcp und der CV MCP über <host>/cv/mcp erreichbar sein wird.

import contextlib
from fastapi import FastAPI
from fastapi.middleware.cors import CORSMiddleware
import os

from time_server import mcp as time_mcp
from cv_server import mcp as cv_mcp

# Create a combined lifespan to manage both session managers
@contextlib.asynccontextmanager
async def lifespan(app: FastAPI):
    async with contextlib.AsyncExitStack() as stack:
        await stack.enter_async_context(time_mcp.session_manager.run())
        await stack.enter_async_context(cv_mcp.session_manager.run())
        yield


app = FastAPI(lifespan=lifespan)
app.mount("/time", time_mcp.streamable_http_app())
app.mount("/cv", cv_mcp.streamable_http_app())

app.add_middleware(
    CORSMiddleware,
    allow_origins=["*"],
    allow_credentials=True,
    allow_methods=["POST", "GET", "OPTIONS"],
    allow_headers=["*"],
)

PORT = os.environ.get("PORT", 10000)

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=PORT)

Um die MCP Server als Remote Streamable HTTP Server bereitzustellen, richten wir diese auf SAP BTP ein. Die Erstellung einer Cloud Foundry App auf BTP habe ich Wie Sie eine App auf SAP BTP Cloud Foundry erstellen detailliert beschrieben.

Definieren Sie die folgenden Dateien:

manifest.yml

---
applications:
- name: mcp_demo
  random-route: false
  routes:
  - route: https://mcp_demo.cfapps.eu10-004.hana.ondemand.com
  path: ./
  memory: 512M
  disk_quota: 1024M
  instances: 2
  buildpacks: 
  - python_buildpack
  command: python server.py

Procfile

web: python server.py

requirements.txt

anyio==4.7.0
fastapi==0.119.0
mcp==1.18.0
uvicorn==0.37.0

runtime.txt

python-3.13.x

Folgen Sie anschließend den Anweisungen, um die App über cf push bereitzustellen.

Nach der erfolgreichen Bereitstellung können die MCP Server über die URLs https://mcp_demo.cfapps.eu10-004.hana.ondemand.com/time/mcp sowie https://mcp_demo.cfapps.eu10-004.hana.ondemand.com/cv/mcp erreicht werden.

MCP Server testen

Sie können den MCP Inspector nutzen, um Ihre MCP Server zu testen.

npx @modelcontextprotocol/inspector

Alternativ können Sie die beiden MCP Server direkt in Ihren Agenten einsetzen, z.B. GitHub Copilot in VS Code. Gehen Sie dazu im Agent Modus auf Einstellungen.

Wählen Sie anschließend Add MCP Server aus.

Wählen Sie nun als Typ HTTP aus.

Geben Sie nun die URL des MCP Servers, den Sie gerade auf BTP bereitgestellt haben ein.

Vergeben Sie anschließend eine eindeutige ID.

Selektieren Sie schließlich, ob der MCP Server Global oder nur in dem aktuellen Workspace verfügbar sein soll.

Nun wird die Konfiguration aktualisiert und Sie sehen, dass der Server erfolgreich gestartet wurde und ein Tool / Werkzeug identifiziert wurde.

Anbei die json Konfiguration:

{
	"servers": {
		"mcp-time": {
			"url": "https://mcp_demo.cfapps.eu10-004.hana.ondemand.com/time/mcp",
			"type": "http"
		},
		"mcp-cv": {
			"url": "https://mcp_demo.cfapps.eu10-004.hana.ondemand.com/cv/mcp",
			"type": "http"
		}
	},
	"inputs": []
}

Sie können die Verfügbaren Tools auch über die Configure Tools Einstellung einsehen.

Die Ressourcen können unter Extensions → MCP Servers – Installed eingesehen werden.

Wählen Sie dazu die Option Browse Resources aus.

Wählen Sie anschließend die gewünschte Ressource aus.

Der Inhalt der Ressource wird angezeigt.

Wenn Sie nun eine Frage an den Github Copilot Agenten richten, wird er die ihm zur Verfügung stehenden Tools nutzen.

Ihre User beklagen sich über langsame Berichte?

• In meinem Newsletter lernen Sie, wie Sie Abhilfe schaffen.
• Entdecken Sie die Möglichkeiten der Performanceoptimierung.
• Praktische Anleitungen ermöglichen Ihnen schnelle Erfolge bei der Optimierung von SAP Systemen.
• Viele Tipps und Tricks zu SAP BI Themen.
• Holen Sie die maximale Performance aus Ihrem SAP BI!
• Bei der Anmeldung zu meinem Newsletter erhalten Sie das Buch „High Performance SAP BI“ als Willkommensgeschenk.

Jetzt anfordern!

Vorname

E-Mail *

* Pflichtfeld

 

Kein SPAM. Ich hasse Spam genau so wie du.