Datenimport

Messwerte können von verschiedenen Quellen und aus unterschiedlichen Formaten importiert werden.

Bemerkung

Datenpunkte, die durch einen Datenimport erstellt werden, werden automatisch Ihrer Energy Management-Lizenz belastet.

Name: Geben Sie dem Datenimport einen aussagekräftigen Namen.

Quelle

Format

Wählen Sie das Datenformat aus, welches Sie importieren möchten. Jedes Datenformat verfügt über eigene Optionen, um die erwartete Formatierung der Daten zu konfigurieren.

CSV: Komma-getrennte Werte aus einer Textdatei.
JSON: JSON-Daten von einem externen Server.
SQL: Datensätze von einer externen SQL-Datenbank.
MSCONS: Eine Meldung des Metered Services Consumption Report.
SDAT-CH: Standardisierter Datenaustausch für den Strommarkt Schweiz, basierend auf ebiX.
IWB: Proprietäres Datenformat der IWB (Industrielle Werke Basel).
Solar21: Proprietäres Datenformat von Solar21, einer unabhängigen Schweizer Strompartnerin.

Quelle

Wählen Sie hier aus, woher die Messwerte importiert werden sollen. Es stehen die folgenden Optionen zur Auswahl:

Manueller Dateiupload

Diese Option ist nur verfügbar für CSV, MSCONS, SDAT-CH und IWB und ist nur für Testzwecke gedacht. Klicken Sie auf die Schaltfläche Jetzt importieren, um den Datenimport manuell anzustoßen und die Datei in Ihrem Webbrowser hochzuladen.

Windows Share (SMB)

Verfügbar für CSV, MSCONS, SDAT-CH und IWB. Die Datei wird von einem freigegebenen Windows-Verzeichnis heruntergeladen.

FTP / FTPS / SFTP

Verfügbar für CSV, MSCONS, SDAT-CH und IWB. Die Datei wird von einem FTP-Server heruntergeladen.

Warnung

FTPS-Server, die die Wiederverwendung von SSL-Sitzungen erzwingen, werden nicht unterstützt.

SQL-Datenbank

Nur verfügbar für SQL-Daten. Die Daten werden aus einer externen SQL-Datenbank gelesen.

Eingehende POST-Anfrage

Nur verfügbar für JSON-Daten. Die JSON-Daten werden von einer Drittanwendung an unsere öffentliche API gepostet.

E-Mail

Verfügbar für CSV, MSCONS, SDAT-CH und IWB. Wählen Sie diese Quelle aus, wenn Ihre Daten als Anhänge per E-Mail versendet werden. Das System importiert Dateien aus E-Mail-Nachrichten, die an die untenstehende E-Mail-Adresse gesendet werden (siehe E-Mail-Tags).

Wenn ein Import über einen Zeitplan gestartet wird, werden nur ungelesene E-Mails importiert.

Wenn Sie bereits importierte E-Mails erneut importieren möchten, oder wenn Sie einen manuellen Import durchführen möchten, klicken Sie auf Jetzt importieren. Im folgenden Dialog können Sie die älteste E-Mail auswählen, die Sie importieren möchten. Die ausgewählte E-Mail sowie alle neueren E-Mails werden importiert. Bei einem manuellen Import werden sowohl gelesene als auch ungelesene E-Mails importiert.

Warnung

Gelesene E-Mails, die älter als 30 Tage sind, und ungelesene E-Mails, die älter als 90 Tage sind, werden automatisch gelöscht.

Wenn als Datenformat SQL ausgewählt ist, werden die Daten von einer externen SQL-Datebank heruntergeladen. Wenn Solar21 ausgewählt ist, werden die Daten per GraphQL von einem externen Server abgefragt.

URL

Nur verfügbar mit der Quelle FTP/FTPS/SFTP, Windows Share (SMB), SQL-Datenbank oder Eingehende POST-Anfrage.

Falls Sie als Datenquelle FTP/FTPS/SFTP, Windows Share (SMB) oder SQL-Datenbank ausgewählt haben, geben Sie hier die vollständige URL an, unter der auf die zu importierenden Daten zugegriffen werden kann, einschließlich dem Protokoll, dem Port und dem vollständigen Pfad.

Beispiel POST: https://beispiel.org/api/v1/datenimport

Beispiel FTP: ftp://beispiel.org:2121/home/datenimport

Beispiel SQL: jdbc:mysql://beispiel.org:3306

Beispiel SMB: smb://example.org/home/datenimport

Falls Sie als Datenquelle Eingehende POST-Anfrage ausgewählt haben, zeigt Ihnen die URL an, wohin die Drittanwendung die zu importierenden Daten posten muss. Die restlichen Informationen zu unserer öffentlichen API finden Sie hier. Client ID und Secret, die zur Anmeldung bei unserer öffentlichen API benötigt werden, finden Sie auf der Einstellungsseite, indem Sie oben rechts auf das Benutzermenü und dann auf Einstellungen klicken.

Benutzername

Nur verfügbar mit der Quelle FTP/FTPS/SFTP, Windows Share (SMB) oder SQL-Datenbank. Der Benutzername, mit dem sich Avelon authentifizieren kann.

Passwort

Nur verfügbar mit der Quelle FTP/FTPS/SFTP, Windows Share (SMB) oder SQL-Datenbank. Das Passwort, mit dem sich Avelon authentifizieren kann.

API-Schlüssel

Nur verfügbar beim Format Solar21. Enthält den API-Schlüssel, um die Werte von solar21.ntuity.io herunterzuladen.

Abfrage

Nur verfügbar mit dem Ziel SQL-Datenbank. Die SQL-Abfrage, mit der die Daten aus der Datenbank extrahiert werden.

Beispiel: SELECT Timestamp, SystemName, Value FROM TableName;

Implizites FTPS

Diese Option wird angezeigt, wenn die Quelle auf FTPS gesetzt ist. Implizites FTPS ist eine Methode, die es den Endgeräten ermöglicht, eine Verbindung zu einem impliziten Port (Port 990) herzustellen, welcher bereits über sichere Verbindungen verfügt, ohne eine solche explizit anzufordern. Implizites FTPS verwendet einen dedizierten Port, damit Port 21 offen bleiben kann. Implizites FTPS wird als wesentlich strenger angesehen, wenn es um den Aufbau einer sicheren Verbindung geht.

Zertifikatsfehler ignorieren

Diese Option ist nur verfügbar, wenn die Quelle auf FTPS gesetzt ist, und kann verwendet werden, um Zertifikatsfehler vorübergehend zu ignorieren, z. B. falls das Zertifikat abgelaufen ist. Es wird jedoch empfohlen, abgelaufene Zertifikate zu erneuern, anstatt die daraus resultierenden Probleme zu ignorieren.

E-Mail-Tag: Nur verfügbar mit Quelle E-Mail. E-Mails müssen an die E-Mail-Adresse dataimport+<tag>@avelon.cloud gesendet werden, damit sie verarbeitet werden, wobei <tag> mit dem Wert ersetzt werden muss, der im obenstehenden Feld E-Mail-Tag steht.
Verbindung testen: Nur verfügbar mit der Quelle FTP/FTPS/SFTP, Windows Share (SMB) oder SQL-Datenbank. Versucht, sich unter der angegebenen URL mit den Zugangsdaten beim Server anzumelden.

Format (CSV)

Diese Einstellungen sind nur für die Quelle FTP/FTPS/SFTP, Windows Share (SMB) oder SQL-Datenbank verfügbar.

Kodierung

Die Dateikodierung der zu importierenden CSV-Datei. Nicht verfügbar mit der Quelle SQL-Datenbank.

Zeilenstart

Startet den Import erst ab dieser Zeile. Damit können leere Zeilen oder Kommentarzeilen in der Datei übersprungen werden. Nicht verfügbar mit der Quelle SQL-Datenbank.

Trennzeichen

Das Trennzeichen, durch das einzelne Werte voneinander getrennt sind. Nicht verfügbar mit der Quelle SQL-Datenbank.

Textqualifizierer

Das Zeichen, mit dem Zeichenfolgen umschlossen werden. Nicht verfügbar mit der Quelle SQL-Datenbank.

Dezimaltrennzeichen

Das Dezimaltrennzeichen. Nicht verfügbar mit der Quelle SQL-Datenbank.

Erste Reihe enthält Spaltenüberschriften

Ignoriert die erste Zeile in der Datei. Nicht verfügbar mit der Quelle SQL-Datenbank.

Spalten

Wählen Sie aus, in welcher Art die Daten in der CSV-Datei vorliegen. Nachdem Sie die zutreffende Option ausgewählt haben, können Sie die Spalten im Abschnitt Spaltenkonfiguration konfigurieren (siehe unten). Beachten Sie, dass die aktuelle Spaltenkonfiguration zurückgesetzt wird, wenn Sie diese Auswahl ändern, weil die zwei Optionen inkompatible Spaltentypen verwenden.

Datum, Systemname, Wert: Jeder zu importierende Messwert steht auf einer separaten Zeile. Der Systemname des entsprechenden Datenpunkts wird auf der selben Zeile in einer weiteren Spalte aufgeführt.
Datum, Datenpunkt 1, Datenpunkt 2…: Die Datenpunkte werden als Spalten aufgelistet. Falls mehrere Datenpunkte zum selben Zeitpunkt einen Messwert aufgezeichnet haben, erscheinen diese Messwerte auf der selben Zeile.

Werttyp

Wählen Sie aus, ob die zu importierenden Werte als pur Messwerte oder als Verbrauchswerte interpretiert werden sollen.

Standorte (Solar21)

Diese Kachel ist nur für Solar21-Importe verfügbar. Sie können mehrere Standorte (Sites) definieren, deren Daten herunterladen werden sollen. Jeder Standort besteht aus den folgenden Feldern:

Standort-ID: Die ID des Standorts, von dem Sie die Daten herunterladen möchten.
Standortbezeichnung: Der Name des Standorts zur einfacheren Identifizierung.
Verbindung testen: Klicken Sie auf diese Schaltfläche, um eine Testverbindung zum Standort aufzubauen.

Zeitzone

Wählen Sie hier die Zeitzone aus, in der importierte Zeitstempel vorliegen, welche keine explizite Angabe über ihre Zeitzone enthalten.

Zeitplan

Startdatum: Das Datum, an dem der Import zum ersten Mal ausgeführt werden soll.
Startzeit: Der Zeitpunkt, zu dem der Import zum ersten Mal ausgeführt werden soll.
Wiederholung: Gibt an, in welchem Rhythmus der Import automatisch ausgeführt werden soll, ausgehend vom oben definierten Startzeitpunkt.
Nächste Ausführung: Zeigt an, wann der automatische Datenimport das nächste Mal ausgeführt wird.
Jetzt importieren: Erlaubt Ihnen, den Import vorzeitig auszuführen. Bitte beachten Sie, dass diese Schaltfläche nur für Testzwecke gedacht ist. Bereits vorhandene Messwerte können durch den Import überschrieben werden.

Bemerkung

Das System merkt sich, wann zuletzt ein Import durchgeführt wurde. Bei jedem nachfolgenden Import werden nur Dateien importiert, die nach diesem Zeitpunkt gespeichert wurden.

Zielgerät

Gerät: Das Zielgerät für den Datenimport. Daten werden nur für jene Datenpunkte importiert, welche aufgrund ihres Systemnamens auf diesem Gerät verfügbar sind.

Warnung

Importe mit einem Zeitplan sowie Importe von proprietären Dateiformaten können nur virtuellen Geräten oder Beetles zugewiesen werden, und pro Gerät sind höchstens drei Datenimporte mit dem selben Datenformat und dem selben Quelltyp zulässig.

Virtuelle Geräte können nur im Rahmen eines Projekts oder auf Anfrage beim Avelon-Vertrieb erworben werden.

Datenpunkt automatisch erstellen: Falls ein Datenpunkt nicht aufgrund seines Systemnamens auf dem Zielgerät gefunden wird, wird automatisch ein neuer Datenpunkt erstellt.

Spaltenkonfiguration

Diese Einstellungen stehen nur für CSV- oder SQL-Importe zur Verfügung. Bestimmen Sie, welche Spalten beim Import berücksichtigt werden und wie sie interpretiert werden sollen. Erstellen Sie für jede Spalte einen Eintrag in dieser Liste und wählen Sie unter Typ die entsprechende Bedeutung aus.

Je nachdem, welche Option Sie unter Format ▸ Spalten ausgewählte haben, stehen unterschiedliche Optionen zur Auswahl.

Option “Datum, Systemname, Wert”

(Ignorieren)

Diese Spalte wird beim Import ignoriert.

Datum

Enthält Datumsinformationen. Dieses Feld ist erforderlich. Verwenden Sie das danebenstehende Textfeld, um das Format zu spezifizieren, z. B. dd.MM.yyyy HH:mm:ss.

Siehe auch Abschnitt Problembehandlung.

Systemname

Dieses Feld ist erforderlich und enthält den Systemnamen (Objektnamen), mit dem der Datenpunkt eindeutig innerhalb des ausgewählten Zielgeräts identifiziert werden kann.

Bezeichnung

Enthält die Datenpunktbezeichnung. Dieses Feld ist nur erforderlich, wenn die Option Datenpunkt automatisch erstellen oben ausgewählt ist.

Wert

Dieses Feld ist erforderlich und enthält den zu importierenden Messwert.

Einheit

Enthält die Einheit des Datenpunkts. Wenn die Option Datenpunkt automatisch erstellen ausgewählt ist, wird diese Einheit verwendet, falls durch den Import ein Datenpunkt erstellt wird. Falls angegeben, muss es eine von Avelon unterstützte Einheit sein, z. B. kWh. Wenn keine Einheit angegeben wird, werden neue Datenpunkte ohne Einheit erstellt.

Warnung

Die Einheit wird nicht verwendet, um Messwerte während des Imports zu konvertieren. Die Werte werden unverändert importiert, ungeachtet dieser Einheit oder der des Datenpunkts.

Status

Legt den Status des Datenpunktwerts fest. Unterstützte Werte sind W, E, V, G bzw. F (oder deren numerische Priorität 1-5 gemäss Metering Code Schweiz). Wenn in der Importdatei kein Wert angegeben wird, wird er automatisch auf “Wahrer Wert” gesetzt.

Option “Datum, Datenpunkt 1, Datenpunkt 2…”

(Ignorieren)

Diese Spalte wird beim Import ignoriert.

Datum

Enthält Datumsinformationen. Dieses Feld ist erforderlich. Verwenden Sie das danebenstehende Textfeld, um das Format zu spezifizieren, z. B. dd.MM.yyyy HH:mm:ss.

Siehe auch Abschnitt Problembehandlung.

Datenpunkt

Ziehen Sie einen Datenpunkt aus der rechten Seitenleiste auf den hervorgehobenen Bereich rechts neben der Auswahlliste um festzulegen, welchem Datenpunkt die Messwerte in dieser Spalte zugewiesen werden sollen. Für jede Datenpunktspalte in der Importdatei muss hier eine Spalte konfiguriert und der entsprechende Datenpunkt zugewiesen werden.

Vorschau

Wenn Quelle entweder auf Manueller Datei-Upload, Windows-Freigabe (SMB) oder FTP / FTPS / SFTP gesetzt ist, können Sie unten auf der Kachel auf die Schaltfläche Vorschau klicken, um eine Vorschau anzuzeigen. Das System wird versuchen, sich zur Datenquelle zu verbinden und die neuste Datei anhand der Spaltenkonfiguration zu parsen. Beim manuellen Datei-Upload müssen Sie die gewünschte Testdatei von Ihrem Computer auswählen. Wenn die Datei erfolgreich geparst werden kann, wird unten eine Vorschau des resultierenden Imports angezeigt.

Wenn Quelle auf E-Mail gesetzt ist, können Sie unten auf der Kachel auf die Schaltfläche Vorschau klicken, um eine Vorschau anzuzeigen. Sie werden aufgefordert, eine E-Mail auszuwählen, die zuvor an die angegebene E-Mail-Adresse gesendet wurde (siehe E-Mail-Tag oben). Wählen Sie eine E-Mail aus und klicken Sie auf OK. Die angehängte Datei wird entsprechend der eingestellten Spaltenkonfiguration geparst, und das Ergebnis wird unten angezeigt. Sie können eine andere E-Mail auswählen oder die Spaltenkonfiguration bearbeiten, um die Vorschau zu aktualisieren.

JSON-Konfiguration

Diese Einstellungen sind nur für Quellen verfügbar, die JSON unterstützten, d.h. Eingehende POST-Anfrage.

Hier können Sie angeben, welche Eigenschaften im Import berücksichtigt, und wie sie interpretiert werden sollen. Erstellen Sie für jede Eigenschaft in Ihrem Import einen Eintrag in dieser Liste, geben Sie den Namen der Eigenschaft in der Spalte Eigenschaft ein und wählen Sie unter Typ die entsprechende Bedeutung aus.

Datum und Zeit

Enthält Datumsinformationen. Dieses Feld ist erforderlich. Verwenden Sie das danebenstehende Textfeld, um das Format zu spezifizieren, z. B. dd.MM.yyyy HH:mm:ss.

Siehe auch Abschnitt Problembehandlung.

Systemname

Dieses Feld ist erforderlich und enthält den Systemnamen (Objektnamen), mit dem der Datenpunkt eindeutig innerhalb des ausgewählten Zielgeräts identifiziert werden kann.

Bezeichnung

Enthält die Datenpunktbezeichnung. Dieses Feld ist nur erforderlich, wenn die Option Datenpunkt automatisch erstellen oben ausgewählt ist.

Einheit

Enthält die Einheit des Datenpunkts. Wenn die Option Datenpunkt automatisch erstellen ausgewählt ist, wird diese Einheit verwendet, falls durch den Import ein Datenpunkt erstellt wird. Falls angegeben, muss es eine von Avelon unterstützte Einheit sein, z. B. kWh. Wenn keine Einheit angegeben wird, werden neue Datenpunkte ohne Einheit erstellt.

Warnung

Die Einheit wird nicht verwendet, um Messwerte während des Imports zu konvertieren. Die Werte werden unverändert importiert, ungeachtet dieser Einheit oder der des Datenpunkts.

Wert

Dieses Feld ist erforderlich und enthält den zu importierenden Messwert.

Status

Enthält den Status des zu importierenden Messwertes als Zeichenfolge, gemäß Metering Code Schweiz.

Nutzlast überprüfen

Diese Funktion ist nur für Importe mit Format JSON und Quelle Eingehende POST-Anfrage verfügbar.

Wenn Daten per API importiert werden, kann es manchmal schwierig sein, Fehler im Zusammenhang mit fehlerhaften Importdaten einzugrenzen.

Um die Fehlerbehandlung zu vereinfachen, speichern wir die zuletzt erhaltene Nutzlast und stellen auf der Kachel Nutzlast überprüfen eine Funktion zur Verfügung, um sie gezielt zu überprüfen.

Sobald Daten per API empfangen wurden, erscheint die zuletzt empfangene Nutzlast im Textfeld Zuletzt empfangene Nutzlast. Klicken Sie rechts auf die Schaltfläche Nutzlast überprüfen, um sie zu überprüfen. Falls Fehler auftreten, werden diese unterhalb der Schaltfläche angezeigt, und Sie können die Nutzlast bearbeiten und die Änderungen erneut überprüfen. Die Eingabe wird nicht gespeichert, aber Sie haben dadurch die Möglichkeit, Korrekturen an der JSON-Nutzlast sehr schnell zu testen.

Fehlerbehandlung

Standardmäßig wird ein Import als fehlerhaft gekennzeichnet, wenn während des Imports Fehler auftreten. In diesem Fall muss entweder die CSV-Datei korrigiert oder die Einstellungen des Imports angepasst werden. Bei der nächsten Ausführung versucht das System, die Datei noch einmal zu importieren.

Wenn Ihre CSV-Datei ungültige Zeilen enthält, die nicht der CSV-Syntax entsprechen, Sie diese Zeilen jedoch ignorieren möchten, können Sie die Option Parsingfehler überspringen aktivieren. Dadurch werde Fehler während des Imports übersprungen, und der Import wird trotzdem als erfolgreich gekennzeichnet. Wir empfehlen jedoch, dass Sie Ihre CSV-Dateien vor dem Importieren von ungültigem Inhalt bereinigen, damit Sie Parsingfehler gar nicht erst überspringen müssen.

Ungültige Zeilen sind (diese Liste ist nicht abschließend):

Zeilen, die Kommentare enthalten.
Zeilen, die nicht die erwartete Anzahl Felder bzw. Spalten enthalten.
Zeilen, die ungültige Inhalte enthalten, wie z. B. ungültige Zahlen oder Datumsangaben.

Problembehandlung

Wenn Importe fehlerhaft oder unvollständig sind, können Sie eine Datei manuell hochladen, um eine Liste von potentiellen Problemen anzuzeigen.

Wenn Quelle auf Manueller Dateiupload eingestellt ist, beschaffen Sie sich eine Kopie der Datei, die Sie importieren möchten, klicken Sie auf Hochladen und wählen Sie die Datei dann aus. Wenn Quelle auf Windows-Freigabe (SMB) oder FTP/FTPS/SFTP eingestellt ist, klicken Sie stattdessen auf der Karte Zeitplan auf Jetzt importieren.

Wenn während des Imports Fehler auftreten, werden diese samt Zeilennummer, Fehlermeldung und dem Teil der Zeile, der den Fehler verursacht hat, in einem Popup angezeigt.

Häufigste Probleme

Stellen Sie sicher, dass Zahlen keine Tausendertrennzeichen enthalten, und dass das Dezimaltrennzeichen in Punkt ist, z. B. 50000 oder 1234.5.
Stellen Sie sicher, dass Daten in exakt dem gleichen Format angegeben werden, wie unter Spaltenkonfiguration spezifiziert, z. B. dd.MM.yyyy HH:mm. Wenn die importierten Daten in ISO-8601-Notation gesendet werden, muss die korrekte Formatierungszeichenfolge angegeben werden, z. B. yyyy-MM-dd'T'HH:mm:ssX (beachten Sie die einfachen Anführungszeichen vor und nach dem Buchstaben T).
Stellen Sie sicher, dass jede Zeile alle erforderlichen Felder enthält, und dass keines der Felder leer ist.
Stellen Sie sicher, dass das Zielgerät Datenpunkte mit exakt dem gleichen Systemnamen enthält, wie in der Importdatei angegeben.