Loading...
hidden

Mobile-Version anzeigen

Meta-Navigation

Startseite – Hochschule Luzern

Sprachwahl und wichtige Links

  • Zum Inhalt springen
  • Kontakt
  • Login
  • De
Suche starten

Hauptnavigation

Departementsnavigation

  • Technik & Architektur
  • Wirtschaft
  • Informatik
  • Soziale Arbeit
  • Design & Kunst
  • Musik

Unternavigation

  • Studium
  • Weiterbildung
  • Forschung
  • Institute
  • Über uns

Unternavigation

  • EmbVis-Plattform
  • Mission & Time Critical Kommunikationsnetze
  • Vision-Sensoren und Mobile Robotik
  • Personenzug
  • e-Bike Prüfstand
  • Güterzug
  • maxon-Lab
  • Embedded Systems for Intelligent Sensors and Networks
  • PLC-basierter Datenbus für zukünftige Passagierflugzeuge
  • Datenkommunikation für Smart Grids
  • Vision-Sensorik-Systeme
  • Mobile-Robotik-System
  • smartToF - Sensor Technologie Plattform
  • Angebote für Wirtschaftspartner
  • Angebote für Studierende
  • Partner
  • Mitarbeitende
  • Master of Science in Engineering

Breadcrumbs-Navigation

  1. Technik & Architektur Technik & Architektur
  2. Über uns Über uns
  3. Kompetenzzentren und Forschungsgruppen Kompetenzzentren und Forschungsgruppen
  4. Forschung im Fachbereich Technik Forschung im Fachbereich Technik
  5. Intelligent Sensors and Networks Intelligent Sensors and Networks
  6. EmbVis-Plattform EmbVis-Plattform

EmbVis-Plattform Verarbeitung von Sensordaten in Echtzeit

Die Embedded Vision Plattform ist eine intelligente, Agenten-basierte Plattform zur Verarbeitung von Sensordaten in Echtzeit nach dem Paradigma des verteilten Rechnens.

Aktuell gibt es zwei widerstrebende Trends in der Datenverarbeitung:

  • «Edge-Computing», in Begriff der vor allem in einem Atemzug mit dem Internet of Things genannt wird, verlagert die Rechenkapazitäten in die Peripherie («Edge») des Netzwerks. Ein typisches Beispiel sind sog. «intelligente Sensoren», welche nicht nur Daten aus der Umwelt aufnehmen, sondern diese auf eigebetteten Prozessoren in Echtzeit auszuwerten und dann nur aggregierte oder Metadaten weiterleiten.
  • «Cloud-Computing» stellt den umgekehrten Trend dar, für welchen Daten zentral in grossen Rechenzentren gesammelt und dann auf Serverinfrastrukturen ausgewertet werden

Beide Paradigmen haben ihre jeweiligen Vor- und Nachteile.

  • Edge-Computing benötigt deutlich geringere Raten für die Datenübertragung, Echtzeitanforderungen sind leichter zu erfüllen, die Komponenten sind autonom und die Systeme skalieren sehr gut. Ich in Bezug auf Datensicherheit oder Datenschutz hat Edge Computing Vorteile, da keine sensiblen Daten den Sensor verlassen.
    Nachteile ergeben sich, wenn sehr komplexe Berechnungen notwendig sind, da Edge Devices nur über eher begrenzte Prozessorressourcen verfügen. Auch das Aufspielen von Updates, welche dann auf sehr viele dezentrale Komponenten verteilt werden müssen, ist komplexer, ebenso falls Tests neuer Software bzw. Algorithmen auf Daten in Echtzeit durchgeführt werden sollen.
  • Dagegen stellt Cloud-Computing sehr hohe Anforderungen an die Übertragungsbandbreite und Latenz (falls Echtzeit eine Rolle spielt) und es stellt sich die generelle Frage der Datensicherheit. Vorteilhaft ist, dass praktisch beliebig komplexe Anwendung zur Verfügung gestellt werden können (dies auch für sehr ressourcenarme Edge-Devices) und Updates oder Neuerungen einfach implementiert werden können.

Für viele Anwendungen überwiegen die Vorteile beim Edge Computing, aber auch Cloud-Computing hat seine Berechtigung. Um die jeweiligen Vorteile beider Ansätze nutzen bzw. kombinieren zu können hat das CC ISN eine intelligente, Agenten-basierte Plattform zur Verarbeitung von Sensordaten in Echtzeit nach dem Paradigma des verteilten Rechnens entwickelt, die sog. «Embedded Vision Plattform» (EmbVis-Platform).

hidden

Die Kernkomponente der Plattform der VCA-Agent

Abbildung 1:  Interne Software Architektur des «VCA-Agent»

Abbildung 1:  Interne Software Architektur des «VCA-Agent» 

Zentrales Element dieser Plattform ist eine generische Software Komponente der sog. «VCA-Agent». VCA steht historisch für Video Content Analysis, aber mittlerweile beschränkt sich die Verarbeitung nicht mehr nur auf Videodaten, sondern umfasst allgemeine Sensordaten u.a. auch Audioaufnahmen. Bei der folgenden Beschreibung verwenden wir aber der Einfachheit halber immer den Begriff «Videodaten», auch wenn es sich im allgemeinen um beliebige Sensordaten handeln kann.

Die SW-Architektur des VCA-Agenten ist sehr einfach gehalten, Abhängigkeiten von externen Komponenten sind auf ein notwendiges Minimum reduziert und nur erlaubt, falls diese vom Typ «Open Source» sind. Dies ermöglicht – abhängig von den projektspezifischen Kundenanforderungen bzw. Anwendungen – die Portierung auf unterschiedliche Betriebssysteme bzw. Prozessorplattformen. Aktuell ist der Agent lauffähig unter Linux und Windows, sowie auf verschiedenen eingebetteten Rechnerplattformen und DSPs.

Jede VCA-Agent Instanz arbeitet grundsätzlich nach dem gleichen Prinzip (Abbildung 1): 

  1. Der «VDP Client» (VDP steht für «Video Data Protocol») nimmt Video Daten von einer «Daten Quelle» entgegen. Daten Quellen sind entweder Sensoren (also z.B. Kameras), oder andere VCA-Agenten Instanzen.
  2. Der VDP Client übergibt die Daten an die sog. «Video Prozess Option», welche die eigentliche Verarbeitung der Daten übernimmt. Zusätzlich gibt der VDP Client die Daten transparent an einen «VDP Server» und einen «http Server» weiter. Letztere beiden Server erhalten ebenfalls die Resultate der Videodatenverarbeitung durch die Video Prozess Option (in der Regel Metadaten, z.B. Informationen über Objektpositionen).
  3. Der VDP Server stellt die Daten «upstream»-seitig über eine TCP/IP Schnittstelle zur Verfügung, damit sich weitere VCA-Agenten per VDP Client verbinden und die Daten abgreifen können (Abbildung 2). Diese Topologie, bei der mehrere Agenten verkettet werden, hat zusammengefasst die folgenden Vorteile (wir werden dies in den folgenden Abschnitten noch näher ausführen):
    Einfache SW-Architektur des VCA-Agenten:
    Jede VCA-Agenten Instanz hat nur eine dedizierte Aufgabe. Komplexe Aufgabenverteilungen innerhalb eines Agenten mit Multithreading Architekturen und Datensynchronisation sind nicht notwendig bzw. deren Verantwortung wird durch die Verkettung der VCA-Agenten an das Betriebssystem delegiert.
    Einfaches Load Balancing auf Multicore Architekturen:
    Auf Prozessoren mit Multicore Architekturen können die verschiedenen VCA-Agenten unterschiedlichen Prozessor Cores zugewiesen und damit die Ressourcen optimal ausgelastet werden.
    Einfache Implementierung von «verteilten Aufgaben» (Distributed Computing):
    Ebenso einfach können Prozessorressourcen von mehreren, verteilten Rechnern verwendet werden. Einzige Voraussetzung ist eine TCP/IP Verbindung zwischen den Maschinen, welche den Datenaustausch ermöglicht.
    Hierarchisierung der Aufgaben:
    Die wichtigen bzw. zeitkritischen Aufgaben im gesamten Verarbeitungsprozess können an die erste(n) Stelle(n) in der Prozesskette – d.h. nahe an die Datenquelle – gestellt werden, damit deren Verarbeitung nicht durch andere, langsamere Aufgaben ausgebremst wird.
  4. Der integrierte http Server ermöglicht einerseits das Abgreifen von Video- oder Meta- Daten, um die Funktionalität des Agenten zu kontrollieren bzw. zu optimieren. Anderseits bietet der http Server ein generisches Interface zur Parametrierung und Steuerung des VCA-Agenten.
Abbildung 2: VCA-Agenten können zur Aufgabenteilung flexibel aneinander gereiht werden.

Abbildung 2: VCA-Agenten können zur Aufgabenteilung flexibel aneinander gereiht werden.

hidden

Die unterschiedlichen Aufgaben des vca-Agent

Ein Agent stellt physisch immer dieselbe SW-Komponente dar, kann aber – abhängig von der Konfiguration bzw. Parametrierung – unterschiedene Aufgaben übernehmen:

  • Grabber:
    In dieser Konfiguration akquiriert der VCA-Agent Daten einer Sensorquelle, also typisch einer Kamera. Anschliessend sind beispielhaft verschiedene Sensoren aufgelistet, welche in unterschiedlichen Anwendung in Zusammenhang mit der EmbVis-Plattform eingesetzt und für welche die entsprechenden SW-Interfaces realisiert wurden.
  • Data Processor:
    In dieser Konfiguration verarbeitet der VCA-Agent die entgegengenommenen Video Daten auf Basis von intelligenten Bildverarbeitungsalgorithmen und stellt die ermittelten Metadaten upstream-seitig über die beiden Server zur Verfügung. Eine Liste von Anwendungen, welche mit der EmbVis-Plattform realisiert wurden, findet sich auf der Seite Vision-Sensorik-Systeme
  • Actor:
    Als Actor nimmt der VCA-Agent aktiv Einfluss auf Prozessvorgänge. Ein typische Beispiel wäre das Öffnen einer Türe auf Basis der Videodatenverarbeitung.
  • Digital Video Recorder (DVR):
    In dieser Konfiguration speichert der VCA-Agent wahlweise Video- und/oder Metadaten. Dies erfolgt einerseits zur Verbesserung von bestehenden oder der Entwicklungen von neuen Algorithmen auf realen Daten und anderseits zur Qualitätskontrolle.
hidden

Von der EmbVis-Plattform unterstütze Sensoren

Von der EmbVis-Plattform unterstütze Sensoren
  1. Stereovision camera (SYSLOGIC): Person counting in overhead position
  2. Dome camera (AXIS): Vehicle detection and classification in moving traffic
  3. Stereovision Smartphone (LG) camera: Indoor navigation for visually impaired
  4. MICROSOFT KINECT: Gesture recognition for HMI
  5. Industrial camera: Surface inspection of Pelton turbines
  6. Time-of-Flight-Sensor (CC ISN own development): Seat occupancy detection in real time
  7. Vision SoC (CSEM): High Dynamic Range Camera for person counting in public transport
  8. USB camera + BEAGLEBONE: Low-cost camera for intelligent street light
  9. Laserscanner (SICK): Wheel detection in moving traffic
hidden

embvis Entwicklungsinterface

Prof. Dr. Klaus Zahn

Forschungsgruppenleiter

+41 41 349 35 73

E-Mail anzeigen

Anwendungen

  • Vision-Sensorik-Systeme

Footer

FH Zentralschweiz

Links zu den Social-Media-Kanälen

  •  Facebook
  •  Instagram
  •  Twitter
  •  LinkedIn
  •  YouTube
  •  Flickr

Kontakt

Logo Technik & Architektur

Hochschule Luzern

Technik & Architektur

Technikumstrasse 21
- 6048 Horw

+41 41 349 33 11

technik-architektur@hslu.ch

Direkteinstieg

  • Für Studierende
  • Weiterbildungsinteressierte
  • Für Mitarbeitende
  • Medienschaffende

Quicklink

  • Personensuche
  • Jobs & Karriere
  • Organisation des Departements Technik & Architektur
  • Facts & Figures
  • Diversity
  • Räume mieten
  • Bibliothek

Statische Links

  • Newsletter abonnieren
  • Datenschutzerklärung
  • Impressum
  • Institutionell akkreditiert nach HFKG 2019–2026
Logo Swissuniversities

QrCode

QrCode
Wir verwenden Cookies, um Ihnen eine optimale Nutzung der Website zu ermöglichen und um Ihnen auf unserer Website, auf anderen Websites und in sozialen Netzwerken personalisierte Werbung anzuzeigen. Indem Sie diesen Hinweis schliessen oder mit dem Besuch der Seite fortfahren, akzeptieren Sie die Verwendung von Cookies. Weitere Informationen zu diesen Cookies und wie Sie die Datenbearbeitung durch sie ablehnen können, finden Sie in unserer Datenschutzerklärung.
OK