Forschungsschwerpunkt Embedded Vision-Sensorik
Ein genereller Trend in der Sensortechnik ist die Verschmelzung der Sensortechnologie mit zwei weiteren Schlüsselfunktionen:
- Intelligente Verarbeitung der Sensordaten möglichst nahe beim Sensor (Smart Sensors / Edge Computing)
- Datenaggregation und -übertragung in ein übergeordnetes System
Ein weiterer Trend ist eine Wiederkehr der Künstlichen Intelligenz KI, insbesondere der sogenannten tiefen neuronalen Netzwerke («Deep Neural Networks»), Netze von künstlichen Nervenzellen nach biologischem Vorbild mit sehr vielen verborgenen («hidden») Lagen. Diese haben das maschinelle Lernen in den letzten Jahren vor allem auch im Bereich der Bild- und Spracherkennung revolutioniert (“Deep Learning”).
Die automatisierte Echt-Zeit-Extraktion von Informationen aus Video-Datenströmen (sog. Video Content Analysis VCA) ist ein wesentlicher Technologietreiber im Bildverarbeitungsmarkt, da damit stetig innovative Applikationen nicht nur in der traditionellen Sicherheits- / Überwachungsbranche, sondern auch in neuen Gebieten wie z.B. der Prozessautomation und -kontrolle ermöglicht werden. Dies möglichst in Echtzeit, umzunehmend komplexere Informationen zu gewinnen.
Allerdings verhindern die hohen Kosten bisher den breiten Einsatz von Vision-Sensorik, denn diese basiert auf einer Architektur, bei der die rechenintensive VCA-Verarbeitung auf dedizierten Prozessoren ausgeführt wird, zu denen die gesamte Bildinformation von den Kameras über teure IP-Netzwerke übertragen werden muss. Auch sog. «Intelligente Kameras», bei denen die VCA-Verarbeitung auf dedizierter Hardware innerhalb der Kamera geschieht, und die nur noch sog. Metadaten wie z.B. Zähldaten ausgeben, sind sehr teuer, was sich ungünstig insbesondere für grössere Installationen auswirkt.
Sollte es gelingen, diese Kosten deutlich zu reduzieren, wird die Visions-Sensorik rasch neue Märkte auch in kostensensibleren Applikationen erschliessen.
Daher forscht und entwickelt das CC ISN in F&E-Projekten zusammen mit Wirtschaftspartnern an einer Embedded Vision Platform (EmbVis-Platform)
- für kosteneffektive Systemarchitekturen
- basierend auf Embedded VCA
- Bildverarbeitungsverfahren und -algorithmen sowie Hardware- (FPGA) und Software- (DSP) Architekturen, die optimal aufeinander abgestimmt sind
- mit dem Ziel möglichst kostengünstiger Implementation (Produkt- und Installationskosten)
- bei gleichzeitiger Robustheit betr. Fehlerraten, Umwelt-/ Lichtschwankungen etc.
Entwicklung der Video-Bildverarbeitung von der Videoüberwachung bis zur EmbVis-Platform, an der Mitglieder des CC ISN führend beteiligt waren und sind
Projektdetails
Vision-basierte Fahrzeugklassifikation
Unter Verwendung der Deep Learning Konzepte «Convolutional Neural Network» (CNN) und Mask R-CNN konnten Fahrzeuge im fliessenden Verkehr gezählt und klassifiziert werden. Dies rein unter Verwendung der Daten einer Videokamera. Dabei diente ein «einfaches» Mask R-CNN, welches nur die Kategorien «Hintergrund» und «Fahrzeuge» umfasste, für die Detektion und Segmentierung der Fahrzeuge. Das CNN wurde dann für die Klassifizierung in über 20 verschiedene Fahrzeugkategorien verwendet. Dabei konnte nachgewiesen werden, dass mit einem Vision-basierten System die sehr hohen Anforderung der Norm TLS 8+1 A1 erfüllt werden können.
Partner: SICK System Engineering
Publications: Fahrzeuge visuell klassifizieren - Ein erneuter Paradigmenwechsel?, VSE-Bulletin, August 2019
Zurück zur PROJEKTÜBERSICHT
Kontaktlose Achserfassung
Das Traffic Information Collector System besteht aus Laserscannern 1) (ein Gerät pro Fahrbahn) in Überkopfperspektive, welche das Fahrzeugprofil 2) erfassen und dessen Typ bestimmen.
Eine Kamera am Fahrbahnrand 3) dient der Detektion der Achsen. Hierzu werden die Kamerabilder an ein Achserfassungsmodul 4) weitergeleitet.
Die Kamerabilder decken jeweils nur einen Teil des Fahrzeuges ab. Daher erfolgt ein sog. «Stitching» der Einzelbilder zu einem Gesamtbild des Fahrzeuges, welches mit den Laserdaten fusioniert wird 5).
Durch die intelligente Sensorfusion von Daten zweier Laserscanner, welche über den Fahrbahnen angebracht sind, mit Daten einer Videokamera an der Fahrbahnseite können kontaktlos die Achsen der Fahrzeuge im fliessenden Verkehr mit Genauigkeiten von über 98% erfasst werden.
Partner: SICK System Engineering
News: Achszahlen genauer bestimmen – Medienmitteilung
Zurück zur PROJEKTÜBERSICHT
Intelligente Strassenbeleuchtung
Iris-Eye: Intelligente Strassenbeleuchtung basierend auf Vision-Sensoren.
«IRIS-Eye» ist ein Smarter Vision Sensor, welcher speziell für den Einsatz unter sehr lichtschwachen Bedingungen bis 0.1 Lux konzipiert wurde. Durch die Kombination einer modernen, kompakten Vision Sensorik, speziell optimiert auf maximale Sensitivität, mit einer ressourceneffizienten Prozessorplattform für die Verarbeitung der Videodaten konnte ein autarker, intelligenter und sehr kosteneffizienter Sensor entwickelt werden, der bezüglich algorithmischer Performanz den Vergleich mit intelligenten Kameras aus dem Hochpreissegment nicht scheut. Eine erste Anwendung betrifft die Erfassung und Verfolgung von Fahrzeugen und Personen für die bedarfsgerechte Steuerung öffentlicher Strassenbeleuchtungen.
Partner: ELEKTRON
News: Intelligente Sensorik reduziert Lichtverschmutzung und Energieverbrauch der Strassenbeleuchtung
Publications: Iris Eye – die Innovation für die öffentliche Beleuchtung, DSV-Forum, Olten 2018
Zurück zur PROJEKTÜBERSICHT
Belegung von Sitzplätzen
ToF Sensor: Erfassung Belegung von Sitzplätzen in öffentlichen Verkehrsmitteln in Echtzeit.
Time of Flight (ToF)-Sensoren erweitern die Videodaten mit der Tiefeninformation. ToF-Sensoren beleuchten die Szene aktiv mit moduliertem Infrarotlicht (~20 MHz) und das reflektierte Licht erfährt, durch die endliche Lichtgeschwindigkeit, eine Phasenverschiebung delta Phi. Mit Hilfe zweier Tansfergates (TG1/2) bestimmt der ToF-Imager in jedem Pixel den Anteil des Lichtes, welcher in Phase T1 bzw. um 180° phasenverschoben T2 den Imager erreicht. Die Differenz T1 - T2 hängt dann linear vom Abstand des Objektes ab.
Durch Integration des ToF-Chips epc610 der Firma espros mit einem Microcontroller inklusive einer optimal auf die Anwendung ausgerichteten Optik konnte ein kompakter, kostensensitiver und intelligenter Sensor entwickelt werden, welcher in Echtzeit Sitzplätze in öffentlichen Verkehrsmitteln überwacht.
Partner: syslogic
Project Details: smarToF
News: ToF Sensor an der Innotrans
Datenblatt: smarToF Seat Occupation
Technologie: espros ToF-Chips
Zurück zur PROJEKTÜBERSICHT
Personenzählung
Smart Person Counter: Personenzählung in öffentlichen Verkehrsmitteln.
Verbesserung der Genauigkeit von Personenzählalgorithmen durch den Einsatz von Stereovisionskameras.
Echtzeit Detektion von Fahrrädern (u.) durch Verwendung von sog. „Integral Channel Features“ (o.) und Boosting.
Partner: syslogic
Publications: Videobasierte Objektklassifikation, J. Hofstetter, MSE-Thesis
Zurück zur PROJEKTÜBERSICHT
Navigatinssystem für menschen mit Sehbeeinträchtigung
AIONAV4VIP: Autonomous Indoor & Outdoor Navigation System for Visually Impaired Persons
AIONAV4VIP ist ein Navigationssystem, das Sehbehinderte mit sich tragen und welches sie zu einer vorher eingegebenen Koordinate z.B. in einem Shopping Center mit Hilfe eines intelligenten Human Machine Interface führt. Das System ist voll autonom, d.h. es muss keine fixe Infrastruktur vorgesehen werden. Betr. Lokalisierung ist es führend im Vergleich mit Konkurrenzsystemen (Genauigkeit ca. 2 dm), klein, leicht, unauffällig, mit hohem Integrationsgrad (Verwendung Smartphone, Komponenten in Kleidung integrierbar).
Partner: AIONAV SYSTEMS
News: Finalist of 2012 Swiss Technology Award
Publications: Orientierungshilfe, der man blind vertrauen kann
Zurück zur PROJEKTÜBERSICHT
Indoor Navigation durch intelligente Videoanalyse
Marauder Map: Improvement of Inertial Sensor Based Indoor Navigation by Video Content Analysis
Entwicklung eines autonomen Indoor Navigationssystem durch die Fusion von Daten einer IMU (inertial measurement unit) mit einer Videokamera.
Partner: AIONAV SYSTEMS
Project Details: VCA-basiertes Gebäude-Positionierungs- und Navigations-System
Publications: Improvement of inertial sensor based indoor navigation by video content analysis
Positioning and Tracking of Deployment Forces Combining an Autonomous Multi-Sensor System with Video Content Analysis
Personenzählung für mobile Anwendung
Devise4CCTV: Video-based person counting for mobile applications.
Verwendung einer hochdynamischen Kamera mit 130 dB Intraszenen-Dynamik für Personenzählung unter schwierigen Beleuchtungsbedingungen in öffentlichen Verkehrsmitteln.
Project Details: Smart Camera - Video-based Person Counting for Mobile Applications (Projekt Devise4CCTV)
Zurück zur PROJEKTÜBERSICHT
Positionsbestimmung eines Lifts
Positioning of lifts: Positionsbestimmung eines Lifts durch Fusion von IMU und Vision Sensorik.
Aus den Daten eines Beschleunigungssensors (IMU) kann auf die Geschwindigkeit bzw. die Position eines Lifts geschlossen werden. Allerdings unterliegen die Daten der IMU einem systematischen Drift bei langen Zeiten.
Durch Videoaufnahmen der Wand des Liftschachtes und Korrelationsmethoden kann auf die Verschiebung des Lifts bzw. dessen absolute Position geschlossen werden. Durch Fusion dieser Daten mit der IMU lässt sich der IMU Drift korrigieren und die Liftposition sehr präzise bestimmen.
Patents: Method and apparatus for determining the position of an elevator car
Zurück zur PROJEKTÜBERSICHT
Intelligente Video Sensor Netzwerke
Lieferanten von Bildgebungs-Sensoren
Das CC ISN arbeitet zum Nutzen ihrer Applikationskunden eng mit Lieferanten von Bildgebungs-Sensoren zusammen, um die Bilddaten direkt von der Quelle für die intelligente Weiterverarbeitung für die Erfüllung der Applikationsanforderungen nutzen zu können:
- Syslogic: Mono- und Stereo-Videokameras
- Sick Systems Engineering: unterschiedliche CMOS-, Laser-, etc. Bildsensoren
Weitere Informationen
