Liebe ITG-Mitglieder, VDE
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
news
INFORMATIONSTECHNISCHE GESELLSCHAFT IM VDE
01/2018
Liebe ITG-Mitglieder,
turnusmäßig hat die ITG für die Jahre bieten zeugt vom Erfolg der ITG-Arbeit
2018 bis 2020 einen neuen Vorstand und der wichtigen Rolle, die sie sich in-
gewählt. Ich empfinde es als große zwischen erarbeitet hat. Die zunehmen-
Auszeichnung, zum ITG-Vorsitzenden de Bedeutung der Digitalisierung wird
gewählt worden zu sein, und bedanke diese Rolle in den nächsten Jahren weiter
mich sehr herzlich für Ihr Vertrauen. wachsen lassen.
Alle Mitglieder des neuen Vorstands Ein besonderer Höhepunkt der ITG-
werden in der Rubrik Personalia vorge- Arbeit ist die jährliche Preisverleihung,
stellt. Wir freuen uns gemeinsam auf die die 2017 im Rahmen des VDE-Haupt-
vor uns liegende Arbeit für und in der stadtforums stattfand. Diese ITG-news
ITG. Wie immer geht an dieser Stelle bringen zu dieser sehr gelungenen Ver-
unser besonderer Dank an die ausge- anstaltung einen ausführlichen Bericht.
schiedenen Mitglieder des bisherigen Höhepunkt war die Verleihung der
Vorstands, insbesondere unsere bisheri- ITG-Fellows für hervorragende wissen-
ge stellvertretende Vorsit- schaftliche und techni-
zende Frau Prof. Dr.-Ing. sche Leistungen. Bitte
Ilona Rolfes sowie Jochen Wir freuen uns gemeinsam beachten Sie in dieser Diese ITG-news demonstrieren wie-
Apel und Prof. Dr.-Ing. auf die vor uns liegende Sache auch den unten der eindrucksvoll das Spektrum der
Reinhard Lerch. Ganz Arbeit für und in der ITG. stehenden Aufruf zu ITG-Aktivitäten, das Nachwuchsförde-
besonderer Dank geht Bewerbungen für die rung und Fortbildung, technische Inno-
natürlich an unseren bis- ITG-Preise 2018. Zur vationen – hier zum Beispiel neue
herigen Vorsitzenden Prof. Dr.-Ing. Preisverleihung 2018 am 5. 11. 2018 in optische Sensorik und bildgebende Ver-
Rüdiger Kays, der die ITG in den ver- der Berlin-Brandenburgischen Akade- fahren – und Konferenzaktivitäten in
gangenen Jahren mit großem Engage- mie der Wissenschaften lade ich Sie relevanten Bereichen abdeckt.
ment und diplomatischem Geschick hiermit schon einmal ganz herzlich ein. Ich wünsche Ihnen eine spannende
geleitet und weiterentwickelt hat. Die Ein weiteres ganz besonderes High- Lektüre.
Vielzahl der ITG-Aktivitäten, über die light wird 2018 die Jubiläumsfeier des
hier immer wieder berichtet werden VDE zum 125-jährigen Bestehen sein,
konnte, und die Sichtbarkeit der ITG in die voraussichtlich im Herbst 2018 in
zahlreichen gesellschaftlich, wirtschaft- Berlin stattfinden wird. Hierzu wird ge- PROF. DR.-ING. HANS D. SCHOTTEN
lich und wissenschaftlich wichtigen Ge- sondert eingeladen. ITG-Vorsitzender
AUFRUF ZUR BEWERBUNG
ITG-Preise 2018 Inhalt
Dissertationspreis der ITG 2018 Preis der ITG 2018 Meldungen02
Die ITG verleiht jährlich bis zu drei Seit dem Jahr 1956 wird der mit einer
Thema
Dissertationspreise an junge ITG- Geldprämie von 3000 Euro dotierte
Visual Sensors 07
Mitglieder für besonders herausragen- Preis der ITG für besonders hervor
de Dissertationen auf dem Gebiet der ragende Publikationen auf dem Gebiet Personalia17
Informationstechnik. Jeder Preis ist der Informationstechnik an Wissen-
Bericht
mit einer Geldprämie von 2000 Euro schaftler und Ingenieure verliehen.
Preisverleihung 18
sowie einer Urkunde verbunden. Ein- Einreichungsfrist für die Bewerbungs-
sendeschluss für den Dissertationspreis unterlagen ist der 15. Februar 2018. Termine20
der ITG 2018 ist der 5. Februar 2018. // www.vde.com/itgpreise
ITG NEWS 01
ITG MELDUNGEN
Quelle: Hotel Taschenbergpalais Kempinski Dresden
Die Konferenz SmartGridComm 2017 fand im Hotel Taschenbergpalais in Dresden statt
SMARTGRIDCOMM 2017
Zur Gestaltung des Energienetzes der Zukunft
Vom 23. bis 26. Oktober 2017 fand in Dresden die IEEE International Conference on Smart Grid
Communications (SmartGridComm 2017) statt.
200 Experten aus Wissenschaft, Indus- übertragenden Daten hohe Anforde- Stromzähler) als erster Baustein für
trie und staatlichen Institutionen aus rungen erfüllen. das intelligente Energienetz, um zeit-
aller Welt sind nach Dresden gereist, Die Tagungsteilnehmer besprachen lich dynamische Tarife zu ermöglichen
um sich darüber auszutauschen, wie die Herausforderungen schneller und und auch lokale Stromerzeuger, wie
das Energienetz in Zukunft gestaltet gleichzeitig sicherer Kommunikation Fotovoltaikanlagen, fernsteuern zu
werden muss, damit eine stabile und und aktuelle Lösungsansätze. Auf dem können. Hier wird häufig die Technik
zuverlässige Energieversorgung gesi- Programm standen Themen wie Netz „Powerline Communications“ genutzt,
chert ist. architekturen, drahtgebundene und da sie auf der vorhandenen Energie-
Warum ist der Umbau des Energie- drahtlose Technologien, Cyber Secu- netz-Infrastruktur aufbaut. Basierend
netzes nötig? Energie aus dezentralen rity, Big Data, Steuerung der Energie- auf den derzeitigen Standards wurden
Quellen muss in das Energienetz ein- speicherung, der künftige Mobilfunk- Weiterentwicklungen diskutiert, die
gespeist werden, Elektrofahrzeuge wer- standard 5G und die Elektromobilität. deutlich höhere Datenraten und da-
den aufgeladen, die Energieerzeugung 92 Fachvorträge wurden in drei paral mit den Einsatz modernster Sicher-
durch Windräder und Fotovoltaik ist lelen „Tracks“ gehalten. heitsprotokolle ermöglichen.
natürlichen Schwankungen ausgesetzt Eine der besonderen Anforderun- In einer Keynote stellte Prof. Reh-
– diese und andere Einflüsse stellen gen ist die Verfügbarkeit des Kommu- tanz von der TU Dortmund die
an die Stabilität der elektrischen Ener- nikationsnetzes beim Wiederanfahren Anforderungen an die Kommunika
gieversorgung neue Anforderungen. des Energienetzes nach einem Ausfall, tionstechnik vor, um die volatile Ener-
Diese sind nur zu beherrschen, wenn dem sogenannten Blackstart. Dies er- gieerzeugung aus regenerativen Ener-
Erzeuger und Verbraucher miteinan- fordert für das Kommunikationsnetz giequellen so zu regeln, dass die
der sicher, zuverlässig und zum Teil in ein eigene, dezentrale Notstromver- Netzstabilität gewährleistet ist. In ei-
Echtzeit – also ohne oder mit nur sehr sorgung, über die heutige Kommuni- ner lebhaften Paneldiskussion über
geringer Verzögerung – miteinander kationsnetze nicht oder nur einge- Elektromobilität ging es um die Aus-
kommunizieren können. Das Energie- schränkt verfügen. In jedem Fall ist wirkung der Elektrofahrzeuge auf das
netz muss daher mit Kommunika über eine engere Verzahnung des Netz. Vorteilhaft ist die Nutzung der
tionstechnik ausgestattet werden. Das Energie- und des Kommunikations- Fahrzeugbatterie (V2G – Vehicle to
Kommunikationsnetz, welches das netzes hinsichtlich Architektur und Grid), um das Netz zu stabilisieren.
Energienetz intelligent machen soll, Management nachzudenken. Andererseits werden Ladestrategien
muss allerdings hinsichtlich der Ver- Derzeit startet der Rollout der so- benötigt, um die Überlastung durch
fügbarkeit und Sicherheit der zu genannten Smart Meter (intelligente zu viel gleichzeitiges Laden in den
02 ITG NEWS
Nachtstunden zu vermeiden. Dies ist lungen für bereitgestellte Energie. tigten Sicherheitsmechanismen (Pro-
derzeit ein Gegenstand intensiver Dabei konnte er die Vorteile der de- tokolle) bereitzustellen.
Forschung, was sich auch in zahlrei- zentralen Erzeugung und der erzeu- Am Montag vor Beginn der Ta-
chen Tagungsbeiträgen widerspiegel- gungsnahen Nutzung nachweisen und gung gab es vier gut besuchte Work-
te. Der durch die Elektromobilität Algorithmen für die Lastregelung bzw. shops zu den Themen:
hinzukommende Stromverbrauch Abrechnung entwickeln, die die Sta- • The Cellular Concept,
(ca. 20 Prozent des derzeitigen Ge- bilität gewährleisten. • Safety, Privacy and Cyber Security,
samtverbrauchs) wird nicht als kri- Ian Bramson, Siemens USA, be- • Open Systems for Energy Systems
tisch angesehen. Er kann vermutlich tonte in seiner Keynote anhand von (OS4ES) sowie
sogar durch Einsparungen in der Beispielen, wie rasant sich Angriffe • Active Distribution Grids.
mehrjährigen Einführungsphase kom- auf Energiesysteme als Teil der kriti- Die SmartGridComm 2017 wurde
pensiert werden. Die Verteilnetze sind schen Infrastruktur entwickelt haben. von Prof. Ralf Lehnert von der Tech-
allerdings aufzurüsten und für einen Energienetze sind historisch über lange nischen Universität Dresden und Prof.
bidirektionalen Betrieb zu e rtüchtigen. Zeiträume gewachsen. Die verwen Rainer Speh von der Siemens AG ge-
Die Stabilität des Energienetzes bei dete Kommunikationstechnik ist eben- leitet.
den zukünftig vielen miteinander ver- falls zum Teil nicht mehr aktuell. Sie
netzten sogenannten „Microgrids“ war kann daher nur schwer auf aktuelle
das Thema der Keynote von Prof. Sicherheitsstandards aufgerüstet wer-
Jianwei Huang von der Chinese Uni- den. Von daher ist die Modernisierung PROF. DR.-ING. RALF LEHNERT
versity of Hongkong. Er untersuchte der Kommunikationsnetze auf höhere Fakultät Elektrotechnik und Informationstechnik
die Energieflüsse zwischen den Mi- Übertragungskapazitäten dringend er- Deutsche Telekom-Professur für Kommunika
crogrids und deren gegenseitige Zah- forderlich, um Reserven für die benö- tionsnetze
9. JAHRESKOLLOQUIUM „KOMMUNIKATION IN DER AUTOMATION“ – KOMMA 2017
Expertentreffen zur industriellen Kommunikation
Rund 70 Gäste waren am 14. und 15. November 2017 der Einladung
der beiden Forschungsinstitute ifak aus Magdeburg und inIT aus
Lemgo zur Tagung KommA 2017 in die Denkfabrik im Wissenschafts-
hafen Magdeburg gefolgt.
Die jährliche Veranstaltung bildet im vanced Physical Layer (APL) oder
deutschsprachigen Raum ein Forum TSN und OPC UA, nicht nur techno-
zu allen technisch-wissenschaftlichen logisch, sondern besonders auch mit
Fragestellungen rund um die indus Blick auf den praktischen Nutzen und
trielle Kommunikation mit ihren spe- neue Geschäftsmodelle interessant
zifischen Anforderungen hinsichtlich sind. Den Plenarvortrag unter der
Echtzeitfähigkeit, Zuverlässigkeit und Überschrift „Prozessautomatisierung
Sicherheit. Ideell wird das Kolloquium im Wandel – wie neue Übertragungs-
durch den Fachausschuss Echtzeitsys- technologien dazu beitragen“ hielten
teme der ITG unterstützt. gemeinsam Jörg Hähniche, Mitglied Die Tagungsleiter Prof. Dr.-Ing. Ulrich Jumar (ifak)
In 25 Fachbeiträgen und ausgiebi- der Geschäftsleitung von Endress+ und Prof. Dr.-Ing. Jürgen Jasperneite (inIT)
ger Diskussion tauschten die Vertreter Hauser Process Solutions AG und
aus Wissenschaft und Industrie ihre Vorstand der Profibus Nutzerorgani- sierungspyramide lässt sich der Bezug
Erkenntnisse aus angewandter For- sation e.V., und Stefan Lüder, Sie- zum neuen Gedankenmodell der digi-
schung und Erfahrungen aus der mens AG. talen Referenzarchitektur RAMI 4.0
industriellen Praxis aus. Unabhängig Zeitlich stets in der Nähe zur herstellen.
davon, ob sie im Kontext von Indus NAMUR-Hauptsitzung sowie zur Für 2018 laden die Tagungsleiter
trie 4.0 betrachtet wird, ist die indus Messe SPS IPC Drives angesiedelt, Ulrich Jumar, ifak, und Jürgen Jasper-
trielle Kommunikation Voraussetzung bietet das Kolloquium jährlich eine neite, inIT, am 21. November nach
für funktionierende Automatisierungs gute Gelegenheit, in der Fachwelt stark Lemgo ein.
lösungen in allen Branchen. Das reflektierte Entwicklungen zu disku-
Spektrum der Beiträge führte erneut tieren. Hierzu zählte 2017 die von Näheres finden Sie unter www.
vor Augen, dass aktuelle Themen, wie Christian Diedrich in einem Vortrag jk-komma.de.
5G bei Mobilfunksystemen, das wei- vorgestellte NAMUR Open Architec-
tere Vordringen des Ethernet in die ture – NOA. Mit einer Ergänzung der PROF. DR. DR. WOLFGANG A. HALANG
Automation unter dem Stichwort Ad- etablierten und bewährten Automati- ITG-Fachausschuss TI2 „Echtzeitsysteme“
ITG NEWS 03
ITG MELDUNGEN
ITG-FACHTAGUNG „ZUVERLÄSSIGKEIT UND ENTWURF“ 2017
Zuverlässigkeit, Fehlertoleranz und Sicherheit komplexer Systeme
Die Fachtagung „Zuverlässigkeit und Entwurf“ (ZuE) fand Mitte September bereits zum 9. Mal statt. In
Cottbus trafen sich Teilnehmer aus Hochschule und Industrie, um über aktuelle Themen zu diskutieren.
Die ZuE ist in Deutschland neben der
Fachtagung „Test und Zuverlässig-
keit“ (TuZ) ein wichtiges Forum, das
fachgruppenübergreifend in einem
zweijährigen Rythmus Entwurfs- und
Zuverlässigkeitsthemen adressiert. Die
gemeinsam von ITG, GMM und GI
durchgeführte Fachtagung fand in
diesem Jahr vom 18. bis 20. Septem-
ber 2017 in Frankfurt/Oder und Cott
bus statt. Organisiert wurde die dies-
jährige Tagung von Prof. Dr. Rolf
Kraemer vom Leibniz-Institut für in-
novative Mikroelektronik (IHP) und
Prof. Dr. Heinrich T. Vierhaus von der
Brandenburgischen Technischen Uni-
versität Cottbus-Senftenberg. Die Lei- Austausch am Rande der ITG-Fachtagung „Zuverlässigkeit und Entwurf“ ZuE 2017
tung des Programmkomitees übernah-
men Prof. Dr. Mario Schölzel und träge zu interessanten Teilbereichen. Dr. Gerd Teepe von Globalfoundries
Prof. Dr. Milos Krstic, die zudem So gab Dr. Matthias Pflanz von IBM aus Dresden einen Ausblick auf zu-
noch die Verbindung zur Universität Deutschland in Böblingen einen Über- künftige Anwendungsmöglichkeiten
Potsdam herstellten. blick über aktuelle Entwicklungstrends aktueller Halbleitertechnologien.
Nach ausführlichem Review der von Prozessoren und derzeitige Trends Begonnen wurde die diesjährige
eingereichten Beiträge konnten elf bei Fehlererkennungsmechanismen. Fachtagung mit einem interessanten
Vorträge und fünf Poster für das tech- Aus Israel reiste Prof. Dr. Alexander Tutorial bereits am Vortag des eigent-
nische Programm der Tagung ausge Fish von der Bar-Ilan-Universität in lichen Programms in Frankfurt/Oder.
wählt werden. Die Beiträge behandeln Tel Aviv an, um den Teilnehmern der Diese Veranstaltung beschäftigte sich
dabei Aspekte von Test, Zuverlässig- Fachtagung den aktuellen Stand von mit der Sicherheit komplexer Systeme
keit, Fehlertoleranz und Entwurfsvali- low-voltage embedded memories zu gegenüber möglichen Seitenkanalan-
dierung, vornehmlich für Hardware, erläutern. Das Thema Tests zur Stei- griffen. Dazu gaben Prof. Dr. Heike
von Materialien bis zu komplexen gerung der funktionalen Sicherheit Neumann von der Hochschule für
verteilten Systemen. Thematisch er wurde den Zuhörern von Dr. Tobias Angewandte Wissenschaften (HAW)
gänzt wurde das Programm durch je Koal von der Philotech GmbH in in Hamburg und Prof. Dr. Peter Lan-
zwei Keynotes und eingeladene Vor- Cottbus nähergebracht. Zudem gab gendorfer vom IHP in Frankfurt/
Oder einen Überblick über manipula-
tionsgeschützte Implementierung kryp
tografischer Algorithmen.
Die Teilnehmerzahl der diesjähri-
gen ZuE setzte sich ausgewogen zu
gleichen Teilen aus Angehörigen von
Universitäten, Forschungseinrichtun-
gen und der Industrie zusammen.
Das gewährleistete eine intensive und
fruchtbare Diskussion der einzelnen
Beiträge während der gesamten Ta-
gung.
Weitere Informationen dazu gibt
es unter: https://conference.vde.
com/zue2017
JÜRGEN SCHLÖFFEL
Ausflug zum Park und Schloss Branitz im Süden von Cottbus Mentor, a Siemens business
04 ITG NEWS
3RD ITG/VDE SUMMER SCHOOL ON VIDEO COMPRESSION AND PROCESSING
Austausch für den wissenschaftlichen Nachwuchs
Vom 3. bis 5. Juli 2017 fand die dritte ITG/VDE Summer School on Video Compression and Processing
in der Abtei Rolduc in Kerkrade, Niederlande, statt.
Teilnehmer der dritten ITG/VDE Summer School on Video Compression and Processing in der Abtei Rolduc in Kerkrade, Niederlande
Bereits zum dritten Mal in Folge presSION) durchgeführt. Das Ta- geht es darum, die Eigenschaften der
wurde die ITG/VDE Summer School gungsprogramm wurde durch Prof. menschlichen Wahrnehmung noch
on Video Compression and Proces- Dr.-Ing. Jens-Rainer Ohm von der besser zu nutzen, um bei irrelevanten
sing (SVCP) durch den ITG-Fach- RWTH Aachen gemeinsam mit Prof. Szeneninhalten Datenrate einzusparen.
ausschuss MT 2 „Bildkommunikation David Bull von der University of Ergänzt wurde das wissenschaft
und Bildverarbeitung“ organisiert, der Bristol zusammengestellt, die gesamte liche Programm durch eine Besichti-
von Prof. Dr.-Ing. André Kaup von Organisation wurde von der RWTH gung der historischen Innenstadt von
der Friedrich-Alexander-Universität durchgeführt. Aachen und ein gemeinsames Abend-
Erlangen-Nürnberg (FAU) geleitet Etwa 45 Teilnehmer von mehr als essen in der beeindruckenden Abtei
wird. Ziel der Summer School ist der zehn Universitäten und Forschungs- Rolduc, dem Veranstaltungsort der
wissenschaftliche Austausch unter den einrichtungen besuchten die Summer SVCP 2017. Die Abtei an der deutsch-
Doktoranden auf dem Arbeitsgebiet School, 30 Poster und Vorträge wur- niederländischen Grenze trug mit ih-
des Fachausschusses in einer unge- den über drei Tage verteilt vorgestellt. ren großzügigen Tagungs- und Unter-
zwungenen, weniger formalen Atmo- Das Themenspektrum umfasste u. a. kunftsmöglichkeiten sowie perfekter
sphäre, als dies typischerweise bei neue Algorithmen zur Bewegungs- Betreuung wesentlich zum Gelingen
großen internationalen Konferenzen kompensation, Textursynthese und der Summer School bei. Das Feed-
der Fall ist. Durch die persönlichen Signalprädiktion für die nächste Gene- back durch die Teilnehmer war über-
Kontakte und intensiven Diskussionen ration der Bild- und Videocodierung, aus positiv und die nächste SVCP ist
können die Doktoranden gemeinsame energieeffiziente Implementierungen für Juli 2018 in der Nähe von Hanno-
Forschungsinteressen leichter identi- und Realisierungen von Codecs für ver bereits fest eingeplant.
fizieren und bekommen Anregungen, spezielle Hardware-Plattformen, Co-
die anschließend weiterverfolgt werden dierung von 360-Grad-Videosequen-
können. Nach den erfolgreichen Ver- zen und Verfahren für die Analyse PROF. DR.-ING. ANDRÉ KAUP
anstaltungen in Waischenfeld (2015) und Übertragung von Luftaufnahmen. Lehrstuhl für Multimediakommunikation und
und Köthen (2016) wurde die SVCP Ein besonderer Schwerpunkt lag in Signalverarbeitung, Friedrich-Alexander-Universität
2017 in Kooperation mit dem von der diesem Jahr auf der perzeptuell opti- Erlangen-Nürnberg
EU geförderten Projekt PROVISION mierten Videocodierung, dem Thema Vorsitzender des ITG-Fachausschusses MT 2
(PeRceptually Optimised VIdeo Com- des PROVISION-Projekts. Hierbei „Bildkommunikation und Bildverarbeitung“
ITG NEWS 05
ITG MELDUNGEN
FACHTAGUNG „ECHTZEIT 2017“
Neue Trends und Entwicklungen zu Logistik und Echtzeit
Die Fachtagung „Echtzeit 2017“ fand am 16. und 17. November 2017 in Boppard am Rhein statt.
Schwerpunktthema war in diesem Jahr „Logistik und Echtzeit“.
Die fachliche Herkunft der Mitglieder
der „Echtzeitszene“ ist in erster Linie
in der industriellen Mess- und Auto-
matisierungstechnik zu suchen. Jedoch
gibt es auch in anderen Lebens- und
Wirtschaftsbereichen wie der Logistik
mit ihrem „Just-in-time“-Konzept zeit-
kritische informationstechnische An-
wendungen. Darum wurden auf der
Tagung Verfahren vorgestellt, mit de-
nen untersucht wird, ob und wie Lie-
ferketten als soziotechnische Systeme
ihre Anforderungen bezüglich recht-
zeitigen Funktionierens einhalten. Aus
der klassischen kommerziellen Daten-
verarbeitung heraus hat sich das Ge-
biet des Hochfrequenzhandels an den
Kapitalmärkten entwickelt. Obwohl
dort durchaus harte Echtzeitanforde- Teilnehmer der Tagung „Echtzeit 2017“ vor dem Tagungsort Hotel Ebertor in Boppard am Rhein
rungen gelten, haben seine Vertreter
offensichtlich keinen Kontakt zur Im Hinblick auf eingebettete Syste- Systemauslegung ebenso befördert wie
eher technisch-industriellen Echtzeit- me wurden Ausführungsplattformen, durch die Möglichkeit, Kontroll- und
szene. Eine Analyse zeigte, dass die ihre wegen der Einbettung in physika- Datenflussfehler einfacher und zuver-
dafür an den Börsen eingesetzten lische Umgebungen und der Ressour- lässiger als softwarebasiert mit gerä
Handelssysteme auf Schnelligkeit, je- cenbeschränktheit inhärent schwierige tetechnischen Architekturmerkmalen
doch nicht auf Echtzeitfähigkeit hin Prüfung und Aktualisierung im lau- erkennen zu können. Weitere Ta-
ausgelegt sind. Auch mit dem Thema fenden Betrieb sowie ihre funktionale gungsbeiträge beschäftigten sich mit
Video-Livestreaming verließ die Ta- Sicherheit betrachtet. Diese wird durch Task-Migration in Mehrkernprozes-
gung den üblichen Rahmen automati- Vermeidung dynamischer Ressourcen- soren als Reaktion auf Umgebungs-
sierungstechnischer Anwendungen. verwaltung und ressourcenadäquate anpassungen, der Laufzeitüberwa-
chung nebenläufiger Tasks ohne
Systemeingriffe, mit Benchmarks zur
zeitlichen Analyse des Peripheriedaten-
verkehrs von Mikrocontrollern sowie
mit einem Werkzeug zur Qualitätsbe-
wertung von Analysatoren, die ma
ximale Programmausführungszeiten
nach oben abschätzen.
Die nächste Fachtagung unter dem
Leitthema „Echtzeit und Sicherheit“
findet am 15. und 16. November 2018
traditionsgemäß in Boppard am Rhein
statt. Für nähere Einzelheiten der Vor-
tragsanmeldung und -gestaltung so-
wie zum Nachwuchsförderungswett-
bewerb wird auf www.real-time.de
verwiesen. Einsendeschluss für Vor-
tragsanmeldungen ist der 23. April
2018.
Verleihung der Preise auf der Echtzeit 2017: (v. l. n. r.) Prof. Dr. Dr. Wolfgang Halang, Preisträger des PROF. DR. DR. WOLFGANG A. HALANG
Graduiertenwettbewerbs Tobias Scheipel, Frau Prof. Benra und der weitere Preisträger Christian Eichler ITG-Fachausschuss TI2 „Echtzeitsysteme“
06 ITG NEWS
ITG THEMA
VISUAL SENSORS
Lichtfelder und ihre
Anwendungen
Heutige Kameras bilden die Erfassungsmöglichkeiten des menschlichen Auges an einer Ortsposition nach.
Dies wird in Zukunft nicht mehr ausreichen. Zusätzliche kreative Möglichkeiten nach der Bildaufnahme und
Informationen über das weitere 3D-Umfeld sind gefragt. Dies gelingt im optischen Bereich nur über die
vollständige oder teilweise Berechnung des Lichtfelds.
Die Theorie des Lichtfelds ist so alt Bisherige Nutzung entspricht weitestgehend der Wirkungs-
wie die Theorie des elektromagneti- von Lichtfeldern weise des menschlichen Auges. Eine
schen Felds. Die Grundlagen dazu nachträgliche Trennung oder Auf-
stammen aus dem vorletzten und Die Erfassung von Lichtfeldern war spaltung der Lichtstrahlen ist nicht
letzten Jahrhundert von Faraday [1], bisher nur sehr eingeschränkt mög- mehr möglich.
Lippmann [2] und Gershun [3]. Da- lich, im einfachsten Fall in Form von Die Auflösung von Bildsensoren
bei bildet das Lichtfeld die Summe Lochkameras – die Lochkamera kann und deren Empfindlichkeit konnte in
aller Lichtstrahlen im Raum und wird ein Lichtfeld an einem Ortspunkt den letzten Jahren erheblich gesteigert
über eine Verteilungsfunktion beschrie- (dem Loch) auf einen Hintergrund werden. Heutige Standard-Digital
ben, die für jeden Ortspunkt und jede abbilden – oder anwendungsrelevan- kameras können Auflösungen von
Richtung die Intensität der Licht- ter in Form der klassischen Fotografie. 50 Megapixel und mehr besitzen so-
strahlen beschreibt, teilweise auch Hierbei erfolgt durch das Objektiv wie Dynamikbereiche über 20.000:1
noch aufgespalten nach der Wellen- eine selektive Zusammenfassung von (>14 f-stops) bieten. Dennoch sind in
länge. Anwendung finden Lichtfelder Lichtstrahlen aus einem Blickwinkel- der klassischen Fotografie viele Ein-
natürlich im gesamten Bereich der bereich (dem Field-of-View, FOV) schränkungen gegeben. Parameter wie
Fotografie und Optik, in der neueren und deren Abbildung auf eine foto- Apertur, Zoom-Faktor, FOV, Blick-
Zeit auch im Bereich der Computer- sensitive Schicht. Die Apertur, die winkel und Ortsposition sind fest in
grafik. Während im ersten Fall ein re- Brennweite und der Fokus bestimmen die Aufnahme eingebrannt. Es han-
ales Lichtfeld zu erfassen versucht dabei die Menge der zusammenge- delt sich also um eine grobe Abtas-
wird, wird im zweiten Fall ein künstli- fassten Lichtstrahlen, die jeweils auf tung eines Lichtfelds.
ches Lichtfeld simuliert und errechnet. die fotosensitive Schicht trifft. Dies
Bild 1: Vorwärts- und Rückwärts-Strahlverfolgung von Lichtfeldern [4]
ITG NEWS 07
ITG THEMA
aus der Computergrafik dar (siehe eine Parallaxkompensation notwendig.
Bild 1). Notwendige Algorithmen dazu Im Überlappbereich der Kameraan-
sind Tiefenkartenberechnungen über sichten können auch hier Tiefeninfor-
Korrespondenzanalyse, Generierung mationen gewonnen werden, die zur
von Punktwolken (Point Clouds), Ge besseren Kombination der Bilder ge-
nerierung von Meshes durch Vernet- nutzt werden.
zen von Punkten oder „Structure- Durch die geeignete Kombination
from-Motion“-Algorithmen, die aus mehrerer Ansichten kann der Tiefen-
Bewegtbildern und der Kamerabahn- schärfebereich auch aus echten Licht-
schätzung ein 3D-Modell errechnen, felddaten angepasst werden. Beson-
um nur einige zu nennen. Allen ge- ders bekannt sind hier die Ergebnisse
mein ist, dass aus einer Vielzahl von von plenoptischen Kameras, die eine
Ansichten heraus die zusätzlichen nachträgliche Refokussierung des Bilds
Informationen des Lichtfelds genutzt ermöglichen. Hierbei werden durch
werden sollen. ein Mikrolinsenarray vor dem Sensor
Bild 2: Kameraarray und Masterkamera im die zusammengeführten Lichtstrahlen
Spiegelrig-Aufbau [5] Beispiele in der Nutzung einer Kamera noch einmal in unter-
von Multikamerasystemen schiedliche Ansichten aufgefächert
Durch die Computertechnik wurde und später in benutzerdefinierter Wei-
es möglich, Lichtfelder künstlich zu Bei heutigen Spielfilmproduktionen se zusammengerechnet. Allerdings ist
berechnen. In der Computergrafik werden in fast allen Fällen computer- diese Auffächerung am Aufnahme-
werden Objekte über die Struktur so- generierte Spezialeffekte zur Verbes- punkt sehr begrenzt, sodass auch die
wie deren Oberfläche über die Textur serung realer Aufnahmen eingesetzt. zusätzliche Lichtfeldinformation sehr
und Reflektanzfunktion beschrieben, Dabei ist eine Separation der Objekte gering bleibt. Durch größere Kamera
sodass Lichtstrahlen aus virtuellen in den realen Aufnahmen vom Hin- arrays sind neben Fokusänderungen
Lichtquellen verfolgt und Lichtfelder tergrund und untereinander notwen- auch virtuelle Kamerafahrten mög-
über Strahlverfolgungs-Algorithmen dig. Nur so können unterschiedliche lich, so wie bei computergenerierten
(Ray Tracing) berechnet werden kön- Farbkorrekturen im Bild oder zusätz- Bildern. Reale Aufnahmen können
nen. Dies erlaubt den Einsatz virtuel- liche Bildkompositionen mit unter- dann am Computer wie künstlich ge-
ler Kameras durch die Generierung schiedlichen Tiefenlagen und das nerierte Bilder bearbeitet werden.
von Ansichten aus jeder Position und Mischen von realen und computer
jedem Blickwinkel heraus. Heutige generierten Elementen durchgeführt Bedeutung für den Menschen
Berechnungen von Ansichten in Spie- werden. In vielen Fällen erfolgt dies
len oder Filmen können so detailgetreu heute noch manuell und mit viel Gerade die Bilddarstellung ist für den
sein, dass sie fotorealistisch wirken. Zeitaufwand, da nur eine Kamera Menschen eine besonders gute Mög-
ansicht vorhanden ist. lichkeit, eine große Menge von Infor-
Neue Möglichkeiten Erste Untersuchungen haben ge- mationen in kurzer Zeit zu erfassen.
durch Lichtfelder zeigt, dass mit Kameraarrays (siehe Daher hat sich auch das Sprichwort
Bild 2) und geeigneter Algorithmik „ein Bild sagt mehr als 1000 Worte“
In jüngster Zeit wird versucht, die (siehe Bild 3) Tiefenkarten generiert besonders eingeprägt. Bilder dienen
Limitierungen der klassischen Foto- werden können [5], die eine Trennung in unserer Zeit des Kommunikations-
grafie aufzubrechen und mehr Details der Objekte im Bild aufgrund der un- und Informationsaustauschs als be-
zu Lichtfeldern zu erfassen, haupt- terschiedlichen Tiefe ermöglichen. In sonders wichtiges Kommunikations-
sächlich unter dem Aspekt, nachträg- Zukunft könnte der bekannte Green mittel. Dies zeigt eine Studie von
lich Aufnahmen bearbeiten zu können, Screen somit der Vergangenheit ange- KPCB, nach der bereits 2015 mehr
zusätzliche Tiefeninformation zu er- hören. Allerdings gibt es hier für die als 3,2 Mrd. Bilder täglich (!) auf
halten oder ein Umgebungsmodell zu Ansprüche in der Spielfilmproduk Snapchat, WhatsApp, Facebook und
ermitteln. Relevante Technologien dazu tion noch einige algorithmische Hür- Instagram hochgeladen wurden [6].
sind Multikamerasysteme wie Stereo- den zu überwinden. Der Betrachtungspunkt einer Szene
kameras, Kameraarrays, 360-Grad- Einen ähnlichen Weg gehen Smart- ist jedoch heute im Bild fest einge-
Kameras oder sogenannte plenopti- phones mit Dual-Kameras. Durch brannt. Der Betrachter kann nach-
sche Kameras. In einfachen Fällen Nutzung der Tiefeninformation wird träglich nicht die Position ändern und
wird die gewonnene Tiefeninforma hier aber nur eine künstliche De das Objekt aus einer anderen Ansicht
tion nur genutzt, um visuelle Spezial- fokussierung bestimmter Bereiche begutachten. Mit der Aufnahme eines
effekte anzuwenden, in komplexeren durchgeführt (der „Portrait Mode“). Lichtfelds wäre dies anders.
Fällen wird aus den unterschiedlichen Eine weitere Anwendung ist das tie- Die Möglichkeiten, virtuelle An-
Ansichten über Rückwärts-Strahlver- fenbasierte Zusammenfügen von Bil- sichten aus realen Szenen zu berech-
folgung ein geometrisches Modell der dern für 360-Grad-Aufnahmen. Da nen und geometrische Umgebungs-
Umgebung berechnet, es stellt also die Kameras meistens keinen gemein- modelle zu generieren, werden in
eine Umkehrung der Vorgehensweise samen Nodalpunkt aufweisen, ist hier Zukunft immer wichtiger werden.
08 ITG NEWS
Bild 3: Postproduktions-Software Realception (Fraunhofer IIS)
Dies erlaubt, die Limitierung der Auf- ten Arbeiten zu diesem Thema, im shenko. Journal of Mathematics and Physics
nahme zu beseitigen und dem Be- Moment hauptsächlich getrieben durch XVIII, MIT (1939) S. 51 – 151
trachter selbst die Möglichkeit zu ge- VR- und AR-Anwendungen. Lang- [4] Lafruit, G.; Quackenbush, S.; Foessel, S.;
ben, die Position und Blickrichtung fristiges Ziel ist es, einen transparen- Hinds,A.: Technical report of the joint ad hoc
des Bildausschnitts zu bestimmen. ten Übergang zu schaffen zwischen group for the digital representations of light/
Der Mensch kann somit während des Bildansichten, Punktwolken, Meshes sound fields for immersive media applications.
Betrachtens entscheiden, welche Bild- und 3D-Umfeldmodellen. Gemein- ISO/IEC JTC1/SC29/WG1/N72033 & ISO/IEC
information für ihn wichtig ist. Insbe- sam wurde dazu im letzten Jahr ein JTC1/SC29/WG11/N16352, Genf/Schweiz,
sondere im gesamten Bereich des VR erster Bericht erstellt [4]. Innerhalb Juni 2016. https://jpeg.org/items/20160603_
und AR ist diese User-Interaktivität von JPEG wurde mit einem ersten pleno_report.html
von entscheidender Rolle. Typische Arbeitsthema begonnen [8], genannt [5] Ziegler, M. et al.: Multi-camera system for
Einsatzbereiche sind hier neben der JPEG Pleno (ISO 21769), das eine depth based visual effects and compositing.
Unterhaltung auch die Gebäude-/Fa- Codierung von Lichtfeldern zum Ziel Proceedings of the 12th European Conference
brikplanung oder im Consumer-Be- hat. Innerhalb von MPEG konzen on Visual Media Production, Article No. 3, DOI:
reich die Wohnungseinrichtung. Es ist triert man sich im Moment auf die 10.1145/2824840.2824845, London, Nov. 2015
auch damit zu rechnen, dass in naher Codierung von Punktwolken, die Co- [6] KPCB: 2016 Internet Trends. http://www.
Zukunft echte 3D-Displays, wie holo- dierung von Lichtfeldern steht 2021 kpcb.com/blog/2016-internet-trends-report,
graphische Displays oder Lichtfeld- im Arbeitsprogramm [9]. 2016
displays, entwickelt werden. Zumin- Mit der Zunahme der Anzahl der [7] Kosoff, M.: Magic Leap Just Raised Another
dest wird sehr viel in diese Technologie Kameras und der Weiterentwicklung $500 Million and Nobody Has a Clue What It
investiert, wie das Beispiel Magic der Sensortechnologie werden auch Does. Vanity Fair, https://www.vanityfair.com/
Leap zeigt [7]. die Lichtfelder immer feiner aufgelöst news/2017/10/magic-leap-raises-500-million,
werden und statt Bildern in Zukunft 17. Oktober 2017
Standardisierung Lichtfeld-Elemente genutzt werden [8] ISO/IEC JTC1/SC29/WG1(JPEG): Call for pro-
können. posal on lightfield coding. https://jpeg.org/
Um dies zu erreichen, werden nicht downloads/jpegpleno/wg1n74014_pleno_
nur neue Aufnahme- und Displaysys- final_cfp.pdf, Jan 2017
teme entwickelt, wie 360-Grad-Ka- Referenzen [9] ISO/IEC JTC1/SC29/WG11(MPEG): MPEG
mera-Rigs, Kameraarrays, plenopti- [1] Faraday, M. (1846): Thoughts on Ray Vibra- strategic standardization roadmap. https://
sche Kameras, holographische und tions. Philosophical Magazine XXVIII, N188 mpeg.chiariglione.org/sites/default/files/files/
Lichtfelddisplays, sondern auch neue (Mai 1846) S. 3 standards/parts/docs/w17061.zip, Juli 2017
Verfahren und Standards entwickelt. [2] Lippman, G. (1908): La Photographie Intégrale.
Die kompakte Repräsentation eines Comptes-Rendus, Académie des Sciences DR.-ING. SIEGFRIED FÖSSEL
Lichtfelds ist dabei noch ungelöst. 146, S. 446 – 551 Abteilungsleiter Bewegtbildtechnologien, Fraun
Standardisierungsgremien wie JPEG [3] Gershun, A. (1936): The Light Field. Moscow, hofer IIS, Erlangen
und MPEG beginnen daher mit ers- 1936. Übersetzt von P. Moon und G. Timo- Fachbereichssprecher ITG-FB „Medientechnik“
ITG NEWS 09
ITG THEMA
VISUAL SENSORS
Beyond human vision
– maschinelles Sehen
mit Polarisation
In den letzten zehn Jahren hat sich der Markt der industriellen Bildverarbeitung mehr als verdoppelt
und der Trend hält ungebrochen an. In diesem Zuge gewinnen neue Modalitäten wie die Polarisation
zunehmend an Bedeutung.
Lange Zeit lag der Schwerpunkt der aufzeigen, welche Eigenschaften und siert werden. Auf diesem Weg findet
Bildgebung und -verarbeitung auf Möglichkeiten sich durch die Polari- beispielsweise die Stechmücke eine
Systemen mit Graustufen- und Farb- sation ergeben. Wasserfläche. Auf technischer Seite
bildgebung. Angelehnt an die Fähig- kommen häufig Polarisationsfilter zum
keiten des menschlichen Sehens, sind Was ist Polarisation? Einsatz, die polarisiertes Licht einer
diesbezügliche Prüfmöglichkeiten leicht Orientierung passieren lassen.
zu vermitteln: „Diesen Fehler sieht Polarisation ist eine Dimension des
der Mensch – jetzt soll eine Maschine Lichts, die der Mensch nicht bewusst Wie kann man die Polarisation
die hundertprozentige Prüfung über- wahrnehmen kann. Sie ist jedoch eine messen?
nehmen“. grundlegende Eigenschaft des Lichts,
Neue Möglichkeiten in der opti- die sogar in der Natur vorkommt und Die messtechnische Erfassung der
schen Bildgebung führen nun zu einer im Tierreich in vielfältiger Weise ge- Polarisation erfolgt über Polarisations-
Verarbeitung von Bildern auch im nutzt wird [1]. filter, die zur Analyse einfallenden
nichtsichtbaren Bereich. Manche Ob- Neben der bekannten Intensität Lichts eingesetzt werden. Um neben
jekte lassen sich auch oder ausschließ- des Lichts wird zusätzlich auch der der Intensität des Lichts die zusätz
lich in nichtsichtbaren Bereichen gut Grad der Polarisation (DOLP – de- lichen Freiheitsgrade DOLP und
unterscheiden oder prüfen. Diese An- gree of linear polarization) und der AOMP zu erfassen, ist es nötig, meh-
sätze finden zunehmend Einzug in die Winkel der maximalen Polarisation rere Messungen mit unterschiedlichen
Praxis und ermöglichen die optische (AOMP – angle of maximal polariza- Filterorientierungen durchzuführen
Prüfung von Eigenschaften, die für tion) betrachtet. Beispielsweise kann und diese zu verrechnen. Normaler-
den Menschen zunächst verborgen diffuses unpolarisiertes Licht einer weise wird dies über einen drehbaren
sind. Ein Beispiel dafür ist die Polari- natürlichen Lichtquelle durch Refle- Polfilter mit sequentiellen Aufnahmen
sation des Lichts. Dieser Artikel soll xion an glatten Oberflächen polari- möglich – mit den bekannten Ein-
schränkungen bei bewegten Objekten.
Ähnlich wie im Bereich der Farbka-
meras, hat sich in den Polarisations
kameras ein Muster bewährt, das aus
benachbarten Filtern unterschiedlicher
Orientierung besteht. Ein auf den
Sensor geklebter Filter kann dies
im Prinzip erreichen, bei kleinen
Pixeln macht sich jedoch der Ab-
stand zwischen Filterfläche und Pixel
als optisches Übersprechen bemerk-
bar.
Am Fraunhofer-Institut für Inte
grierte Schaltungen IIS wurde ein
Quelle: Fraunhofer IIS
Bildsensor entwickelt, der die Ana
lysefilter bereits in der Chipfertigung
integriert und mit perfekter Ausrich-
tung und minimalem Abstand der Fil-
ter vor dem Pixel arbeitet [2]. Dieser
Bild 1: Beispiel eines Kohlefaser-Gewebes in Falschfarbendarstellung. Die Farbe zeigt die Orientierung der heute einzigartige Bildsensor ist in ei-
Fasern der obersten Lage ner industriellen Kamera integriert, die
10 ITG NEWSes ermöglicht, in einer einzelnen Auf-
nahme die Polarisationseigenschaften
des Lichts zu erfassen. Die sogenannte
POLKA-Kamera ist heute als Proto-
typ verfügbar und befindet sich aktu-
ell in der Erprobung im industriellen
In-Line-Einsatz.
Anwendungen
Verschiedene industrielle Prozesse und
Prüfsysteme können direkt die Polari-
sation nutzen:
In der Glasherstellung wird die
Quelle: Fraunhofer IIS
Spannungsdoppelbrechung genutzt,
um über die Polarisation eine Rest-
spannung im Glas infolge unsach
gemäßer Abkühlung zu erkennen und
bruchgefährdete Gläser auszusortie-
ren. Statt der bisherigen stichproben- Bild 2: Spannung in einem Flaschenboden – links: Falschfarbenbild der Spannungen im Glas,
artigen Prüfung im Messlabor kann rechts: Intensitätsbild ohne erkennbare Störungen
die POLKA nun für eine vollständige
In-Line-Prüfung der Gläser genutzt direkt sehen kann. Eine Entscheidung, michael.schoeberl@iis.fraunhofer.
werden [3]. Hierbei sind normale ob sich die Polarisation für eine de
Trinkgläser und Behälterglas sowie Prüfaufgabe nutzen lässt, ist häufig
Flachglas, Bauglas und Spezialgläser nicht möglich. Vielmehr ist eine Ein-
relevante Prüfobjekte. zelbetrachtung erforderlich, um zu Referenzen
Die Doppelbrechung ist ebenso sehen, ob der Polarisationseffekt stark [1] Horváth, G.; Dezsö, V,: Polarized light in animal
bei Kunststoffen vorhanden, die je genug ist. vision: polarization patterns in nature. Springer
nach Molekülausrichtung in Form Aus diesem Grund hat das Fraun- Science & Business Media, 2013
von Fehlstellen und Störungen im hofer IIS ein Polarisationslabor aufge- [2] Ernst, J.; Junger, S.; Neubauer, H.; Tsche-
Spritzguss deutlich sichtbar wird. baut, das für neue Fragestellungen kalinskij, W.; Verwaal, N.; Weber, N.: Nano
In der Fertigungskontrolle von eine Beurteilung von Proben und An- structured optical filters in CMOS for multi-
Kohlefasern kann der polarisierende wendungsentwicklung bietet. spectral, polarization and image sensors. In:
Effekt der Fasern genutzt werden. Die zweite Herausforderung liegt Microelectronic Systems. Berlin, Heidelberg:
Die Polarisationsrichtung reflektier- im hohen Entwicklungsaufwand an- Springer, 2011, S. 9 – 17,
ten Lichts zeigt die Faserrichtung an, gepasster Sensoren und Kameras. [3] Ernst, J.: Keine Scherben mehr – Polarisa
was eine gute optische Erkennung der Der Wunsch der Industrie nach einer tionskamera prüft Eigenspannung in Glaspro-
Legerichtung ermöglicht [4]. Neben höheren Framerate, Auflösung oder dukten. Qualität und Zuverlässigkeit (QZ),
der Sichtkarbon-Prüfung wird hier anderen Schnittstellen ist mit einem 2015, www.qz-online.de/993378
auch die fertigungsbegleitende Kon großen Aufwand in der Halbleiter [4] Schöberl, M.; Kasnakli, K.; Nowak, A.: Measuring
trolle und Sicherstellung der Festig- fertigung verbunden. Das Fraunhofer Strand Orientation in Carbon Fiber Reinforced
keit von Bauteilen ermöglicht. Ebenso IIS arbeitet daher auch an ergänzen- Plastics (CFRP) with Polarization. Proceedings
können Fehlstellen in Faserbündeln den Technologien, die eine In-Line- of the World Conference on Non-Destructive
oder Halbzeug erkannt werden. Polarisationsmessung basierend auf Testing (WCNDT), München, April 2016, S. 1 – 8
Darüber hinaus gibt es zahlreiche Standardkomponenten und am IIS [5] Richter, Th.; Saloman, C.; Genser, N.; Kasnakli,
weitere Anwendungen, in denen die entwickelter Spezialsoftware ermög K.; Seiler, J.; Nowak, A.; Kaup, A.; Schöberl,
Polarisationsbildgebung mehr sieht lichen [5]. Die einfache Austausch- M.: Sequential Polarization Imaging Using
als der Mensch. So im Bereich des barkeit von Komponenten ermöglicht Multi-View Fusion. IEEE International Work-
maschinellen Sehens, bei dem eine mehr Flexibilität, auf Kosten zusätz shop on Signal Processing Systems, Lorient,
Unterscheidung zwischen natürlichen licher Algorithmen und nötiger Re- Okt. 2017
und künstlichen Objekten (beispiels- chenleistung.
weise im autonomen Fahren per Ka- Die Flexibilität der multimodalen
mera) nützlich ist. konfigurierbaren Bildgebung ist für JÜRGEN ERNST
viele Anwendungen relevant und wird Leitender Wissenschaftler, Abteilung Bildsensorik
Herausforderungen in Zukunft ihre Stärken weiter aus- am Fraunhofer IIS, Erlangen
spielen.
Eine wesentliche Herausforderung DR. MICHAEL SCHÖBERL
dieser neuen Bildgebung liegt darin, Weitere Informationen unter: Leiter der Gruppe Imaging Solutions, Abteilung
dass der Mensch die Polarisation nicht www.iis.fraunhofer.de/polka Bildsensorik am Fraunhofer IIS, Erlangen
ITG NEWS 11ITG THEMA
VISUAL SENSORS
Beyond human vision – The shift
from visual sensing for humans
to visual sensing for computers
From the beginning of the imaging era the main objective of visual sensing was to match the characteris-
tics of the human visual system. Developments for photo and video cameras targeted to optimize the lens
& image acquisition process to provide a visually pleasant image to humans.
With the transition from analog to Another trend in visual sensing is Aspects of
digital imaging these objectives re- the extension of the image sensors mar- „Beyond Human Vision“
mained and digital image signal pro- ket to the so-called „Cognitive World“
cessing became a crucial component (Figure 1) by the introduction of spe- The first aspect of sensing „Beyond
to achieve image quality enhancement. cially tailored imaging devices for ma- Human Vision“ for a „Cognitive
This digital imaging system estab- chine vision. The fast growing impor- World“ covers the realization of images
lished the core part of many mass tance of this market is reflected by the sensor with performance parameters
produced consumer products, in par- fact that Sony, as the biggest producer beyond the human visual system.
ticular the unparalleled development of image sensors, offers in 2017 These parameters are mainly:
of the mobile phone camera, but it 52 special sensor types for machine • Temporal resolution, e. g. for high
also triggered other key technologies vision and 34 sensor types for consum- speed vision,
and trends. er electronic oriented products [1]. • Spatial resolution, e. g. for high ac-
Key application areas which make curacy classification,
Market & Trends use of machine vision oriented sensors • Spectral resolution, e. g. for mul-
are tispectral vision,
Recently, the field of Consumer Elec- • Surveillance for creating security • Polarization, e. g. to determine sur-
tronics is expanding from the pure information, face normals,
purpose of making pictures to com- • Factory Automation (FA), e. g. for • Sensitivity, e. g. to sense in the dark,
puter vision applications like aug- inspection purposes also related to • Field of view, e. g. surround view
mented reality or even 3D modeling Industry of Things, covering 360 degrees,
of objects as it can be done with the • Automotive and robotics, e. g. for • Depth information
3D-Creator software on Sony Xperia partially or fully autonomous systems and other relevant features.
Smartphones. with the main purpose to sense the The second aspect of sensing „Be-
Such applications partially require physical environment in order to yond Human Vision“ can be to realize
depth information from e. g. stereo make machines understand the world. efficient systems where the imager de-
cameras or accompanying active depth In recent forecasts the market of auto- livers data, which is only machine-
sensors for fusion purposes. However, motive sensors is considered as a „blue readable and not necessarily inter-
they are largely based on standard im- ocean“ [2] for visual sensing offering pretable by humans. This can be for
age sensors, which are also used for a high growth potential with multiple instance:
making pictures, so the basic key per- imaging devices integrated into one • Geometric features, e. g. corners,
formance criteria remain the same. vehicle. edges or shapes,
Source: Sony Semiconductor Solutions
Source: Keiji Tatani, IS London 2017
Figure 1: Sony technology’s view: Differentiation of sensing into Camera and Figure 2: History of CMOS technology
Cognitive World
12 ITG NEWS• Temporal features, e. g. motion For example does the integration ptics and the sensor – into account
o
events, of a stacked memory layer and a logic at all.
• Material features, e. g. vegetation in- layer enable the very fast sensor read One approach to mitigate this issue
dices derived from spectral infor- out to achieve high speed vision up to could be to develop accurate lens and
mation, 1000 frames per second (Figure 3). sensor simulation models. An example
• Compressed or encrypted data, e. g. This allows for instance the precise is a ToF simulator where the illumina-
to support low power or security as- tracking of fast moving objects but also tion, lens, sensor and read out circuits
pects, HDR imaging by capturing with vary- are key characteristics to model and
and others, which may be tailored to ing exposure values at high frame rates. herewith emulate a specific ToF cam-
specific machine vision tasks. The logic layer can also be utilized era in a physically correct manner [3].
for the efficient realization of classical In a recent work this approach showed
Supporting technologies feature detection algorithms or in the to be useful to create a database for
future even small Neural Networks machine learning [4] and to confirm
Mass produced CMOS image sensors which form the basis for many com- the targeted scenes for the computer
provide currently the de facto tech- puter vision algorithms. vision application.
nology basis for visual sensing prod-
ucts. In the past years the major steps Challenges & opportunities Conclusion
in the evolution of CMOS sensor with machine learning
technology were (Figure 2) Enhancing and creating new function-
• Conventional CMOS Image Sensor We are at the verge of creating more alities for the „Cognitive World“ based
with column parallel A/D conversion efficient and advanced cognitive sys- on sensing beyond human vision will
circuits, which enable high speed tems by connecting advanced image make machine vision applications
and low noise; sensors with latest machine learning more effective but also more efficient.
• Back Illuminated CMOS Image algorithms like Deep Neural Networks This can be the key driving factor
Sensor enabling higher sensitivity; (DNNs) and real time systems. for next generation image sensors and
• Stacked CMOS Image Sensor struc- However, the training of DNNs re- it will open new markets for mass pro-
ture providing integrated function- quires large annotated data sets. Those duction. Moreover, image sensor sim-
alities at a compact size. are difficult to get in particular for ulation software packages might be a
In particular the stacked CMOS sen- sensor types which have been intro- future product, to support the gener-
sor architecture enables the creation duced to the market for very short ation of more realistic training and
of cognitive sensing systems by inte- time, simply because they are not be- test data for machine learning appli-
grating signal processing functions ing used broadly or are not even yet cations at an early stage.
for the purpose of introduced. But customers want to
• improving the image quality, e. g. start their development early.
high sensitivity and dynamic range, There are various approaches to References
• creating a 2D image and additional simulate realistic sceneries, but apart [1] http://www.sony-semicon.co.jp/products_en/
information, e. g. geometric features from lacking true realism, e. g. because IS/sensor0/products/industry.html
as described before, contents miss the exact reflection http://www.sony-semi-con.co.jp/products_en/
• increasing the efficiency for machine functions of surfaces (BRDF, Bi- IS/sensor0/products/cmos.html
vision applications, e. g. customizable Directional Reflection Distribution [2] http://image-sensors-world.blogspot.de/2017/
sensor, small form factor and low Function), they typically do not take 10/digitimes-sony-to-allocate-more.html
power imaging systems. the image acquisition system – the [3] Schmidt, M.: Analysis, Modeling and Dynamic
Optimization of 3D Time-of-Flight Imaging Sys-
tems. Dissertation, University of Heidelberg
[4] Agresti, G. et al.: Deep Learning for Confidence
Information in Stereo and ToF Data Fusion.
ICCV Workshop: 3D Reconstruction meets
Semantics, Venice, Italy, 2017
Source: Keiji Tatani, IS London 2017
YALCIN INCESU
Manager und Teamleiter Image Sensors, Compu-
tational Imaging Group, Sony Europe Ltd., ZWN
Deutschland, Stuttgart Technology Center
OLIVER ERDLER
General Manager und Gruppenleiter Computa-
tional Imaging Group, Sony Europe Ltd., ZWN
Figure 3: IMX382 motivation for high speed vision Deutschland, Stuttgart Technology Center
ITG NEWS 13ITG THEMA
VISUAL SENSORS
Bildgebende Radarsensorik
Öffentliche Plätze, Verkehrsknotenpunkte, aber auch Großveranstaltungen sind Orte, an denen Sicherheit
von essenzieller Bedeutung ist. Dies gilt auch für kritische Infrastrukturen oder Großschadenslagen, bei
denen Rettungskräfte nach Verschütteten und Überlebenden suchen und dabei oftmals ihr eigenes Leben
in Gefahr bringen.
Im Geschäftsfeld Sicherheit des Fraun- Die Anwendungsmöglichkeiten für das Gepäckstück zu durchleuchten,
hofer FHR untersuchen deshalb Wis- Radarsensoren im Bereich der zivilen kann eine Analyse der potenziellen
senschaftler unterschiedlichste Ansät- Sicherheit reichen von der Erkennung Sprengvorrichtung Hinweise auf den
ze, Methoden und Technologien, um von Gefahren bis hin zum Manage- oder die Täter geben. Neben Rönt-
anwendungs- und szenarienspezifische ment von Katastropheneinsätzen. Ex- gengeräten, die allerdings eine nicht
Lösungen entwickeln und anbieten zu emplarisch werden hier drei bildge- zu unterschätzende Strahlenbelastung
können. Eine Besonderheit von Radar bende Systeme vorgestellt, die zurzeit und -gefahr bei der Verwendung unter
ist dabei, dass die Systeme sowohl bei am Fraunhofer FHR entwickelt wer- freiem Himmel mit sich bringen,
Tag als auch bei Nacht eingesetzt den. können auch Radarwellen im Milli-
werden können und dass Radarwellen meterwellenbereich verschiedenste
Rauch, Staub, Nebel, Regen und Gepäckscanner Materialien durchdringen. Zur Durch-
Wolken durchdringen. Diese Allwet- leuchtung von Gepäckstücken wurde
terfähigkeit in Kombination mit wei- Immer wieder sorgen auf Bahnhöfen, deshalb ein Radarscanner entwickelt,
teren radarspezifischen Eigenschaften Flughäfen oder Großveranstaltungen der auf einem hochintegrierten Milli-
macht die Systeme zu leistungsstarken vermeintlich vergessene Gepäckstücke meterwellenradar beruht (Bild 1). So
Werkzeugen für die unterschiedlichs- wie Koffer und Taschen für groß kann durch einen großflächigen Scan
ten Sicherheitsszenarien. So können räumige Absperrungen, da immer die ein Koffer inklusive seines Inhalts ab-
beispielsweise nicht nur Radarbilder Gefahr besteht, dass sie einen Spreng- gebildet werden. Bild 2 zeigt hier
einer Szene in zwei oder drei Dimen- satz enthalten könnten. Eine vorsorg- exemplarisch das Radarbild einer
sionen erzeugt, sondern auch Entfer- liche Zerstörung eines verdächtigen Schusswaffe im Inneren eines Kof-
nungen und Geschwindigkeiten von Gepäckstücks vernichtet aber unter fers. Da ein Gepäckstück mit dem
Objekten exakt bestimmt, kleinste Umständen wichtiges Beweismaterial Radar schichtweise untersucht wer-
Veränderungen in einer Szene mit ei- über den Aufbau eines darin befind den kann, sind zudem Rückschlüsse
ner Genauigkeit im Submillimeter- lichen Sprengsatzes, was die Täter auf die dreidimensionale Lage des
Bereich detektiert und sogar Gegen- ermittlung erschwert. Ist es nun Inhalts möglich. Das hierfür entwi-
stände durchleuchtet werden. möglich, mit bildgebenden Verfahren ckelte Radarmodul verwendet eine
Mittenfrequenz von 80 GHz und eine
Bandbreite von 25 GHz, sodass eine
Tiefenauflösung von 6 mm erreicht
wird. Dies ermöglicht den Scan des
gesamten Gepäckstückes in nur 7 Mi-
nuten. Um das Radarmodul mobil
zur Gepäckkontrolle im Einsatz ver-
wenden zu können, wurde der Radar-
scanner so konstruiert, dass dieser
an Manipulationsrobotern betrieben
werden kann. Durch die Verwendung
der etablierten ROS-Schnittstelle kann
das Modul zudem leicht in Roboter-
systeme integriert werden.
SmokeBot
Kommt es infolge von Unfällen oder
Katastrophen zu Bränden, so stellt die
Rauchentwicklung, insbesondere in
Gebäuden und Tunneln, die Feuer-
wehr und Rettungskräfte vor große
Bild 1: Robotikmodul zum mobilen Scannen von verdächtigen Gegenständen Probleme, da die Schadenslage durch
14 ITG NEWSSie können auch lesen
