INTEL VISUAL COMPUTING INSTITUTE - "bridging real and virtual worlds"
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
INTEL VISUAL COMPUTING INSTITUTE Preface Vorwort The past twelve months have seen the birth and progression In den vergangenen zwölf Monaten waren wir im Intel Visual of no fewer than thirteen collaborative research projects in the Computing Institute (Intel VCI oder kurz IVCI) Zeuge von Intel Visual Computing Institute (Intel-VCI or for convenience Entstehung und Heranreifen von nicht weniger als dreizehn IVCI). The brochure at hand – on the occasion of the IVCI’s first kollaborativen Forschungsprojekten. Die vorliegende Bro- anniversary – introduces and illuminates the objectives set schüre, die aus Anlass des ersten Geburtstags des Intel VCI and the results achieved in this exciting year. entstanden ist, stellt die langfristigen sowie die in diesem erfolgreichen Jahr erreichten Ziele vor und beleuchtet sie. It also reflects the pride in that the world’s leading semi- conductor manifacturer has chosen the Computer Science Sie spiegelt auch den Stolz auf die Tatsache wider, dass der campus of Saarbrücken, along with the faculty of its on- Informatik-Campus in Saarbrücken gemeinsam mit der campus institutes, to become their European hub of academic Fachrichtung Informatik und den angrenzenden Instituten research in the area of Visual Computing. ausgewählt wurde, europäisches Drehkreuz der akademischen Forschung des weltgrößten Halbleiterherstellers im Bereich “Seeing the world through different eyes” is one of the many Visual Computing zu werden. idioms reflecting the fact that for humans the visual sense dominates the perception of our world. Visual Computing, i.e. „Die Welt mit anderen Augen sehen“ ist eine der Redewen- the acquisition, processing, storing, transport and rendering dungen, welche die Tatsache reflektieren, dass bei Menschen of visual data, is a central theme in driving the understanding der visuelle Sinn die Wahrnehmung unserer Welt dominiert. of and interaction with natural and synthetic worlds that Visual Computing, also die Erfassung, Verarbeitung, Speiche- modern computers are able to present to their users. rung, der Transport und das Rendering visueller Daten, ist ein zentrales Thema beim Vorantreiben des Verständnisses und We hope that you will let the brochure at hand convey the der Interaktion mit natürlichen und synthetischen Welten, die fascination that this research area radiates. We will present moderne Computer ihren Anwendern präsentieren können. background information, but most of all we will introduce the people and their results Wir hoffen, dass die vorliegende Broschüre Ihnen die Faszina- in mesmerizing research fields such as the tion vermitteln kann, die dieses Forschungsgebiet ausstrahlt. ubiquitous 3D Media Internet, collaborative Wir werden Hintergrundinformationen präsentieren, vor allem design in e.g. pharmaceutical applications, aber die Forscher und deren Ergebnisse aus faszinierenden the computer aided analysis and capturing of Gebieten vorstellen. Dazu zählen Ubiquitäres 3D natural scenes and of course the realistic Media Internet, kollaborative Entwicklung z. B. bei and dynamic rendering of natural and pharmazeutischen Anwendungen, die computer- synthetic worlds on the wide range of gestützte Analyse und Erfassung natürlicher graphics enabled devices, independent Szenen und selbstverständlich das realistische of whether those might reside in the und dynamische Rendern natürlicher und famous cloud or in the user’s hands. synthetischer Welten auf verschiedensten grafik- fähigen Geräten. Prof. Dr. Thorsten Herfet One of the Directors, Intel VCI 1
VISUAL COMPUTING MADE IN SAARBRÜCKEN Introduction Einführung Until two years ago, the term “Visual Computing” had been Vor zwei Jahren wurde der Begriff „Visual Computing“ used primarily in research communities. However, James hauptsächlich in Forschungs-Communities verwendet. Aber Cameron’s Avatar or – for those preferring a more subtle use Filme wie „Avatar“ oder „Der seltsame Fall des Benjamin But- of technology – Brad Pitt in “The Curious Case of Benjamin ton“ machten Visual Computing in der Öffentlichkeit bekannt Button,” fascinated 10s of millions of people and let them ex- und ließen viele Millionen Menschen in die Kinos strömen, um perience the state of the art in Visual Computing: generating sich von der 3D-Technik faszinieren zu lassen. computational models of entire planets and their inhabi- tants, seamlessly mixing virtual and real worlds, transporting Modelle ganzer Planeten mit ihren Bewohnern wurden in the content electronically to cinemas all over the world and James Camerons „Avatar“ generiert, „Benjamin Button” alias rendering it in 2D or 3D. The experience for most people has Brad Pitt demonstrierte zudem eindrucksvoll die nahtlose been overwhelming. Vermischung virtueller und realer Welten. Die gerenderten Ergebnisse wurden weltweit auf Kinoleinwänden in 2D und All of this would not have been possible without the enor- 3D präsentiert und stellten für die meisten Besucher ein über- mous budgets modern cinema productions are able to raise wältigendes Erlebnis dar. (in the case of Avatar it was around 250 million USD) or with- out the results Visual Computing research has been able to provide in the last decade. Performance Capture lays the foundation of synthesizing characters like Benjamin But- ton. Optical Flow and Depth Estimation en- able the spatial connection of virtual and real worlds. Hybrid Rendering and Ray-Tracing in combination with the most recent advances in Shading technologies and Global Illumina- tion, enable the creation and dynamic ren- dering of enormously complex virtual worlds with tens or even hundreds of millions of triangles or tetraeders. The most recent progress in display technology and in- terfaces has even paved the way for 3D within consumers’ homes. All dies wäre zum einen ohne die enormen Budgets der Film- industrie nicht möglich gewesen (im Fall von Avatar waren es rund 250 Millionen Dollar), zum anderen nicht ohne die beein- druckenden Forschungsresultate im Bereich des Visual Com- puting der letzten zehn Jahre. 2
This is exactly where the Intel Visual Computing Institute steps in: making visible what has not been conceivable before and merging the computational world with ev- eryday life, be it by recording and presenting the real world or by introducing virtual worlds. Whether you want to navigate e.g., the city of Saarlouis via Google Earth or Street View, or prefer to explore the ancient Saa- rlouis with its Vauban fortification of 1680 (which is no more existent, of course), Visual Computing will make it possible. Performance Capture schafft die Grundlagen für die Syn- thetisierung von Charakteren wie Benjamin Button, Opti- cal Flow und Depth Estimation ermöglichen die räumliche Verbindung von virtuellen und realen Welten, Hybrid Ren- dering und Ray-Tracing, in Kombination mit den aktuellsten Fortschritten in den Shading-Technologien, sowie Global Il- lumination erlauben das Erstellen und dynamische Rendern enorm komplexer virtueller Welten mit Hunderten Millionen Dreiecken oder Tetraedern. Die aktuellen Forschritte in der Display-Technologie und bei Benutzerschnittstellen hat so- Senior Researchers at the Intel VCI have been influential in the gar den Weg für 3D im täglichen Einsatz bei den Anwendern field: in the period 2009 to 2010, no fewer than 16 conference daheim geebnet. contributions have been made to ACM SIGGRAPH, the most Genau hier setzt die Forschungsarbeit des Intel Visual Com- selective and important visual computing and computer puting Institute an: Sichtbar machen, was zuvor noch nicht graphics conference worldwide, confirming the vigor of the vorstellbar war und den Einfluss der Rechner im Alltag zu institute’s efforts. verdeutlichen, sei es durch Aufzeichnen und Präsentieren der realen Welt oder durch Vorstellung virtueller Welten. Ob Sie nun z. B. die Stadt Saarlouis über Google Earth oder Street View darstellen möchten oder Sie es vorziehen, das historische Saarlouis von 1680 mit seinen Festungsanlagen von Vauban (die natürlich nicht mehr existieren) zu erkun- den: Visual Computing macht es möglich. Forscher am Intel VCI waren auf diesem Gebiet einflussreich: Im Zeitraum von 2009 bis 2010 wurden nicht weniger als 16 Konferenzbeiträge zur ACM SIGGRAPH geleistet, der welt- weit bedeutendsten Konferenz für Visual Computing und Computergrafik, und haben damit die Kompetenz des Insti- tuts bestätigt. 3
VISUAL COMPUTING MADE IN SAARBRÜCKEN Description Beschreibung The Intel Visual Computing Institute was founded as a colla- Das Intel Visual Computing Institute wurde als kollaboratives borative, basic research and development enterprise of five Unternehmen für Grundlagenforschung und Entwicklung von partners: Intel Corporation, Saarland University, the German fünf Partnern gegründet: der Intel Corporation, der Universi- Research Center for Artificial Intelligence, the Max Planck tät des Saarlandes, dem Deutschen Forschungszentrum für Institute for Informatics and the Max Planck Institute for Künstliche Intelligenz, dem Max-Planck-Institut für Informatik Software Systems. This unique combination of industrial, und dem Max-Planck-Institut für Softwaresysteme. Diese ein- academic and institutional research ensures the highest zigartige Kombination aus industrieller, akademischer und quality theoretical foundation on one hand and applicability institutioneller Forschung sichert eine theoretische Basis von and relevance on the other. höchster Qualität sowie Anwendbarkeit und Relevanz in der Praxis. Utilizing two facilities in close proximity of the institute members fosters seamless and fruitful collaboration. Both locations (Buildings D3 4 and E2 1) are on the campus of Saar- land University, one located at the German Research Center for Artificial Intelligence, the other close to the Max Planck Institutes. Both, however, are by no means distant locations, but merely a couple hundred meters apart. Beide Standorte des Intel VCI (Gebäude D3 4 und E2 1) be- finden sich auf dem Campus der Universität des Saarlandes und damit in unmittelbarer Nähe zum Deutschen For- schungszentrum für Künstliche Intelligenz und dem Max- Planck-Institut für Informatik. Die Institute sind keineswegs weit voneinander getrennt, sondern liegen lediglich einige Hundert Meter voneinander entfernt. Durch die unmittelbare Nähe zu den Mitgliedsinstituten wird eine reibungslose und effiziente Zusammenarbeit gewährleistet. 4
One of the unique characteristics of the Intel VCI is its project- Eines der wichtigsten Alleinstellungsmerkmale des Intel oriented approach: The cooperation of institute members VCI ist sein projektorientierter Ansatz: Die Kooperation der and research contributors manifests itself in the establish- Partnerinstitute und der Intel VCI Forschungsmitarbeiter ment of clearly defined and goal-oriented collaborative manifestiert sich in der Einrichtung von gemeinsamen ziel- research projects. orientierten Forschungsprojekten. As of today, the Intel VCI conducts thirteen projects that in Derzeit gibt es am Intel VCI dreizehn solcher Projekte, an total involve more than forty researchers. denen über vierzig Forscher beteiligt sind. Scalable Scalable Hybrid Algorithms for Rendering for Internet Transport Real Time Large Scale and Coding for 3D Realistic Visualization HD-TV Rendering Scalable Advanced Ray Efficient High Quality rendering Rendering Tracing and Data- Flow Processing Multi Touch Interaction with Sample- for the 3D Internet Techniques for based Advanced Ray Mixed 2D/3D Representations Tracing and Data- Displays Flow Processing for the 3D Internet 3D Internet Kusanagi: Low Cost Coding and Interaction for Collaborative Depth Distributed Imaging Networked Games Molecular Bridging Real Modeling and & Virtual Software- Visualization Compiler Support Marker-free Worlds innovationen for High für das Performance Performance Digitale Capture Graphics Unternehmen This brochure introduces some of the exciting research and Diese Broschüre stellt einen Teil dieser spannenden For- the people behind it. As a matter of conciseness, it focusses on schung und die Menschen dahinter vor. Aus Gründen a selection of projects, but each and every project and re- der Prägnanz konzentriert sie sich auf eine Auswahl von searcher not represenated by a detailed description in this Projekten. Aber alle Projekte und Forscher, die in dieser brochure possesses the same fascination and is looking Broschüre nicht durch eine detaillierte Beschreibung forward to your interest and a potential visit on campus in repräsentiert werden, verfügen über dieselbe Faszination Saarbrücken! und freuen sich über Ihr Interesse und Ihren möglichen Besuch auf dem Campus in Saarbrücken! 5
VISUAL COMPUTING MADE IN SAARBRÜCKEN Structure of the Intel VCI Struktur des Intel VCI The Intel Visual Computing Institute’s governance reflects the Die Leitung des Intel Visual Computing Institute spiegelt spirit of industrial sponsorship of academic and institutio- den Geist industrieller Förderung akademischer und insti- nal research. The Steering Committee consists of eight tutioneller Forschung wider. Das Steering Committee members, four from Intel and four from the Saarbrücken besteht aus acht Mitgliedern – vier von Intel und vier von Computer Science Campus representing the University and der Universität des Saarlandes und den beteiligten Instituten the on campus institutes. The Institute and the Steering auf dem Campus in Saarbrücken. Die engere Leitung wird von Committee are represented by its three Directors: drei Institutsdirektoren ausgeübt: Prof. Dr. Philipp Slusallek Dipl.-Ing. Hans-Christian Hoppe Prof. Dr. Thorsten Herfet Prof. Dr.-Ing. Thorsten Herfet, Faculty Member of Saarland Prof. Dr.-Ing. Thorsten Herfet, Fakultätsmitglied an der University and the Intel VCI’s Director of Research and Universität des Saarlandes und Director of Research and Operations, Prof. Dr. Philipp Slusallek, Saarland Faculty Mem- Operations am Intel VCI, Prof. Dr. Philipp Slusallek, Fakul- ber, Director of the German Research Center for Artificial tätsmitglied an der Universität des Saarlandes, Direktor des Intelligence and the Intel VCI’s Director of Research and Dipl.- Deutschen Forschungszentrums für Künstliche Intelligenz Ing. Hans-Christian Hoppe, Intel and the Intel VCI’s Associate sowie Director of Research am Intel VCI und Dipl.-Ing. Hans- Director of Operations. Christian Hoppe, Intel und Associate Director of Operations am Intel VCI. 6
ORGANIZATION ORGANISATION Research Collaborators RPD RPD Institute RPD Members RPD RPD RPD Research Contributors Consortium Members INSTITUTE MEMBERS Intel Corporation, California - USA Saarland University, Saarbrücken - Germany DFKI GmbH, Saarbrücken - Germany MPI for Software Systems, Saarbrücken - Germany MPI for Informatics, Saarbrücken - Germany RESEARCH CONTRIBUTORS RESEARCH COLLABORATORS Telecom ParisTech, Paris - France DFG, Bonn - Germany HCI, Heidelberg - Germany BMBF, Berlin - Germany KIT, Karlsruhe - Germany IMPRS, Saarbrücken - Germany MMCI, Saarbrücken - Germany HGS, Heidelberg - Germany Lund University, Lund - Sweden CELTIC, Heidelberg - Germany Lübeck University, Lübeck - Germany eLLIIT, Linköping - Sweden SCI Institute, Utah - USA Stanford University, California - USA 7
SCALABLE RENDERING Michael Doggett Our visual sense is our greatest means of gathering infor- Unsere visuelle Wahrnehmung spielt beim Umgang mit mation about the world we live in. Using pervasively available Rechnern, mit deren Hilfe wir Informationen über die Welt computing devices and improving and unifying this visual sammeln, die größte Rolle. Die Interaktion mit einer Vielzahl experience across the wide range of available devices will von Geräten zu verbessern und zu vereinheitlichen, würde benefit all users across a panoply of scientific fields and con- allen Nutzern wissenschaftlicher Methoden sowie Consumer- sumer applications. Lösungen zugute kommen. In the scalable rendering project, we improve this visual ex- perience by creating models of these computational devices. The models are used to both enhance the realism of the generated images and optimize rendering performance. Im Projekt Scalable Rendering (Skalierbare Bildberechnung) verbessern wir die visuelle Erfahrung der Nutzer, indem wir auf virtuelle Modelle zurückgreifen. Diese berechnen vorab die Anzeige auf verschiedenen Ausgabegeräten und helfen uns so, die optimale Darstellung auszuwählen, so dass die generierten Bilder realistischer wirken. Gegenwärtig existiert eine große Vielfalt an Computern, von tragbaren Geräten über Tablet-PCs und Desktop-Systemen bis hin zu Supercomputern, die über Netzwerke zugänglich sind. Diese Plattformen arbeiten oftmals parallel und heterogen, eine Entwicklung, die man zunehmend auch bei individu- Currently, there exists a wide range of computational ellen Prozessoren beobachten kann. Sich die komplexe Archi- devices varying from hand held devices, such as tablet tektur einer dieser Maschinen zunutze zu machen, stellt eine computers, to desktop systems, all the way up to super- Herausforderung dar – eine optimale Leistung und Nutz- computers accessible via networks. These platforms are often barkeit des Systems zu gewährleisten, kann sogar noch an- parallel and heterogeneous, and even individual processors spruchsvoller sein. are evolving similarly and will continue to in the future. 10
Making use of the complex architecture of one of these machines is often challenging, and ensuring good performance and utilization can be even more so. Our project constructs models that predict the performance of a particular algorithm on a particular system and selects the correct rendering algorithm for that specific platform. We also break down existing graphics algorithms to Unser Projekt konstruiert Modelle, welche die Leistung eines understand how they map to varying processing models and bestimmten Algorithmus’ auf einem bestimmten System create new scalable realistic rendering algorithms. We focus vorausberechnen und den korrekten Rendering-Algorithmus presently on realistic techniques such as analytical motion für diese spezifische Plattform auswählen. blur. Wir analysieren auch vorhandene Grafik-Algorithmen, um zu verstehen, wie sie in verschiedenen Verarbeitungsmodellen abgebildet werden, und erstellen neue skalierbare und realistische Rendering-Algorithmen. Wir konzentrieren uns gegenwärtig auf realistische Techniken wie analytische Bewegungsunschärfe. DR. MICHAEL DOGGETT Lund University Graphics Group Department of Computer Science Lund University Sweden mike@cs.lth.se 11
REAL-TIME RENDERING Elmar Eisemann Computergeneriertes Bildmaterial ist in vielen Zusammen- hängen von entscheidender Bedeutung: Bei der Visualisie- rung medizinischer Daten, architektonischer Entwürfe, Simu- lationen, Filmen und auch bei Spielen. Bilder auf einem Computer zu erzeugen, ist dabei aber ein viel aufwändigerer Vorgang, als es auf den ersten Blick erscheinen mag. Objekte aus der realen Welt weisen viele komplexe Struktu- ren auf. Betrachtet man beispielsweise Haut und raue Ober- flächen genauer, verfügen diese über so feine Details, dass sie oft nur aus nächster Nähe zu erkennen sind, obwohl sie sich auf die Gesamterscheinung der Oberfläche aus der Ferne betrachtet auswirken. Die wirklichkeitsgetreue Wiedergabe solcher Details benötigt große Speicherkapazitäten und kann mühelos das Speichervolumen von Standard-Computern Computer-generated imagery is crucial in many contexts: überschreiten. Trotz der großen Herausforderung, die die visualization of medical data, architectural design, simula- Visualisierung dieser detailreichen Inhalte darstellt, ist diese tions, movies and also games. Creating images on a compu- Technik für die Diagnose aus medizinischen Daten essentiell. ter, however, is far more complicated than it might seem at first glance. Neben dem grundlegenden Problem der geometrischen Komplexität ist eine realistische Bildsynthese ebenso The real world exhibits many complicated structures, such von der Einhaltung physikalischer as skin and rough surfaces, which possess details Prinzipien abhängig. Detaillierte so minute that they may often only Simulationen werden be discerned in close-up, though in einem Echtzeit- they impact the overall appea- Kontext schnell zu rance of the surface even from far rechenintensiv, selbst bei away. Faithful representations of Hochleistungs-Hardware. such detail use a vast amount of me- Unsere Lösung hingegen mory to the extent of easily exceeding the bietet realistisches und detail- capacity of standard computing equipment. reiches Bildmaterial auch bei Visualizing this content is thus quite challenging, but geringem Rechenaufwand. Dafür remains of high importance in domains such as diagnosis nutzen wir auf Abtastwerten basierende from medical data. Darstellungen, die in der realen Welt auf- genommen oder durch Transformieren einer Besides the problem of raw geometric complexity, realistic komplexen virtuellen Szene erfasst wurden. image synthesis relies on adherence to physical principles. 12
Accurate simulations quickly become computationally prohi- bitive in a real-time context, even for high-performance hardware. Our solution is thus tailored to create realistic and detailed imagery at a low cost. To this extent, we exploit sample-based representations captured from the real-world or obtained by trans- forming a complex virtual scene on the fly. Such a structure promises many efficiency and cost advan- Eine solche Struktur verspricht viele Vorteile bezüglich tages through techniques such as hierarchical processing, Effizienz und Rechenleistung. Ermöglicht wird das durch fast mapping and scheduling of multiple processors, Techniken wie hierarchische Verarbeitung, schnelles Zuwei- computational coherence, and integration of real-world in- sen und Terminieren mehrerer Prozessoren, rechnerische formation. Kohärenz und Integration von Informationen der realen Welt. We also often find that we may utilize adaptive methods, Oftmals können wir auch adaptive Methoden nutzen, which when feasible, adopt simpler calculations with an die, falls praktikabel, einfachere Berechnungen mit einem equivalent outcome. Intelligently sampling only infor- gleichwertigen Resultat übernehmen. Wenn nur die benö- mation from the large input datasets that is actually visible tigten Informationen aus großen Datenmengen abgetastet and has an influence on the image promises to facilitate a werden, scheint das wirklich effiziente, großangelegte Ren- significant leap towards truly efficient large-scale rendering. dern möglich zu werden. PROF. DR. ELMAR EISEMANN Associate Professor in Computer Science at Telecom ParisTech (ENST) Computer Graphics Group Telecom ParisTech TSI 46, rue Barrault 75013 Paris France eisemann@telecom-paristech.fr 13
HYBRID RENDERING Jens Krüger This project implements a hybrid rendering system that Dieses Projekt realisiert ein hybrides Rendering-System, das combines the strengths of different rendering algorithms, die Stärken verschiedener Algorithmen, Hardware-Modelle hardware models, and display technologies while avoiding und Anzeigetechnologien kombiniert, deren bekannte their weaknesses. The three key aspects of this hybridization Schwächen aber vermeidet. Die drei Hauptaspekte dieser are in detail: Zusammenführung sind: Adaptivity - Our system implements multiple rendering Anpassbarkeit: Unser System implementiert mehrere Ren- methods, including parallel raycasting and GPU based dering-Methoden, einschließlich parallelem Raycasting und rasterization, dynamically determining the optimum tech- GPU-gestützter Rasterung. Es bestimmt dynamisch die opti- nique to apply for each part of the scene and compositing male Technik für die Anwendung auf den jeweiligen Teil these pieces into the final image. der Szene und setzt diese Fragmente im endgültigen Bild zusammen. Hardware flexibility - The system exploits both client and server components and is even capable of adapting to chan- Hardware-Flexibilität: Die Möglichkeiten von Client- als auch ging configurations. Server-Komponenten werden vom System ausgeschöpft, es kann sich an sich ändernde Rahmenbedingungen anpassen. Display independence - Hybrid rendering facilitates advanced rendering techniques on a variety of display devices ranging Anzeigeunabhängigkeit: Hybrides Rendering erleichtert from high-end VR equipment to workstation PCs and fortgeschrittene Rendering-Techniken auf einer Vielzahl von extending all the way down Anzeigegeräten von High- to handheld devices such as end VR-Ausrüstung zu tablets or smartphones. Desktop-Rechnern und trag- baren Geräten wie Tablet-PCs oder Smartphones. PROF. DR. JENS KRÜGER DFKI GmbH Agenten und Simulierte Realität Stuhlsatzenhausweg 3 Campus D3 2 66123 Saarbrücken Germany Jens.Krueger@dfki.de 14
RENDERING TECHNOLOGIES Lukáš Maršálek The diversity of modern rendering Es gibt eine enorme Vielfalt demands and scenarios means moderner Rendering-Anforderun- that it is as likely to be rendering gen und -Szenarien. Rendering on a mobile device as to be ren- kann auf einem mobilen Gerät dering on a cluster with hundreds ebenso erforderlich sein wie auf of processors. These scenarios einem Cluster mit Hunderten might in turn require anything von Prozessoren, wobei die Auf- from generating a photo-realistic gaben vom Generieren eines image to simply sketching a pre- photorealistischen Bildes bis view. Additionally, some applica- hin zum simplen Skizzieren einer tions have rather loose temporal Bildvorschau reichen können. constraints, allowing periods of Darüber hinaus haben einige minutes or even longer before Anwendungen kaum zeitliche Vor- a result is required, while others gaben und erlauben Wartezeiten demand 30 images per second or more. von einigen Minuten oder sogar länger, bis ein Resultat benötigt wird, während andere die Echtzeitwiedergabe von We develop rendering techniques that are capable of adjus- 30 oder mehr Bildern pro Sekunde verlangen. ting automatically to these demands, while delivering the best possible outcome for the given platform, scene and Wir entwickeln Rendering-Techniken, die solchen Anfor- user requirements. We achieve this by using the latest derungen automatisch Rechnung tragen und das best- advancements in parallel hardware, by decomposing the mögliche Resultat für die jeweilige Plattform, Konfiguration render job into smaller, progressively processable pieces, and oder individuelle Benutzeranforderungen bieten. Dies by dynamic adjustments of the rendering pipeline using novel wird erreicht, indem wir die neuesten Fortschritte in der compiler and programming techniques. Parallel-Hardware nutzen, den Rendering-Job in kleinere, progressiv verarbeitbare Stücke zerlegen und indem wir die Rendering-Pipeline durch neuartige Compiler- und Programmiertechniken dynamisch anpassen. M. Sc. LUKÁŠ MARŠÁLEK Saarland University Campus E1 1 66123 Saarbrücken Germany marsalek@intel-vci.uni-saarland.de 15
3D INTERNET Adding depth to the multimedia internet.
3D Internet with XML3D Kristian Sons Today, as our digital Das Web hat sich von der Dar- environment becomes stellung einfacher Textdaten zum increasingly three-di- Massenmedium mit anspruchsvollen mensional, it is obvious Layouts, Bildern, Audio und seit that we must extend kurzem sogar integriertem Video the core Web techno- entwickelt. Unsere digitale Umge- logies to support in- bung wird zunehmend dreidi- teractive 3D content. mensional. Es liegt auf der Hand, Instead of adapting dass wir die Kerntechnologien des existing graphics tech- World Wide Web für die Unter- nologies to the Web, stützung interaktiver 3D-Inhalte we take today’s Web erweitern müssen. Anstatt vorhan- technology and find dene Grafiktechnologien an das Web the minimum set of anzupassen, nehmen wir die heutige extensions that fully Web-Technologie und finden die supports interactive Mindestmenge an Erweiterungen, die 3D content as an in- interaktive 3D-Inhalte als integralen tegral part of mixed Bestandteil gemischter 2D-/ 3D-Web- 2D/3D web docu- Dokumente vollständig unter- ments. stützt. As a declarative approach, XML3D fully leverages existing web Mit seinem deklarativen Ansatz schöpft XML3D vorhandene technologies including HTML5, CSS, the Document Object Web-Technologien, einschließlich HTML5, CSS, das Document Model (DOM) and AJAX to support dynamic content. It thus Object Model (DOM) und AJAX bei der Unterstützung dyna- enables distribution, rendering and portable, cross-platform mischer Inhalte voll aus. So wird es möglich, 3D-Daten platt- authoring of 3D data as well as 3D interaction. formübergreifend zu erstellen, zu rendern und weiterzu- geben sowie mit ihnen zu interagieren. DR. KRISTIAN SONS DFKI GmbH Agenten und Simulierte Realität Campus D3 2 66123 Saarbrücken Germany Kristian.Sons@dfki.de 18
3D Internet Transport Jochen Miroll High-Definition 3D imaging is the evolutionary next step in Hochauflösende 3D-Inhalte sind die kommende Entwick- broadcast video, and in this project we deal with optimizing lung in der Übertragung von Video-Daten. Unser Projekt Internet transport strategies and solutions for such content. befasst sich mit der Optimierung des Internet-Transports dieser Daten. Our approach to internet transport for high bitrate real- Unser Ansatz beim Internet-Transport von Echtzeit-Medien time media, such as IPTV, is an end-to-end approach with mit hoher Bitrate, wie z. B. IPTV, ist ein Ende-zu-Ende-Ansatz support from intermediate network nodes. In our project, mit Unterstützung zwischengeschalteter Netzwerkknoten. these mechanisms are further developed and optimized for In unserem Projekt werden diese Mechanismen weiter- real-time stereoscopic video, e.g. 3D-HDTV or server based entwickelt und für stereoskopisches Video in Echtzeit, rendering. Optimized, link-specific error correction coding z.B. 3D-HDTV oder Server-based rendering, optimiert. An parameters are computed on the fly and applied to multiple individuelle Übertragungskanäle optimal angepasste Para- streams transporting individual views. meter für die Fehlerkorrektur werden während der Über- tragung auf mehrere Datenströme angewendet, die jeweils Our research improves for example the quality for the 3D-IPTV einzelne Ansichten transportieren. consumer and at the same time by means of significant efficiency gain reduces the Internet traffic load created by Unsere Forschung ermöglicht die Verbesserung der Qualität such transmissions. beispielsweise für den 3D-IPTV-Konsumenten und reduziert durch signifikante Effizienzsteigerungen gleichzeitig die Belastung des Internets, die durch solchen Datenverkehr entsteht. DIPL.-ING. B.Sc. JOCHEN MIROLL Saarland University Campus C6 3 66123 Saarbrücken Germany miroll@nt.uni-saarland.de 19
3D INTERNET Andreas Hildebrandt In its most essential form, pharmaceutical development Prinzipiell besteht pharmazeutische Entwicklung aus consists of finding and optimizing a molecule that performs dem Finden und Optimieren eines Moleküls, das im a specific function in the human body without leading to menschlichen Körper eine bestimmte Funktion ausübt, intolerable side effects. While this goal may be easily formu- ohne dabei zu Unverträglichkeiten zu führen. Das hört sich lated, the challenges confronted with by physics, chemistry, zwar relativ einfach an, aber die Herausforderungen aus den biology, and not least by legislature and regulation, are so Bereichen der Physik, Chemie und Biologie sowie die Vor- numerous and so enormously complex that pharmaceutical gaben der Gesetzgeber und Aufsichtbehörden sind so design belongs to the most challenging, most time consu- umfangreich und komplex, dass die pharmazeutische Ent- ming and most expensive of tasks in modern science. wicklung zu den schwierigsten, zeitaufwändigsten und teuersten Aufgaben in der modernen Wissenschaft gehört. Tatsächlich erfordert die Entwicklung eines einzelnen Wirk- stoffes mühelos eine Investition von mehreren Hundert Millionen US-Dollars, braucht mehrere Jahre (Zeitspannen von sieben bis dreißig Jahren sind keine Seltenheit) und hat sehr geringe Erfolgsaussichten. Aktuelle Schätzungen der FDA zeigen, dass nur einer von 1000 in Entwicklung be- findlichen Wirkstoffkandidaten, der die präklinischen Unter- suchungen erreicht, die Tests in diesem Stadium besteht und für die Erprobung an Menschen empfohlen wird. Indeed, the development of a single drug mole-cule easily requires the investment of several hun-dreds of millions of dollars, takes several years (periods of seven to thirty years are not uncommon) and has a very low probability of success. Current estimates by the Eines der Hauptziele der Strukturbioinformatik ist es daher, FDA expect that only one out of every 1000 candidate drugs die Arzneimittelentwicklung schneller, billiger und effizienter in development that reach preclinical trials will pass the tests zu machen, indem teure und zeitraubende experimentelle in this stage and be recommended for testing in humans. Verfahren durch computergestützte Simulationen und Model- lierungen ersetzt werden. Durch fehlerfreies Modellieren und One of the main goals of structural bioinformatics is thus intuitives Visualisieren von Molekularstrukturen und deren to make drug design faster, cheaper, and more effective Interaktionen können Arzneimittelenentwickler in die Lage by replacing expensive and time consuming experimental versetzt werden, molekulare Schlüssel zu entwickeln, d.h. 20
techniques by computer aided Wirkstoffe, die in ein bestimmtes simulation and modeling. It is molekulares Schloss passen. clear that accurate modeling Diese Werkzeuge sind ein and intuitive visualization of integraler Bestandteil moder- molecular structures and their ner Arzneimittelentwicklung interactions empower drug de- geworden und werden regel- velopers to design molecular mäßig weltweit interdisziplinär keys, i.e. drugs that fit into a angewendet. Trotzdem wird specific molecular lock. These diese kollaborative, verteilte tools have become an integral Arbeitsweise von den heutigen part of modern drug design Werkzeugen zur Molekül-Mo- and are routinely used by highly dellierung nicht unterstützt. interdisciplinary teams spread over the globe. However, this collaborative, distributed mode Unser Projekt am Intel VCI macht of operation is not supported by today’s molecular modeling die Leistungsfähigkeit des Internets der nächsten Generation, tools. insbesondere von XML3D, nutzbar und kombiniert sie mit unserer Molekular-Modellierungs- und Visualisierungslösung Our project at the Intel VCI harnesses the power of next BALLView, um eine komplett verteilte, kollaborative Engine generation Internet capabilities, in particular of XML3D, and zur Molekular-Modellierung zu erzeugen. Ein solches System combines it with our molecular modeling and visualization ermöglicht es den Forschern, sich unabhängig von ihrem solution BALLView, to create a fully distributed, fully colla- Aufenthaltsort mit BALLView oder einem XML3D-fähigen borative molecular modeling engine. Such a system enables Browser mit einer laufenden Modellierungssitzung zu ver- geographically distributed researchers to be able to hook binden. Sie können so gemeinsam eine Szene betrachten, into a running modeling session using either BALLView or an kommentieren und ändern und damit den konstruktiven XML3D-enabled browser, to view, comment upon, and mo- Aufwand entscheidend verbessern. dify the same molecular scene, thus enhancing the design effort. DR. ANDREAS HILDEBRANDT Center for Bioinformatics Saarland University Campus E 1 1 66123 Saarbrücken Germany anhi@bioinf.uni-sb.de 21
High-Perfomance Graphics Sebastian Hack The challenges of our project are several compiler-related Die Herausforderungen unseres Projekts werden von Prob- issues in high-performance graphics. First, we work on the lemstellungen im Zusammenhang mit Compilern in der AnySL system that provides a unified shading architecture for Hochleistungsgrafik gebildet. Zunächst arbeiten wir am Sys- a multitude of rendering systems. While a number of diffe- tem AnySL, das eine vereinheitlichte Shading-Architektur für rent shading languages have been developed, their efficient eine Vielzahl von Rendering-Systemen bietet. Da eine Reihe integration into an existing renderer is notoriously difficult, unterschiedlicher Shading-Sprachen entwickelt wurden, ist often boiling down to implementing an entire compiler tool- deren effiziente Integration in einen vorhandenen Renderer chain for each language. Furthermore, no shading language gemeinhin schwierig und läuft oftmals auf die Implemen- is broadly supported across the variety of rendering systems. tierung einer ganzen Reihe von Compiler-Tools für jede Sprache hinaus. Außerdem wird keine der Shading-Sprachen AnySL approaches this issue from multiple directions: We com- in der Vielzahl von Rendering-Systemen breit unterstützt. pile shaders from different languages into a common, porta- ble, generic code representation. The key component of our AnySL nähert sich diesem Problem aus mehreren Rich- system is an embedded compiler that instantiates this generic tungen: Wir kompilieren Shader unterschiedlicher Sprachen code in terms of the renderer’s in eine gemeinsame, por- native types and operations. It table und generische Code- allows for flexible code transfor- Repräsentation. Die Schlüssel- mations to match the internal komponente unseres Systems structure of the renderer. ist ein eingebetteter Compiler, der diesen generischen Code Furthermore, we provide code hinsichtlich der nativen Typen generators for GPUs and CPUs und Operationen des Render- with SIMD instructions (such as ers instanziiert. Dies ermöglicht SSE or AVX). While GPUs imple- flexible Code-Transformationen, ment data-parallel execution um sich der internen Struktur des Renderers anzupassen. Außerdem bieten wir Code- Generatoren für GPUs und CPUs mit SIMD-Anweisungen (wie z. B. SSE oder AVX). Während GPUs datenparallele Ausführung direkt in Hardware imple- mentieren, benötigen CPUs die Hilfe eines Compilers. Wir haben eine plattformunabhängige Code-Transformation ent- wickelt, um datenparallele Programme in solche CPUs zu im- plementieren und haben sie in den Echtzeit Raytracer Rtfact inte-griert. Unsere Experimente zeigen lineare Speedups, d.h., dass der Raytracer auf einer SIMD Vektorlänge von vier unge- fähr viermal schneller ist. 22
directly in hardware, CPUs need the help of a compiler. We have developed a plat- form-independent code transformation to implement data-parallel programs in such CPUs and have integrated it into the real- time ray tracer RTfact. Our experiments show linear speedups, that is, the ray tracer is four times faster on a SIMD vector length of four. JUN.-PROF. DR. SEBASTIAN HACK Saarland University Campus E1 3 66123 Saarbrücken Germany hack@cs.uni-saarland.de 23
BRIDGING TWO WORLDS Helping to turn the virtual experience into a realistic one.
Markerless Capturing Christian Theobalt Algorithmen für die realistische Darstellung und Übertra- gung komplexer graphischer Szenen sind Thema intensiver Forschung am Intel Visual Computing Institute. So schwie- rig die Frage nach der Berechnung von digitalen Modellen einer abzubildenden Szene ist, so wichtig sie auch für die korrekte Darstellung der Geometrie einer Szene sowie für deren Komposition und der Bewegung von Objekten oder Menschen darin. Heutzutage erfordert das Erstellen solcher Modelle oftmals großen manuellen Aufwand, oft über meh- rere Monate hinaus. Am Intel VCI folgen wir daher einem anderen Weg und forschen nach neuen algorithmischen Lösungen, um digitale Modelle von realen Szenen zu erfas- sen und die Notwendigkeit der zeitraubenden manuellen Arbeit überflüssig zu machen. Markerless Performance Capture Obwohl sie bekanntermaßen schwierig zu erstellen sind, sind detaillierte Modelle menschlicher Schauspieler wich- tige Elemente virtueller Welten. Wir entwickeln deshalb die Algorithms for realistic display and transmission of com- plex graphical scenes are topics of intensive investigation at the Intel Visual Computing Institute. It is, however, equally important and difficult to answer the question of how to ob- tain the digital models of the scenes that shall be displayed, i.e. the geometry of a scene, its appearance or the motion of objects and people in it. Nowadays, creation of such models often requires tremendous manual effort of several months of work. At the Intel VCI, we therefore follow a different path and investigate new algorithmic solutions to capture digital models from real world scenes and eliminate the need for such massive amounts of manual labor. Markerless Performance Capture Though notoriously difficult to create, detailed models of human actors are essential assets in virtual worlds. Hence we develop the next generation of motion capture techno- logy, so-called performance capture, with extended capa- bilities and versatility. 26
Existing marker-based motion capture technology merely en- nächste Generation der Motion Capture-Technologie, das so ables reconstruction of sparse motion data and fails to recon- genannte Performance Capture, mit erweiterten Fähigkeiten struct people in general apparel. In contrast, our algorithms und größerer Vielseitigkeit. capture detailed dynamic shape, motion, and appearance models of actors in arbitrary apparel from a handful of video Die existierende, marker-basierende Motion Capture-Tech- streams without markers. Our algorithms thus deliver much nologie ermöglicht nur die Rekonstruktion einfacher Bewe- richer performance models than any pre-existing technology. gungsdaten und versagt, wenn Menschen in ihrer Alltags- The captured actors may be employed in many application kleidung rekonstruiert werden sollen. Im Gegensatz hierzu scenarios, including networked virtual environments, feature ermöglichen unsere Algorithmen detailreiche dynamische films, computer games, biomechanics research and surveil- Gestalt-, Bewegungs- und Erscheinungsmodelle von Schau- lance. We also develop fast-capture technologies to estimate spielern in beliebiger Bekleidung aus einer Handvoll Video- human performances in real-time using only a sparse set of Streams ohne Marker. Unsere Algorithmen bieten so weitaus sensors. This makes the technology more amenable to end reichhaltigere Darstellungsmodelle als jede zuvor existierende users at home and offers new opportunities for gesture-based Technologie. Die erfassten Akteure können in vielen Anwen- interaction with a computer. dungsszenarien eingesetzt werden, einschließlich vernetz- ten virtuellen Umgebungen, Spielfilmen, Computerspielen, biomechanischer Forschung und Überwachungsszenarien. Wir entwickeln außerdem Schnellerfassungs-Techniken, um menschliches Handeln in Echtzeit mit nur wenigen Sensoren zu bestimmen. Dadurch wird die Technologie zugänglicher für Endanwender daheim und eröffnet weitere Möglichkeiten für eine neue Art der Interaktion mit einem Computer, der Gesten analysieren kann. DR. CHRISTIAN THEOBALT MPI for Informatics Campus E 1 4 66123 Saarbrücken Germany theobalt@mpi-inf.mpg.de 27
Computer Vision Daniel Kondermann We answer the question as to whether real-world image se- Wir beantworten die Frage, ob Bildsequenzen aus der realen quences can be simulated by raytracing techniques of suf- Welt sich durch Raytracing-Techniken von ausreichendem ficient realism and accuracy such that Computer Vision (CV) Realismus und ausreichender Genauigkeit so simulieren las- algorithms cannot distinguish between these two types of sen, dass Computer Vision (CV)-Algorithmen nicht zwischen input data. realen und synthetischen Bildern unterscheiden können. In cases where syn- Wenn nachgewiesen thetic ground truth werden kann, dass data can be proven generierte Daten to be equivalent- gleichwertig für die ly suited for the Auswertung von CV- evaluation of CV Algorithmen geeig- algorithms, we are net sind, können wir able to create large große Ground-truth ground truth datasets without the Datenmengen erzeugen, ohne need for expensive, time-consu- teure, zeitraubende und ungenaue ming and inexact reference mea- Messtechnologien nutzen zu müs- surement technologies. sen. We therefore evaluate the effects Daher werten wir die Auswir- of physically plausible renderings on depth-based imaging kungen physikalisch plausibler Darstellungen auf tiefenbasie- algorithms. We amass a database from real sequences with rende Imaging-Algorithmen aus. Dazu wird eine Datenbank typical effects such as shadows and specular reflections, and aus realen Sequenzen mit typischen Phänomenen wie Schat- then carefully reconstruct some of these scenes synthetically ten und spiegelnden Reflexionen erstellt, aus der einige dieser via raytracing. The resulting datasets are then compared with Szenen synthetisch über Raytracing rekonstruiert werden. Die respect to the errors CV algorithms produce. resultierenden Datensätze werden dann hinsichtlich der von CV-Algorithmen erzeugten Fehler verglichen. DR. DANIEL KONDERMANN Heidelberg Collaboratory for Image Processing (HCI) University of Heidelberg Speyerer Straße 6 69115 Heidelberg Germany daniel.kondermann@iwr.uni-heidelberg.de 28
Current Projects Laufende Projekte Advanced Ray Tracing and Data-Flow Processing for the 3D-Internet Collaborative Distributed Molecular Modeling and Visualization Compiler Support for High Performance Graphics Internet Transport and Coding for 3D HD-TV Multi Touch Interaction Techniques for Mixed 2D and 3D Graphics Displays Visualization and Editing of Light Transport Algorithms for Low-Cost Depth Imaging Marker-free Performance Capture Scalable Computer Graphics Algorithms for Real-Time Realistic Rendering Efficent High-Quality Rendering Using Sample-based Representations A Scalable Hybrid Rendering System for Large Scale Visualization Kusanagi: Coding and Interaction for Networked Games Softwareinnovationen für das Digitale Unternehmen Scalable IVCI Vision Marker-free Algorithms for Real Time Performance Compiler Efficient Capture Realistic Support for High Quality Rendering High Rendering Using Performance Scalable Sample-based Algorithms Graphics Hybrid Representations for Low Cost Rendering Depth Virtual Worlds for Large Real World Imaging Scale (Model-based) Visualization (Sample-based) Advanced Ray Multi Touch Tracing and Interaction Visualization Data-Flow Collaborative Techniques for and editing Internet Processing for Distributed Mixed 2D and of light Transport the 3D Internet Molecular 3D Graphics transport and Coding Modeling and Displays for 3D HD- Visualization TV Multimodal Scene Analysis & Interaction Kusanagi: Software- Coding and innovationen Interaction for für das Digitale Networked Unternehmen Games 29
STATEMENTS There is a lot to talk about in state of the art research.
CLOSE COOPERATION Volker Linneweber President, Saarland University Close cooperation with the leading processor manufacturer Intel is of great importance for Saarland University. The Intel Visual Computing Institute investigates fundamental issues of modeling virtual 3D scenes, combining them with sampled detail from the real world, displaying them in a totally realistic way and enabling intuitive user interaction. This work lays the foundation for future highly visual and immersive appli- cation scenarios across the compute continuum. The results of the first year clearly show the enormous potential of the institute, and the growing cooperation and networking with leading ex- perts in Germany and Europe sets the scene for sustainable success. Für die Universität des Saarlandes ist die enge Kooperation mit dem führenden Prozessorhersteller Intel von großer Be- deutung. Das Intel Visual Computing Insti- tute untersucht fundamentale Fragen der Modellierung virtueller dreidimensionaler Szenen, ihrer Kombination mit Daten aus der realen Welt, und der hoch realistischen Darstellung und intuitiven Interak- tion mit dem Benutzer. Diese Arbeiten bilden eine Grundlage für zukünftige hoch visuelle Anwendungsszenarien auf einem weiten Spektrum von Geräten vom Smartphone bis zum Hochleistungsrechner. Die Resultate des ersten Jahres zeigen das enorme Potential des Institutes, und die zunehmende Zusammenarbeit und Vernetzung mit führenden Experten in Deutschland und Europa legt die Basis für einen nachhaltigen Erfolg. 32
STRENGTHENING RESEARCH Hannes Schwaderer CEO, Intel Germany Visual Computing is an increasingly important application scenario for Intel’s platforms, and the Intel Visual Computing Institute is an important conduit between European basic research in this field, research funding in Europe and Germany, and future Intel hardware and software products. For me, the institute considerably strengthens the role of Germany as a place to conduct research within Intel, and I do wish the researchers continued success. Visual Computing gewinnt als Anwen- dungsgebiet für Intels Plattformen im- mer mehr an Bedeutung, und das Intel Visual Computing Institut erfüllt eine wichtige Brückenfunktion zwischen der europäischen Grundlagenforschung auf diesem Feld, der Forschungsförderung in Europa und Deutschland und zukünftigen Intel Hardware und Software- produkten. Ich sehe das Institut als eine wesentliche Stärkung für den Forschungsstandort Deutschland innerhalb von Intel und wünsche den Forschern auch weiterhin viel Erfolg. 33
WORLD-CLASS COMPETENCY Martin Curley Director of Intel Labs Europe The Intel VCI is a key part of the Intel Labs Europe network. It adds world- class competency in computer graphics, encoding and transmission of 3D media and virtual scenes, and 3D user interfaces to ILE’s portfolio. In its first year of operation, the institute has started collaborations with other labs and business units on, amongst others, integrating 3D scenes and videos into the future Internet, and on improving 3D user experience across the compute continuum. The area of Visual Computing is of prime importance to Intel, and I’m looking forward to many more years of cooperation with the Intel VCI. Das Intel VCI ist ein wesentlicher Bestandteil des Intel Labs Europe Netzwerks. Es erweitert das ILE Portfolio um Weltklasse-Kompetenz in der Computergraphik, der Codierung und Übertragung von 3D Medien und virtu- ellen Szenen und dem Entwurf von 3D Benutzerober- flächen. In seinem ersten Jahr ist das Institut wichtige Kooperationen mit anderen La- boren und Geschäftseinheiten eingegangen, unter anderem zur Integration von 3D Szenen und Videos in das zukünftige Internet, sowie zur Verbesserung der 3D User Experience über das ganze Spektrum von mobilen Rechnern und Smartphones. Visual Computing ist von höchster Bedeutung für Intel, und ich freue mich auf viele weitere Jahre der Zusammenarbeit mit dem Intel VCI. 34
CONTACT KONTAKT Intel Visual Computing Institute Saarland University Campus E2 1 66123 Saarbrücken Germany Phone: +49 681 302-70850 Fax: +49 681 302-70857 info@intel-vci.uni-saarland.de www.intel-vci.uni-saarland.de 35
IMPRINT IMPRESSUM Publisher Intel Visual Computing Institute Saarland University Concept & Design Conny Liegl Picture Editing Samir Hammann Print Digitaldruck Pirrot GmbH Portraits Manuela Meyer More picture credits Marianne Spiller, DFKI (4) Marianne Spiller, Center for Bioinformatics CBI (4) Archive of Saarland University (32) Intel GmbH (33, 34) Fotolia.de (2) 36
WWW.INTEL-VCI.UNI-SAARLAND.DE © 2010
Sie können auch lesen