Message-Passing Aigorithms and Analog Electronic Circuits

Diss. ETH No 15942

Message-Passing Aigorithms
and
Analog Electronic Circuits

A dissertation submitted to the
Swiss Federallnstitute of Technology, Zürich
for the degree of
Doctor of Technical Seiences

presented by

Patrick R Merkli
Ing. en Microtechnique dlpl, EPFL
born on June 20, 1974
citizen of Wettingen AG and Aarau AG

accepted on the recommendation of
Prof. Dr. Hans-Andrea Loeliger, examiner
Prof. Dr. Frank R. Kschischang, co-examiner
Prof. Dr. Christian Schlegel, co-examiner

Hartung-Gorre Verlag, Konstanz, April 2005

Abstract

Solving decision problems by means of message-passing algorithms de-
fined on graphical models has received increasing attention in recent
years. The origin of this approach lies in coding theory and can be
traced back to work by Gallager in 1963 and Tanner in 1981. The ac-
tual breakthrough though was marked by the discovery of turbo codes
in 1993, coinciding with advances by Wiberg in graphical modeling of
codes. Subsequently, the idea of algorithms defined on graphs found its
way into various fields of signal processing as a systematic and unifying
method for deriving detection algorithms.

    Often, message-passing algorithms are computationally demanding,
and their implementation in hardware requires a considerable amount
of resources (both, in terms of power and circuit area). Therefore, the
idea emerged to use analog electronic circuits for implementing message-
passing algorithms. The hope is that such highly application-specific cir-
cuits allow to obtain fast and power-efficient implementations. Amongst
other things, this hope is based on a natural mapping of primitives of
message-passing algorithms to very simple non-linear transistor circuits.

    The present thesis is a collection of new methods and ideas in the vast
domain of message-passing algorithms and their implementation as ana-
log electronic circuits. Therefore, the work does not represent a complete
discourse, "but rather a contribution to an ongoing research effort.

   In the first part of this work we start by giving a short review of
how to model adecision problem by means of factor graphs, a special
type of graphical model. Subsequently, we show that the summary-
product algorithm-a very popular message-passing algorithm defined

                                    Vll

Vlll                                                               Abstract

on the factor graph-can be used for solving the underlying problem. It
is well known that the summary-product algorithm operating on a cycle-
free graph provides the desired results. However, on a graph with cycles
the algorithm becomes iterative and gives back only approximate results.
It often occurs that the sub-optimal algorithm on a loopy graph shows
the crucial advantage of being of much lower complexity compared to
the computations required to obtain the optimal solution. On the other
hand, the approximations provided by the sub-optimal algorithm can be
arbitrarily bad, especially if the graph has short cycles. In a next step, we
therefore present two methods for devising message-passing algorithms
on a loopy graph, which allow to trade off complexity against accuracy in
a flexible way. In this context we propose a message update rule for so-
called structured messages, which subsumes the weIl-known sum-product
update rule. The application and the effect of the proposed methods is
illustrated by means of an example of synchronization on noisy linear-
feedback shift register sequences.

    In the second part of this thesis we move on to analog circuits. Af-
ter a short introduction to weIl-established basics, we propose a new
fundamental building block, which enables the implementation of a di-
vision operation. This extension of implementable operations seems to
naturally match the intermediate-complexity algorithms mentioned pre-
viously. This is because the message update computations for such algo-
rithms can contain division operations. FinaIly, we present an extensive
collection of measurement results for two analog integrated implemen-
tations of message-passing algorithms, built up solely with MOS tran-
sistors. Both networks implement decoding algorithms, the first circuit
for a binary [8,4,4] extended Hamming code and the second circuit for
a binary [16,5,8] Reed-Muller code. Error rate performance curves for
both decoders and for various operating conditions are compared to ideal
discrete-time simulation results of the corresponding algorithms. Addi-
tionally, we offer a detailed characterization of the transistors used for
implementing the Hamming code decoding network.

Keywords: Factor graphs, message-passing algorithms, summary-
product algorithm, sum-product algorithm, structured summary, struc-
tured message, analog non-linear transistor circuits, translinear circuits,
multiplication matrix, divisionjmultiplication matrix, analog iterative
decoder.

Kurzfassung

Die Anwendung von auf graphischen Modellen definierten Algorithmen
zur Lösung von Entscheidungsproblemen gewann in jüngster Vergangen-
heit zunehmende Beachtung. Der Ursprung dieses Ansatzes kann in der
Codierungstheorie angesiedelt werden und geht zurück auf Arbeiten von
Gallager in 1963 und Tanner in 1981. Der eigentliche Durchbruch aber
war die Entdeckung der Turbo Codes in 1993, die zeitlich mit Fortschrit-
ten in der graphischen ModelIierung von Codes durch Wiberg zusammen-
fiel. Im Folgenden fand die Idee von graphbasierten Algorithmen ihren
Weg in verschiedenste Gebiete der Signalverarbeitung, als ein systema-
tischer und vereinheitlichender Ansatz zur Entwicklung von Detektions-
algorithmen.

   Vielfach sind solche Algorithmen sehr rechenintensiv und folglich ist
der erforderliche Aufwand einer Implementierung als elektronische Schal-
tung beträchtlich (sowohl in Bezug auf Leistungsverbrauch, wie auch in
Bezug auf benötigte Schaltungsfläche). Daher entstand die Idee analo-
ge Schaltungen für die Implementierung zu verwenden. Die Hoffnung
besteht darin, auf diese Weise zwar sehr anwendungsspezifische aber
schnelle und leistungseffiziente Schaltungen zu erhalten. Unter anderem
gründet diese Hoffnung in einer sehr natürliche Abbildung von Grund-
elementen der betrachteten Algorithmen auf einfachste, nicht lineare
Transistorschaltungen.

    Die vorliegende Arbeit ist eine Sammlung von neuen Ideen und Ein-
sichten im weitreichenden Umfeld von graphbasierten Algorithmen, sowie
für deren Umsetzung als analoge elektronische Schaltungen. Daher ist die
Arbeit nicht als eine abschliessende Beschreibung sondern vielmehr als
ein Beitrag zu einer andauernden Forschungsanstrengung zu betrachten.

                                   IX

x                                                           Kurzfassung

    Im ersten Teil dieser Arbeit zeigen wir zuerst wie ein Entscheidungs-
problem mittels Faktorgraphen, einer speziellen Art von graphischem
Modell, beschrieben werden kann. Anschliessend beschreiben wir den
Summier-Produkt-Algorithmus. Dieser auf einem Faktorgraphen defi-
nierte Algorithmus kann in vielen Fällen zur Lösung des zugrunde liegen-
den Entscheidungsproblems angewandt werden. Es ist allgemein bekannt,
dass der Summier-Produkt-Algorithmus die gewünschten Resultate lie-
fert, sofern der Graph keine Schleifen aufweist. Für einen Graphen mit
Schleifen jedoch ergibt sich ein iterativ arbeitender Algorithmus, und
die erhaltenen Resultate stellen nur Approximationen dar. Oft, erweist
sich nun der suboptimale Algorithmus auf einem Graph mit Schleifen
als vorteilhaft bezüglich des Rechenaufwands im Vergleich zur optima-
len Lösung. Andererseits können die Approximationen des subotimalen
Algorithmus' beliebig schlecht sein, insbesonders wenn der Graph kurze
Schleifen aufweist. In einem nächsten Schritt stellen wir daher zwei Me-
thoden für das Entwerfen von Algorithmen auf Graphen mit Schleifen
vor, welche einen flexiblen Austausch von Rechenaufwand und' Genau-
igkeit der Resultate erlauben. In diesem Zusammenhang schlagen wir
eine Nachrichten-Aufdatierungsregel für sogenannte strukturierte Nach-
richten vor, die die wohl bekannte Summe-Produkt Aufdatierungsregel
mit einschliesst. Ein Beispiel von Synchronisierung auf eine verrauschte
Sequenz eines rückgekoppelten Schieberegisters dient als Illustration der
Anwendung und Wirkung der vorgeschlagenen Methoden.

    Im zweiten Teil dieser Arbeit gehen wir über zu analogen elektroni-
schen Schaltungen. Nach einer kurzen Einführung in etablierte Grund-
lagen schlagen wir eine neue elementare Schaltung vor, welche die Im-
plementierung einer Division erlaubt. Diese Erweiterung von implemen-
tierbaren Rechenoperationen scheint auf natürliche Weise zu den oben
erwähnten Algorithmen flexibler Komplexität zu passen. Dies weil die
Nachrichten-Aufdatierungsregeln solcher Algorithmen Divisionen bein-
halten können. Schliesslich präsentieren wir eine ausführliche Sammlung
von Messresultaten für zwei analoge, integrierte Implementierungen von
graphbasierten Algorithmen, für deren Aufbau ausschliesslich MOS Tran-
sistoren verwendet wurden. Beide Netzwerke implementieren Decodieral-
gorithmen, die erste Schaltung für einen binären [8,4,4] Hamming Code
und die zweite Schaltung für einen binären [16,5,8] Reed-Muller Code.
Fehler Raten für beide Decoder unter verschiedenen Betriebsbedingun-
gen werden mit den Resultaten von idealen zeitdiskreten Simulationen
der entsprechenden Algorithmen verglichen. Zusätzlich präsentieren wir

Kurzfassung                                                           Xl

eine detaillierte Charakterisierung der Transistoren, die für die Imple-
mentierung des Hamming Code Decoders verwendet wurden.

Stichworte: Faktorgraphen, Graphbasierte Algorithmen, Summier-
Produkt-Algorithmus,     Summe-Produkt-Algorithmus,      Strukturierte
Summierung, Strukturierte Nachricht, Analoge nicht lineare Tran-
sistorschaltungen, Translineare Schaltungen, Multiplikations-Matrix,
Divisions/Multiplikations-Matrix, Analoge iterative Decoder.