Viele Leute haben uns gefragt, was das Besondere an unserem Unleashed ist. Man sagt, dass der Teufel im Detail steckt, also wollten wir einige der technischen Details vorstellen, die das Unleashed wirklich auszeichnen. Jetzt wird’s richtig nerdig, also schnallt euch an \ud83e\udd13<\/p>\r\n\r\n
Wir haben mit bis zu 8 Entwicklern gleichzeitig am Unleashed gearbeitet, und das \u00fcber einen Zeitraum von etwa 5 Jahren! Allein die Firmware besteht aus rund einer Viertelmillion Zeilen Code! F\u00fcr alle, die nicht wissen, was das bedeutet: Das ist SEHR VIEL!<\/p>\r\n
Das Unleashed hat zwei Hauptkomponenten – einem Bluetooth-Modul, das auf einem Nordic-Chipsatz basiert, und einem Mikroprozessor von STM. Der STM ist f\u00fcr die Kommunikation mit der Kamera zust\u00e4ndig. Er implementiert eine USB-Host-Instanz, zwei serielle Protokolle und GPIOs. Der Nordic Chipsatz ist f\u00fcr die Kommunikation mit der App und dem Bluetooth-Zubeh\u00f6r zust\u00e4ndig, das direkt mit dem Unleashed gekoppelt ist.<\/p>\r\n
Hier ist das Besondere, was diese ~250000 Zeilen Code noch unglaublicher macht: Der STM hat nur 128 Kilobyte RAM und 256 Kilobyte Speicher, der Nordic nur 64KB RAM, aber etwas mehr Speicher. <\/p>\r\n
Das bedeutet, dass wir keine der verf\u00fcgbaren Bildverarbeitungsbibliotheken oder SDKs zur Steuerung der Kameras verwenden k\u00f6nnen sondern alles von Grund auf selbst programmieren mussten. Wir programmieren Bare-Metal – d. h. wir verwenden nicht einmal ein Betriebssystem! Wir mussten extrem vorsichtig mit unseren sehr, sehr begrenzten Ressourcen umgehen, was zu einem sauberen und effizienten Code gef\u00fchrt hat – zwangsl\u00e4ufig. Und das f\u00fchrt zu einer gro\u00dfartigen Benutzererfahrung f\u00fcr Euch! Das Traurige daran ist, dass die meisten Dinge, auf die wir so viel M\u00fche gesteckt haben, niemandem auffallen werden. Weil es halt einfach so funktioniert, wie man es erwartet! Leider bemerken wir normalerweise immer nur die Dinge, die nicht so funktionieren, wie sie sollten. <\/p>\r\n
Da ich sehr stolz auf unsere Errungenschaften bin, m\u00f6chte ich dieses Update nutzen, um einige der Dinge hervorzuheben, die Ihr wahrscheinlich sonst nie bemerken w\u00fcrdet.<\/p>\r\n\r\n
Mit Ausnahme von Nikon, die eine ausgezeichnete Dokumentation \u00fcber das von ihnen verwendete USB-Protokoll bereitstellen, mussten wir dieses Protokoll f\u00fcr alle anderen Kameramarken reverse-engineeren. Dieses Protokoll nennt sich PTP\/MTP, f\u00fcr das es tats\u00e4chlich einen gut definierten Standard gibt. Was wir wirklich seltsam fanden, ist, dass aus uns unerfindlichen Gr\u00fcnden jeder Hersteller seine eigene seltsame Erweiterung dieses Protokolls hat, anstatt es so zu verwenden, wie es bereits in der Norm definiert ist. Auch hier bildet Nikon eine Ausnahme, und vielleicht ist das ein Grund daf\u00fcr, dass sie gerne alle Details ihrer API ver\u00f6ffentlichen. Ihr k\u00f6nnt euch nicht vorstellen, wie oft wir Entwickler, wenn wir endlich herausgefunden haben, wie etwas bei einem bestimmten Hersteller funktioniert, kollektiv den Kopf gesch\u00fcttelt und gefragt haben: „Warum???“. Das ist der Grund, warum es nicht so einfach ist, neue Hersteller in unsere Kompatibilit\u00e4tsliste aufzunehmen. Das Standard des Protokolls deckt eigentlich die meisten Kamerafunktionen ab und bietet einfache M\u00f6glichkeiten zur Erweiterung, aber statt dies zu nutzen macht jeder einzelne Hersteller (au\u00dfer Nikon) sein eigenes Ding ob drauf.<\/p>\r\n
Aber das sind nur die Basics. Nachdem wir alles herausgefunden haben, was wir konnten, gab es immer noch so viele F\u00e4lle, in denen wir uns fragten, warum sie nicht einfach auch diese andere Kleinigkeit machen konnten, um allen das Leben leichter zu machen. Stattdessen mussten wir komplizierte Umgehungsl\u00f6sungen f\u00fcr Dinge einf\u00fchren, die von vornherein h\u00e4tten funktionieren sollen. <\/p>\r\n
Nach all dem Lob hier eine Nikon-Kuriosit\u00e4t. Aus irgendeinem Grund hat Nikon beim Starten von Liveview (z. B. f\u00fcr Videoaufnahmen) \u00fcber USB nicht zugelassen, dass das Liveview-Bild auf dem LCD der Kamera angezeigt wird. Ich nehme an, dass Nikon davon ausgeht, dass die meisten Anwendungsf\u00e4lle f\u00fcr die Fernsteuerung \u00fcber USB darin bestehen, einen gr\u00f6\u00dferen Bildschirm wie einen Laptop hinzuzuf\u00fcgen, und daher erwartet, dass das Liveview-Bild \u00fcber USB \u00fcbertragen wird. Das ist ja in Ordnung, aber warum muss man es dann auf dem Kamerabildschirm deaktivieren? Wie auch immer, wir haben eine wirklich coole L\u00f6sung daf\u00fcr gefunden: Wenn der Benutzer eine Videoaufzeichnung aus der App heraus startet, \u00e4ndern wir schnell eine Einstellung tief im Kameramen\u00fc, die es uns erm\u00f6glicht, Liveview zu starten, indem wir den Ausl\u00f6ser halb dr\u00fccken, und eine Videoaufzeichnung zu starten, indem wir den Ausl\u00f6ser ganz dr\u00fccken. Dann schalten wir das USB-Protokoll aus und ein sekund\u00e4res Protokoll ein (dazu sp\u00e4ter mehr), dr\u00fccken den Ausl\u00f6ser erst halb und dann ganz durch und k\u00f6nnen innerhalb k\u00fcrzester Zeit eine Videoaufzeichnung starten, wobei das Live-View-Bild nun doch auf dem Kamerabildschirm angezeigt wird (und auch \u00fcber HDMI f\u00fcr diejenigen, die einen externen Recorder haben). Wenn wir das Video anhalten, k\u00f6nnen wir die Einstellung schnell wieder auf den vorherigen Zustand zur\u00fccksetzen. Ziemlich cool, oder?<\/p>\r\n
Das sekund\u00e4re Protokoll, das ich erw\u00e4hnt habe, ist eines, das niemand kennt und das wir selbst erarbeitet haben – und es erlaubt fast alle Funktionen \u00fcber den 10-poligen Anschluss, an den das Unleashed N1 und N2 angeschlossen sind. Das bedeutet, dass das Unleashed N1 und N2 auch ohne USB Kabel sehr gut funktioniert und fast alle Funktionen des Unleasehd bietet, mit Ausnahme von allem, was mit Bilddaten zu tun hat. Das bedeutet, dass die Bildbetrachtung, die Galerie und die LRT Autoramping Algorithmen nicht funktionieren, aber alles andere schon.<\/p>\r\n
Auf diese Weise k\u00f6nnen wir euch auch weiterhin die Kontrolle \u00fcber alle Einstellungen geben, w\u00e4hrend wir den USB-Anschluss abschalten, um euch die Aufnahme von Videos zu erm\u00f6glichen. <\/p>\r\n
Ein Nachteil dieses Protokolls ist, dass es dieselben Pins verwendet, die wir f\u00fcr das GPS-Protokoll der Nikon-Kameras ben\u00f6tigen. Wenn es also mit aktiviertem Geotagging verwendet wird, m\u00fcssen wir das Protokoll schnell ausschalten, das GPS einschalten und dann ein Foto machen. Dies f\u00fchrt zu einer leichten Verz\u00f6gerung bei der Ausl\u00f6sung, aber daf\u00fcr gibt es ja die Einstellung „GPS-Priorit\u00e4t“ – wenn du keine Verz\u00f6gerungen w\u00fcnschst, kannst du die Ausl\u00f6spriorit\u00e4t w\u00e4hlen, auf die Gefahr hin, dass einige Fotos ohne GPS-Daten entstehen.<\/p>\r\n
Ein weiterer Vorteil des 10-poligen Anschlusses von Nikon ist, dass wir \u00fcber diese Pins viele Informationen \u00fcber den Zustand der Kamera erhalten. Zum Beispiel, ob die Kamera eingeschaltet ist, ob das Belichtungsmesser gerade l\u00e4uft, und vieles mehr. Diese Infos nutzen wir um viele Stromsparmechanismen zu implementieren! <\/p>\r\n
Eine sehr n\u00fctzliche Information ist auch, wann genau sich der Verschluss \u00f6ffnet und schlie\u00dft. Damit lassen sich mehrere coole Funktionen realisieren. Die einfachste ist „Tippen zum Ausl\u00f6sen“. Zun\u00e4chst haben wir das Dr\u00fccken des Ausl\u00f6sers in der App zu 100 % mit dem Dr\u00fccken des Ausl\u00f6sers an der Kamera \u00fcbersetzt. Als Fotografen sind wir es gewohnt, den Ausl\u00f6ser so lange zu dr\u00fccken, bis wir das Klicken des Verschlusses h\u00f6ren, um dann loszulassen. Aber bei den ersten Benutzertests, die wir durchgef\u00fchrt haben, haben wir festgestellt, dass 100 % aller Tester, egal ob sie eingefleischte Fotografen waren oder nicht, den Ausl\u00f6ser in der App nur kurz antippten und sich wunderten, warum die Kamera kein Foto machte! Denn das ist man ja von Apps gewohnt! Und so haben wir in unserer Firmware eine L\u00f6sung daf\u00fcr implementiert: Wenn wir ein \u201cantippen\u201d erhalten, h\u00e4lt das Unleashed den Ausl\u00f6ser der Kamera genau so lange gedr\u00fcckt, bis es das \u00d6ffnen des Verschlusses erkennt – also bis die Kamera die Aufnahme startet! Dann lassen wir den Ausl\u00f6ser so schnell los, dass die Kamera, selbst wenn sie auf die schnellste Serienaufnahme eingestellt ist, nur eine einzige Aufnahme macht! Wenn du den Ausl\u00f6ser in der App gedr\u00fcckt h\u00e4ltst, dr\u00fcckt das Unleashed den Ausl\u00f6ser der Kamera so lange, bis du ihn losl\u00e4sst, um Serienaufnahmen oder HDR-Bracketing zu machen. <\/p>\r\n
Dies erm\u00f6glicht es uns auch, die absolut k\u00fcrzeste Dunkelzeit bei Zeitrafferaufnahmen zu versprechen! Bei den meisten Intervall-timern wird der Ausl\u00f6ser standardm\u00e4\u00dfig eine oder zwei Sekunden lang ganz gedr\u00fcckt, bei einigen sogar das von Ihnen eingestellte Intervall minus 1 Sekunde. Dies f\u00fchrt zu einer Dunkelzeit von mindestens dieser Zeit, egal wie schnell die Verschlusszeit ist. Mit dem Unleashed ist sie garantiert k\u00fcrzer als die Dunkelzeit der Kamera selbst (w\u00e4hrend sie das Foto macht). Hinzu kommt, dass die meisten Intervall-timer den Ausl\u00f6ser eine halbe Sekunde lang dr\u00fccken, bevor sie ihn ganz durchdr\u00fccken, f\u00fcr den Fall, dass die Kamera fokussieren muss. Dies verl\u00e4ngert die Dunkelzeit um eine weitere Sekunde und f\u00fchrt in den meisten F\u00e4llen dazu, dass man bei l\u00e4ngeren Belichtungszeiten die Bilder gar nicht mehr auf dem Kamerabildschirm betrachten kann. Da das Unleashed die Information hat, ob die Kamera auf Autofokus eingestellt ist oder nicht, k\u00f6nnen wir die Zeit des halben Dr\u00fcckens komplett \u00fcberspringen. Und da man den Autofokus bei Zeitrafferaufnahmen nicht verwenden sollte, warnt die Unleashed App bei der Einrichtung des Zeitraffers sogar davor. Es gibt eine Handvoll F\u00e4lle, in denen wir doch vorab halb-dr\u00fccken, z.B. wenn Geotagging aktiviert ist, und wir alles daf\u00fcr tun, um sicherzustellen, dass die GPS-Daten in jedem einzelnen Foto enthalten sind.<\/p>\r\n
Wir haben \u00e4hnliche Mechanismen bei mehreren anderen Kameramarken, und da wir bei diesen \u00fcber USB ausl\u00f6sen, k\u00f6nnen wir der Kamera oft auch einfach sagen, dass sie ein einzelnes Bild aufnehmen soll, anstatt ihr zu sagen, dass sie den Ausl\u00f6ser halb oder ganz dr\u00fccken soll. Mit anderen Worten, kein Intervallometer auf dem Markt kann eine k\u00fcrzere Dunkelzeit haben als das Unleashed!<\/p>\r\n
Wo wir gerade beim Thema Ausl\u00f6sen sind: Wir haben eine sch\u00f6ne RGB-LED im Unleashed, die Ihnen auf einen Blick zeigt, was im Unleashed passiert. Da eine der vielen St\u00e4rken des Unleashed in der Nachtfotografie liegt, kann selbst eine sehr schwache LED eine Aufnahme komplett ver\u00e4ndern und einen ganzen Raum erhellen! Aus diesem Grund schaltet das Unleashed die LED automatisch f\u00fcr die gesamte Dauer der Aufnahme ab. Selbst wenn man an der Kamera selbst ausl\u00f6st (bei den meisten Kameras), schalten wir die LED aus. Das sind die Art von Details, die du in Produkten, die nicht von oder zumindest mit Fotografen entwickelt wurden, nie sehen wirst. Und apropos LED: Im Leerlauf pulsiert die LED des Unleashed langsam in Farben, die den Verbindungsstatus anzeigen. Wir haben verschiedene Pulsiermuster getestet, und die meisten sahen einfach falsch aus. Das bei weitem nat\u00fcrlichste Muster war eine Sinus-Kurve. Weisst du noch, dass wir sagten, wir h\u00e4tten nur begrenzte Hardware-Ressourcen? Genau. Trigonometrische Funktionen basieren immer auf Flie\u00dfkommazahlen und ben\u00f6tigen eine Menge Ressourcen. Sowohl im Speicher, um die komplexen Funktionen zu speichern, als auch in der Ausf\u00fchrungszeit, da die Arbeit mit Flie\u00dfkommazahlen allein schon „teuer“ ist und die Trigonometrie noch viel mehr. Stattdessen durchforsteten wir akademische Paper zu diesem Thema und fanden eine sehr, sehr gute Ann\u00e4herung – die Sinus-approximierung von Bhaskara I. <\/p>\r\n
Das haben wir dann mit Integer-Logik implementiert, was es extrem effizient und genauso sch\u00f6n wie eine echte Sinuskurve macht. Ziemlich cool, oder?<\/p>\r\n
Es gibt so viele solcher Details in unserer Firmware und unseren Anwendungen, dass es Tage dauern w\u00fcrde, sie alle aufzuschreiben!<\/p>\r\n
Es gibt einen sehr besonderen Teil unserer Firmware, den ich nicht unerw\u00e4hnt lassen kann. Unser Bilddecoder. Ich wei\u00df nicht, ob jemand von Ihnen eine Vorstellung davon hat, welche Ressourcen f\u00fcr die Arbeit mit Bildern erforderlich sind. Es ist eine ganze Menge. Normalerweise wird das gesamte Bild in den Arbeitsspeicher geladen, dann wird es vollst\u00e4ndig in den Arbeitsspeicher dekodiert, dann werden Berechnungen durchgef\u00fchrt, und alles wird wieder verworfen. Bei JPEG-Bildern, die leicht 20 Megabyte gro\u00df werden und deren dekodierte Version oft \u00fcber 100 MB gro\u00df ist, k\u00f6nnte man meinen, dass dies eine unm\u00f6gliche Aufgabe f\u00fcr unser kleines Unleashed mit seinen 128 KB RAM ist. Und ja, mit herk\u00f6mmlichen Methoden w\u00e4re es das auch. Deshalb haben wir von Grund auf einen Bilddecoder geschrieben, der JPEG-Bilder dekodieren kann, nur 500 Byte RAM ben\u00f6tigt und Bilddaten in Paketen von jeweils nur 1 Byte verarbeiten kann. Und das alles bei einer Leistung, die auch bei relativ langsamen Verarbeitungsgeschwindigkeiten ausreicht! Das bedeutet, dass wir die Bilddaten nicht speichern m\u00fcssen, sondern ein Datenpaket verarbeiten, unsere Berechnungen durchf\u00fchren und es dann wegwerfen k\u00f6nnen. Wir berechnen und speichern die Histogrammdaten und verwenden sie dann, um die bildbasierten Algorithmen f\u00fcr die automatische Belichtungskorrektur bei Zeitraffern durchzuf\u00fchren. Und das geschieht einmal pro Intervall. W\u00e4hrend wir dabei waren, haben wir auch einen Parser f\u00fcr EXIF-Daten geschrieben, so dass wir einige wertvolle Informationen \u00fcber jedes Bild in den ersten paar Bytes eines Bildes erhalten, zu den wirklich interessanten Teilen springen und nur diese Teile dann dekodieren m\u00fcssen, anstatt alles zu dekodieren und nur das zu behalten, was uns interessiert. Auf diese Weise k\u00f6nnen wir auch die hochaufl\u00f6senden Vorschaubilder \u00fcbertragen, ohne die Originale \u00fcbertragen zu m\u00fcssen! <\/p>\r\n
Bei den meisten Kameras werden bei der \u00dcbertragung einer hochaufl\u00f6senden Vorschau die EXIF-Daten des Originals mit den Bilddaten der Vorschaubilder zusammengef\u00fchrt, wobei nat\u00fcrlich Dinge wie die X- und Y-Aufl\u00f6sung im laufenden Betrieb ersetzt werden. Das macht diese Vorschaubilder noch wertvoller, da sie immer noch alle Metadaten, wie z. B. Geotags, enthalten. Wenn du also die Vorschaubilder in dein iPhones speicherst, kannst dudie Fotos Ihrer Kamera in dem wirklich coolen Album „Orte“ sehen, in dem man alle Fotos auf einer Kartenoberfl\u00e4che suchen und finden kann. <\/p>\r\n
Wir haben viel an unserem Bilddecoder gearbeitet und sogar eine sehr effiziente Transkodierung von jpeg-Bildern implementiert, um deren Gr\u00f6\u00dfe im w\u00e4hrend der \u00fcbertragung drastisch zu reduzieren. Wir hatten gehofft, die Gr\u00f6\u00dfe der Liveview-Frames reduzieren zu k\u00f6nnen, um eine vern\u00fcnftige Liveview \u00fcber die geringe Bandbreite von Bluetooth Low Energy anbieten zu k\u00f6nnen. Aber leider stie\u00dfen wir nach der Implementierung all dessen auf andere Engp\u00e4sse, die es uns unm\u00f6glich machten, diese Funktion zu ver\u00f6ffentlichen. <\/p>\r\n
Du hast wahrscheinlich auf unserer Kampagnenseite gelesen, dass das Unleashed nicht nur ein weiteres Produkt ist, sondern unser Baby! Vielleicht verstehst du jetzt ein bisschen besser, was wir damit gemeint haben. Wir lieben das Unleashed und wir geben alles, um es zu dem coolsten Kamerazubeh\u00f6r zu machen, von dem wir pers\u00f6nlich immer getr\u00e4umt haben! <\/p>\r\n
Gru\u00df aus Berlin.<\/p>\r\n\r\n