Inhaltsverzeichnis
01 Kamerafunktionen – Belichtung und Auslesen " >01 Kamerafunktionen – Belichtung und Auslesen
02 Bildaufnahme: Triggermodus (externer Eingang) " >02 Bildaufnahme: Triggermodus (externer Eingang)
03 Triggerausgang" >03 Triggerausgang
Heim Technologie-Peripheriegeräte KI In einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung

In einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung

May 18, 2023 pm 03:47 PM
技术 雷达

01 Kamerafunktionen – Belichtung und Auslesen

Die Kamera, die ein Bild aufnimmt, ist in zwei Phasen unterteilt: Belichtung und Auslesen. Abhängig vom von der Kamera verwendeten Sensor ist auch das überlappende Verhältnis zwischen Belichtungszeit und Auslesezeit der Kamera unterschiedlich, das in überlappende Belichtung und nicht überlappende Belichtung unterteilt werden kann.

Im Vergleich zur nicht überlappenden Belichtung kann die überlappende Belichtung den Einfluss der Belichtungszeit auf die Zeichenzeit verringern.

Umgeschriebener Satz: Nachdem die Belichtung und das Auslesen des aktuellen Bildes abgeschlossen sind, werden die Belichtung und das Auslesen des nächsten Bildes durchgeführt. Dies ist eine nicht überlappende Belichtung. Die nicht überlappende Belichtungsbildperiode ist größer als die Summe aus Belichtungszeit und Bildauslesezeit.

In einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung

Innerer Triggermodus, nicht überlappende Belichtung

Überlappende Belichtung bedeutet, dass sich die Belichtung des aktuellen Bildes teilweise mit dem Auslesevorgang des vorherigen Bildes, also des nächsten Bildes, überschneidet Die Belichtung hat begonnen, während das Auslesen des vorherigen Bildes noch läuft. Die überlappende Belichtungsbildperiode ist kleiner oder gleich der Summe aus Belichtungszeit und Bildauslesezeit.

In einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung

Innerer Triggermodus mit überlappender Belichtung

Ja! Der Zweck des vorherigen Absatzes besteht darin, Ihnen zu sagen: Seien Sie nicht überrascht, wenn sich die Belichtungszeit des aktuellen Bildes mit der Auslesezeit des vorherigen Bildes in der folgenden Beschreibung überschneidet.

02 Bildaufnahme: Triggermodus (externer Eingang)

Der Triggermodus der Kamera ist in zwei Typen unterteilt: interner Triggermodus und externer Triggermodus.

Interner Triggermodus: Die Kamera sammelt Bilder über das im Gerät bereitgestellte Signal.

Externer Triggermodus: Die Kamera sammelt Bilder durch externe Signale. Soft-Trigger und Hardware-Trigger sind die beiden Hauptformen externer Signale. Externe Signale können entweder Software-Signale oder Hardware-Signale sein. Der externe Triggermodus ist wie in der Abbildung dargestellt:

In einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung

Externer Triggermodus

Softtrigger: Das Triggersignal wird von der Software gesendet (Sie können auch die von der Kamera bereitgestellte API-Schnittstelle verwenden SDK für Soft-Trigger).

Bei Verwendung von Hardware-Trigger verbindet sich die Kamera über ihre I/O-Schnittstelle mit dem externen Gerät und empfängt das Triggerimpulssignal vom externen Gerät, um Bilder zu sammeln. Tatsächlich liest und schreibt es direkt die internen Register der Kamera. Das Bild unten ist das 6-polige Kabel des Stroms der Hikvision-Kamera:

In einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung

In einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung

In einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung

Hikvision-Kamera Strom und IO-Schnittstelle (6-polige Hirose )

Unter diesen verfügt die Hikvision-Kamera über 1 optokopplerisolierten Eingang Line0+ und 1 konfigurierbaren Ein- und Ausgang Line2+, von denen einer als Eingangssignal ausgewählt werden kann.

03 Triggerausgang

Das Triggerausgangssignal der Kamera ist ein Schaltsignal, das zur Steuerung externer Geräte wie Alarmleuchten, Lichtquellen und SPS verwendet werden kann. Das Trigger-Ausgangssignal kann über das Strobe-Signal realisiert werden.

Wenn die Kamera belichtet wird, erzeugt sie sofort ein hochwirksames Strobe-Signal. Im Folgenden verwenden wir dieses Signal hauptsächlich, um eine harte Triggerung auf andere Sensoren wie Lidar durchzuführen. Es gibt ein Konzept der Strobe-Vorausgabe. Das Strobe-Signal wird früher als die Belichtung wirksam. Sein Funktionsprinzip besteht darin, die Belichtung zu verzögern und zuerst die Strobe-Ausgabe durchzuführen. Diese Funktion kann auf externe Geräte angewendet werden, die langsam reagieren. Das Timing der Strobe-Vorausgabe ist in der Abbildung dargestellt. (Ich werde später darüber sprechen, warum eine verzögerte Belichtung erforderlich ist).

In einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung

Strobe-Signal-Vorausgabe-Timing

Jetzt kommen wir zurück zum Thema, jetzt wird es schnell gehen.

Es gibt drei Hauptmethoden zum Synchronisieren von Kamera- und Lidar-Zeitstempeln: Hard-Trigger, Soft-Trigger und Soft-Trigger plus einen Hard-Trigger. Im Folgenden stelle ich sie einzeln in Form eines handgezeichneten schematischen Diagramms vor.

Lassen Sie uns zunächst über das harte Triggern sprechen. Eine MCU erzeugt Impulssignale, um drei Sensorgeräte hart auszulösen.

In einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung

Für Soft-Trigger + Hard-Trigger können Sie zunächst die API des Kamera-SDK verwenden, um eine Kamera sanft auszulösen, und dann das externe Triggersignal Strobe der Kamera verwenden, um einen Hard-Trigger auf anderen Sensoren wie Radar durchzuführen und Kameras.

In einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung

Hier gibt es ein Problem, das beachtet werden muss: Wenn die erste Kamera, die weich ausgelöst wird, gleichzeitig mit der Belichtung ein Strobe-Signal aussendet, werden es die anderen Sensoren, die hart ausgelöst werden, immer tun einen Schritt zu spät und kann nicht vollständig synchronisiert werden. Daher wird das zuvor vorgeschlagene Konzept des Vor-Ausgabe-Strobes eingeführt, das heißt, die Strobe-Ausgabe erfolgt vor der verzögerten Belichtung.

Achten Sie bei der Konfiguration dieses Modus auf vier Punkte:

  1. Auslösemethode für steigende Flanke oder fallende Flanke;
  2. Effektive Pegelbreite, Pegelamplitude, Sie müssen die niedrigste Amplitude kennen, die Lidar auslösen kann;
  3. Strobe-Vorausgabe ;
  4. Ob die Pegelsignale auf beiden Seiten gleich sind, ob 3V oder 5V verstärkt werden müssen;

Lassen Sie uns abschließend noch über den Soft-Trigger sprechen, der nicht empfohlen wird.

Der erste Aufruf der API-Operation ist offensichtlich langsamer als der harte Trigger (direkte Lese- und Schreibvorgänge auf dem internen Register des Sensors API(1) haben bereits einige Zeit gedauert, bevor der zweite Befehl API(2) ausgeführt wurde.

<code>//读取lidar和image数据的线程1while(1){API(1); //软触发第一个sensorAPI(2); //软触发第二个sensor//假设脉冲周期为0.5s}//处理数据线程2for(i=0;i<nimage gettickcount t1 gettickfrequency></nimage></code>
Nach dem Login kopieren

Wenn die zum Verarbeiten eines einzelnen Datenrahmens erforderliche Zeit 0,5 Sekunden überschreitet, liest Thread 1 den nächsten Datenrahmen, was dazu führt, dass die Daten von Thread 2 durcheinander geraten. Thread 2 muss die Verarbeitung eines einzelnen Frames innerhalb von 0,5 Sekunden abschließen und nach jedem Frame warten (1/fps – aktuelle Frame-Verarbeitungszeit).

Das obige ist der detaillierte Inhalt vonIn einem Artikel geht es um das Problem der Zeitstempelsynchronisierung bei der Lidar- und Kamerakalibrierung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Das Stable Diffusion 3-Papier wird endlich veröffentlicht und die architektonischen Details werden enthüllt. Wird es helfen, Sora zu reproduzieren? Das Stable Diffusion 3-Papier wird endlich veröffentlicht und die architektonischen Details werden enthüllt. Wird es helfen, Sora zu reproduzieren? Mar 06, 2024 pm 05:34 PM

Der Artikel von StableDiffusion3 ist endlich da! Dieses Modell wurde vor zwei Wochen veröffentlicht und verwendet die gleiche DiT-Architektur (DiffusionTransformer) wie Sora. Nach seiner Veröffentlichung sorgte es für großes Aufsehen. Im Vergleich zur Vorgängerversion wurde die Qualität der von StableDiffusion3 generierten Bilder erheblich verbessert. Es unterstützt jetzt Eingabeaufforderungen mit mehreren Themen, und der Textschreibeffekt wurde ebenfalls verbessert, und es werden keine verstümmelten Zeichen mehr angezeigt. StabilityAI wies darauf hin, dass es sich bei StableDiffusion3 um eine Reihe von Modellen mit Parametergrößen von 800 M bis 8 B handelt. Durch diesen Parameterbereich kann das Modell direkt auf vielen tragbaren Geräten ausgeführt werden, wodurch der Einsatz von KI deutlich reduziert wird

Beherrschen Sie die Koordinatensystemkonvertierung wirklich? Multisensorik-Themen, die für das autonome Fahren unverzichtbar sind Beherrschen Sie die Koordinatensystemkonvertierung wirklich? Multisensorik-Themen, die für das autonome Fahren unverzichtbar sind Oct 12, 2023 am 11:21 AM

Der erste Pilot- und Schlüsselartikel stellt hauptsächlich mehrere häufig verwendete Koordinatensysteme in der autonomen Fahrtechnologie vor und erläutert, wie die Korrelation und Konvertierung zwischen ihnen abgeschlossen und schließlich ein einheitliches Umgebungsmodell erstellt werden kann. Der Schwerpunkt liegt hier auf dem Verständnis der Umrechnung vom Fahrzeug in den starren Kamerakörper (externe Parameter), der Kamera-in-Bild-Konvertierung (interne Parameter) und der Bild-in-Pixel-Einheitenkonvertierung. Die Konvertierung von 3D in 2D führt zu entsprechenden Verzerrungen, Verschiebungen usw. Wichtige Punkte: Das Fahrzeugkoordinatensystem und das Kamerakörperkoordinatensystem müssen neu geschrieben werden: Das Ebenenkoordinatensystem und das Pixelkoordinatensystem. Schwierigkeit: Sowohl die Entzerrung als auch die Verzerrungsaddition müssen auf der Bildebene kompensiert werden. 2. Einführung Insgesamt gibt es vier visuelle Systeme Koordinatensystem: Pixelebenenkoordinatensystem (u, v), Bildkoordinatensystem (x, y), Kamerakoordinatensystem () und Weltkoordinatensystem (). Es gibt eine Beziehung zwischen jedem Koordinatensystem,

Dieser Artikel reicht aus, um etwas über autonomes Fahren und Flugbahnvorhersage zu lesen! Dieser Artikel reicht aus, um etwas über autonomes Fahren und Flugbahnvorhersage zu lesen! Feb 28, 2024 pm 07:20 PM

Die Trajektorienvorhersage spielt eine wichtige Rolle beim autonomen Fahren. Unter autonomer Fahrtrajektorienvorhersage versteht man die Vorhersage der zukünftigen Fahrtrajektorie des Fahrzeugs durch die Analyse verschiedener Daten während des Fahrvorgangs. Als Kernmodul des autonomen Fahrens ist die Qualität der Trajektorienvorhersage von entscheidender Bedeutung für die nachgelagerte Planungssteuerung. Die Trajektorienvorhersageaufgabe verfügt über einen umfangreichen Technologie-Stack und erfordert Vertrautheit mit der dynamischen/statischen Wahrnehmung des autonomen Fahrens, hochpräzisen Karten, Fahrspurlinien, Fähigkeiten in der neuronalen Netzwerkarchitektur (CNN&GNN&Transformer) usw. Der Einstieg ist sehr schwierig! Viele Fans hoffen, so schnell wie möglich mit der Flugbahnvorhersage beginnen zu können und Fallstricke zu vermeiden. Heute werde ich eine Bestandsaufnahme einiger häufiger Probleme und einführender Lernmethoden für die Flugbahnvorhersage machen! Einführungsbezogenes Wissen 1. Sind die Vorschaupapiere in Ordnung? A: Schauen Sie sich zuerst die Umfrage an, S

DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! Mar 21, 2024 pm 05:21 PM

In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.

Das erste Weltmodell zur Erzeugung autonomer Fahrszenen mit mehreren Ansichten | DrivingDiffusion: Neue Ideen für BEV-Daten und Simulation Das erste Weltmodell zur Erzeugung autonomer Fahrszenen mit mehreren Ansichten | DrivingDiffusion: Neue Ideen für BEV-Daten und Simulation Oct 23, 2023 am 11:13 AM

Einige persönliche Gedanken des Autors Im Bereich des autonomen Fahrens sind mit der Entwicklung BEV-basierter Teilaufgaben/End-to-End-Lösungen hochwertige Multi-View-Trainingsdaten und der entsprechende Aufbau von Simulationsszenen immer wichtiger geworden. Als Reaktion auf die Schwachstellen aktueller Aufgaben kann „hohe Qualität“ in drei Aspekte zerlegt werden: Long-Tail-Szenarien in verschiedenen Dimensionen: z. B. Nahbereichsfahrzeuge in Hindernisdaten und präzise Kurswinkel beim Schneiden von Autos sowie Spurliniendaten . Szenen wie Kurven mit unterschiedlichen Krümmungen oder Rampen/Zusammenführungen/Zusammenführungen, die schwer zu erfassen sind. Diese basieren häufig auf der Sammlung großer Datenmengen und komplexen Data-Mining-Strategien, die kostspielig sind. Echter 3D-Wert – hochkonsistentes Bild: Die aktuelle BEV-Datenerfassung wird häufig durch Fehler bei der Sensorinstallation/-kalibrierung, hochpräzisen Karten und dem Rekonstruktionsalgorithmus selbst beeinträchtigt. das hat mich dazu geführt

4K-HD-Bilder ganz einfach verstehen! Dieses große multimodale Modell analysiert automatisch den Inhalt von Webplakaten und ist damit für Mitarbeiter sehr praktisch. 4K-HD-Bilder ganz einfach verstehen! Dieses große multimodale Modell analysiert automatisch den Inhalt von Webplakaten und ist damit für Mitarbeiter sehr praktisch. Apr 23, 2024 am 08:04 AM

Ein großes Modell, das den Inhalt von PDFs, Webseiten, Postern und Excel-Diagrammen automatisch analysieren kann, ist für Mitarbeiter nicht besonders praktisch. Das von Shanghai AILab, der Chinesischen Universität Hongkong und anderen Forschungseinrichtungen vorgeschlagene Modell InternLM-XComposer2-4KHD (abgekürzt IXC2-4KHD) macht dies Wirklichkeit. Im Vergleich zu anderen multimodalen großen Modellen, deren Auflösungsgrenze nicht mehr als 1500 x 1500 beträgt, erhöht diese Arbeit das maximale Eingabebild multimodaler großer Modelle auf eine Auflösung von über 4K (3840 x 1600) und unterstützt jedes Seitenverhältnis und 336 Pixel bis 4K Dynamische Auflösungsänderungen. Drei Tage nach seiner Veröffentlichung stand das Modell an der Spitze der Beliebtheitsliste der visuellen Frage-Antwort-Modelle von HuggingFace. Einfach zu bedienen

GSLAM |. Eine allgemeine SLAM-Architektur und ein Benchmark GSLAM |. Eine allgemeine SLAM-Architektur und ein Benchmark Oct 20, 2023 am 11:37 AM

Plötzlich wurde ein 19 Jahre altes Papier namens GSLAM: A General SLAM Framework and Benchmark mit offenem Quellcode entdeckt: https://github.com/zdzhaoyong/GSLAM Gehen Sie direkt zum Volltext und spüren Sie die Qualität dieser Arbeit~1 Zusammenfassung der SLAM-Technologie hat in letzter Zeit viele Erfolge erzielt und die Aufmerksamkeit vieler High-Tech-Unternehmen auf sich gezogen. Es bleibt jedoch eine Frage, wie eine Schnittstelle zu bestehenden oder neuen Algorithmen hergestellt werden kann, um ein Benchmarking hinsichtlich Geschwindigkeit, Robustheit und Portabilität effizient durchzuführen. In diesem Artikel wird eine neue SLAM-Plattform namens GSLAM vorgeschlagen, die nicht nur Evaluierungsfunktionen bietet, sondern Forschern auch eine nützliche Möglichkeit bietet, schnell ihre eigenen SLAM-Systeme zu entwickeln.

„Minecraft' verwandelt sich in eine KI-Stadt und NPC-Bewohner spielen Rollenspiele wie echte Menschen „Minecraft' verwandelt sich in eine KI-Stadt und NPC-Bewohner spielen Rollenspiele wie echte Menschen Jan 02, 2024 pm 06:25 PM

Bitte beachten Sie, dass dieser kantige Mann die Stirn runzelt und über die Identität der „ungebetenen Gäste“ vor ihm nachdenkt. Es stellte sich heraus, dass sie sich in einer gefährlichen Situation befand, und als ihr dies klar wurde, begann sie schnell mit der mentalen Suche nach einer Strategie zur Lösung des Problems. Letztendlich entschloss sie sich, vom Unfallort zu fliehen, dann so schnell wie möglich Hilfe zu suchen und sofort Maßnahmen zu ergreifen. Gleichzeitig dachte die Person auf der Gegenseite das Gleiche wie sie... In „Minecraft“ gab es eine solche Szene, in der alle Charaktere von künstlicher Intelligenz gesteuert wurden. Jeder von ihnen hat eine einzigartige Identität. Das zuvor erwähnte Mädchen ist beispielsweise eine 17-jährige, aber kluge und mutige Kurierin. Sie haben die Fähigkeit, sich zu erinnern und zu denken und in dieser kleinen Stadt in Minecraft wie Menschen zu leben. Was sie antreibt, ist ein brandneues,

See all articles