دوربین‌های مبتنی بر رخداد و حسگرهای بینایی نورومورفیک
دوربین‌های مبتنی بر رخداد امروزه با شبیه‌سازی شبکیه چشم انسان، ثبت فریم‌های سنتی را منسوخ کرده و عینک‌های هوشمند را به بینایی فوق‌سریع و کم‌مصرف مجهز ساخته‌اند.
- تحلیل موشکافانه گذار گجت‌های پوشیدنی، عینک‌های واقعیت افزوده (AR) و پهپادهای هوشمند دوران کنونی به دوربین‌های مبتنی بر رخداد (Event-Based Cameras) و حسگرهای بینایی نورومورفیک؛ بررسی مکانیسم فیزیکی فوتودیودهای تفاضلی، حذف کامل تاری حرکت (Motion Blur)، دستیابی به نرخ نمونه‌برداری معادل ده‌ها هزار فریم در ثانیه با مصرف توان میکروواتی و همگرایی سخت‌افزاری با شبکه‌های عصبی ضربه‌ای (Spiking Neural Networks).
- بررسی جامع ابعاد فنی و کاربردی توسط تحریریه ماگ بیت.
- پیش‌بینی اثرات کوتاه‌مدت و بلندمدت بر اکوسیستم فناوری.
پارادوکس فریم؛ چرا سنسورهای سنتی CMOS برای گجت‌های پوشیدنی بن‌بست هستند؟
بیش از یک قرن است که تصویربرداری دیجیتال بر مفهوم «فریم» (Frame) استوار بوده است. در یک سنسور سنتی CMOS، فرقی نمی‌کند که یک فنجان قهوه ثابت روی میز باشد یا یک گلوله پرسرعت در هوا حرکت کند؛ تمام میلیون‌ها پیکسل سنسور با نرخی ثابت (مثلاً ۳۰ یا ۶۰ بار در ثانیه) خوانده می‌شوند. این فرآیند مکانیکی حجم عظیمی از داده‌های زائد تکراری تولید کرده، پردازنده گرافیکی را داغ می‌کند و باتری نحیف گجت‌های پوشیدنی و ساعت‌های هوشمند را در عرض چند ساعت تخلیه می‌نماید.
علاوه بر این، در محیط‌های پرتحرک با تغییرات شدید نور (مانند خروج ناگهانی از یک تونل تاریک به آفتاب شدید)، سنسورهای معمولی یا دچار اوراکسپوژر شدید (سفید شدن تصویر) می‌شوند یا به دلیل سرعت پایین شاتر، پدیده تارشدگی شدید حرکتی (Motion Blur) را ثبت می‌کنند.
امروزه همگرایی بینایی ماشین با حسگرهای کوانتومی الماس و بیوسنسورهای پوشیدنی نشان داد که نجات گجت‌های نسل بعد در گرو الهام از طبیعت است. چشم انسان هرگز جهان را به صورت فریم‌های گسسته ۳۰ هرتزی ثبت نمی‌کند؛ شبکیه زیستی ما تنها فوتون‌هایی را به مغز مخابره می‌کند که حامل «تغییر» باشند.
فیزیک دوربین‌های رویدادمحور؛ ردیابی فوتون‌ها در مقیاس میکروثانیه
در دوربین‌های مبتنی بر رخداد (Event-Based Cameras یا DVS)، هر پیکسل مجهز به یک مدار آنالوگ تفاضلی خودتنظیم است. به محض آنکه لگاریتم شدت نور دریافتی در یک پیکسل به اندازه یک آستانه مشخص (مثلاً ۱۰ درصد) تغییر کند، آن پیکسل یک سیگنال دیجیتال موسوم به «رویداد» (Event Tuple) تولید می‌کند: `(x, y, t, p)` که شامل مختصات پیکسل، برچسب زمانی با دقت میکروثانیه (t) و قطبیت تغییر نور (p که نشان‌دهنده افزایش یا کاهش روشنایی است).
اگر صحنه روبروی کاربر کاملاً بی‌حرکت باشد، هیچ دیتایی تولید و ارسال نمی‌شود؛ در نتیجه مصرف توان سنسور به ارقام حیرت‌انگیز کمتر از ۵ میلی‌وات سقوط می‌کند. اما اگر جسمی با سرعت صوت از برابر دوربین عبور کند، پیکسل‌ها بلافاصله به صورت ناهمزمان (Asynchronous) شروع به ارسال رگباری رویدادها می‌کنند که معادل نرخ تصویربرداری بیش از ۱۰ هزار فریم در ثانیه بدون کوچک‌ترین تاری تصویر است.
دومین برتری بنیادین، دستیابی به دامنه دینامیکی (Dynamic Range) شگفت‌انگیز فراتر از ۱۴۰ دسی‌بل (در مقایسه با ۶۰ الی ۷۰ دسی‌بل در سنسورهای مرسوم موبایل) است. این حسگرها همزمان می‌توانند جزئیات چهره فردی را که جلوی نور خورشید ایستاده همراه با متن‌های تاریک درون سایه بدون هیچ اشباع نوری ثبت نمایند.
پایپ‌لاین سخت‌افزاری؛ پیوند سنسورهای رخداد با تراشه‌های نورومورفیک اسپایکی (SNN)
چالش اصلی در استفاده از دوربین‌های رویدادمحور، پردازش جریان‌های ناهمزمان داده است. پردازنده‌های متداول فون نویمان برای پردازش ماتریس‌های منظم دوبعدی طراحی شده‌اند و هجوم میلیون‌ها رویداد نامنظم بلادرنگ می‌تواند آنها را قفل کند.
امروزه این گره کور با ادغام سنسورهای تصویربرداری با تراشه‌های نورومورفیک مبتنی بر شبکه‌های عصبی ضربه‌ای (Spiking Neural Networks یا SNN) گشوده شده است. سیگنال‌های تولیدی پیکسل‌ها مستقیماً به عنوان اسپایک‌های عصبی به نورون‌های سیلیکونی تزریق می‌شوند و محاسبات بدون نیاز به تبدیل به فریم‌های متوالی، در همان لایه سخت‌افزار اجرا می‌گردد.
این نوآوری با دستاوردهای مقیاس‌پذیری زمان استنتاج و مدل‌های استدلال عمیق هماهنگ است و به گجت‌های هوشمند امکان می‌دهد ردگیری فوق‌سریع مردمک چشم (Eye Tracking)، نقشه‌برداری همزمان محیطی (SLAM) و تشخیص موانع را با بودجه انرژی کمتر از ۵۰ میلی‌وات روی عینک‌های سبک اجرا کنند.
کاربردهای تحول‌آفرین در عینک‌های واقعیت افزوده و ردیابی حرکتی فوق‌سریع
تجاری‌سازی این سنسورها امروزه چهره گجت‌های مصرفی را متحول کرده است:
۱. عینک‌های واقعیت افزوده شیک و سبک: تا پیش از این، هدست‌های واقعیت ترکیبی نیازمند باتری‌های حجیم و فن‌های خنک‌کننده بودند. سنسورهای رخدادمحور جدید به سازندگان امکان داده‌اند فریم عینک‌هایی با وزن زیر ۵۰ گرم تولید کنند که ردگیری چشم و حرکات دست را بدون هرگونه تاخیر بصری انجام می‌دهند.
۲. تلفیق با ناوبری حرکتی و روباتیک خودرویی: همان‌طور که در واکاوی رادارهای نوری حالت جامد و مدل‌های بینایی-حرکتی تشریح شد، ترکیب دوربین‌های رخدادمحور با سنسورهای لایدار، بینایی بی‌نقصی را حتی در هوای مه‌آلود، بارش شدید باران و شرایط کورکننده نور روبرو پدید آورده است.
۳. نظارت بیومتریک و پایش ارگونومیک: استفاده از این حسگرها در محیط‌های زندگی و بیوسنسورهای پوشیدنی میکرونیدل و پایش متابولیک مداوم امکان بررسی انقباضات عضلانی، ریزحرکات صورت و علائم استرس را بدون نیاز به فیلم‌برداری تهاجمی فراهم می‌سازد.
ابزارهای نرم‌افزاری و کیت‌های توسعه دوربین‌های رخداد امروزه
برای مهندسان گجت و توسعه‌دهندگان امبدد، کیت‌های سخت‌افزاری و نرم‌افزاری پیشرفته‌ای در دسترس قرار گرفته است:
• کتابخانه Metavision SDK 5: فریم‌ورک استاندارد صنعتی برای فیلترینگ نویز، بازسازی جریان نوری (Optical Flow) و کالیبراسیون هندسی پیکسل‌های ناهمزمان.
• پلتفرم Tonic-Spike: کیت توسعه تخصصی مبتنی بر پایتورچ برای تبدیل داده‌های رویداد به تانسورهای عصبی اسپایکی و آموزش مدل‌های طبقه‌بندی با دقت بالای ۹۹ درصد.
• شبیه‌ساز v2e Simulator: ابزاری ضروری که ویدیوهای سنتی را به جریان‌های سنتز‌شده رویداد تبدیل کرده و فرآیند تست الگوریتم‌ها را پیش از استقرار روی سخت‌افزار تسریع می‌بخشد.
تحریریه ماگ بیت نتیجه می‌گیرد که دوربین‌های مبتنی بر رخداد، جهشی ژنتیکی در دنیای حسگرها هستند که پایان سلطه فریم‌های ناکارآمد سنتی و آغاز بینایی هوشمند پایدار را نوید می‌دهند.
بیشتر از گجت
