راهنمای جامع ساخت دستیار صوتی آفلاین با ESP۳۲-S۳: از کالبدشکافی سخت‌افزار تا اجرای هوش مصنوعی محلی

ESP۳۲-S۳ از آن دسته میکروکنترلرهایی است که وقتی اولین بار مشخصات فنی‌اش را می‌خوانی، فکر می‌کنی شاید یک صفر اضافه چاپ شده. دو هسته Xtensa ۲۴۰ مگاهرتز، ۵۱۲ کیلوبایت SRAM، پردازشگر بردار (Vector Extension) برای عملیات AI، و قیمتی حدود ۲ تا ۴ دلار. حالا تصور کن همه این قدرت را بتوانی صرف اجرای یک دستیار صوتی آفلاین کنی—بدون وابستگی به اینترنت، بدون ارسال داده به ابر، و بدون نگرانی از latency شبکه.

اما واقعیت این است که ساختن چنین سیستمی فقط یک بازی وصل کردن سیم و آپلود کد نیست. باید با محدودیت‌های حافظه کلنجار بروی، مدل‌های یادگیری ماشین را به اندازه چند صد کیلوبایت فشرده کنی، و از هر بایت SRAM به بهترین نحو استفاده کنی. این راهنما می‌خواهد دقیقاً همین مسیر را با تو طی کند—از انتخاب درست بورد و میکروفن تا کوانتیزه کردن مدل‌ها و optimize کردن inference.

چرا ESP۳۲-S۳ برای دستیار صوتی آفلاین؟

معماری سخت‌افزاری: قدرتی بیش از یک میکروکنترلر معمولی

ESP۳۲-S۳ با دو هسته Xtensa LX۷ و فرکانس تا ۲۴۰ مگاهرتز، فقط یک نسخه بهبودیافته ESP۳۲ نیست. نکته اصلی اضافه شدن Vector Instructions است—یک سری دستورالعمل SIMD که برای پردازش سیگنال دیجیتال و عملیات ماتریسی طراحی شده‌اند. این همان چیزی است که TensorFlow Lite for Microcontrollers از آن استفاده می‌کند تا inference را تا ۱۵ برابر سریع‌تر کند.

حافظه داخلی ۵۱۲ کیلوبایت SRAM به تنهایی برای اجرای مدل‌های کوچک کافی است، اما نکته مهم این است که می‌توانی تا ۳۲ مگابایت PSRAM خارجی اضافه کنی. این PSRAM با Quad SPI به تراشه متصل می‌شود و سرعت دسترسی آن حدود ۸۰ مگاهرتز است—کمتر از SRAM داخلی، اما برای ذخیره مدل‌های بزرگ‌تر یا بافرهای صوتی عالی کار می‌کند.

پردازشگر I۲S نیز نقطه قوت ESP۳۲-S۳ است. می‌توانی مستقیماً به میکروفن‌های MEMS دیجیتال مثل INMP۴۴۱ یا SPH۰۶۴۵ متصل شوی و استریم صوتی با کیفیت ۱۶ بیت و sample rate تا ۴۸ کیلوهرتز دریافت کنی—بدون نیاز به ADC خارجی یا مدار تقویت‌کننده اضافی.

مقایسه با آلترناتیوها: STM۳۲، Raspberry Pi Pico، و Nordic nRF

* سرعت Inference برای یک مدل speech recognition کوانتیزه‌شده ۱۳-MFCC × ۴۹-frame سنجیده شده.

کالبدشکافی سخت‌افزار: انتخاب قطعات درست

بورد توسعه: ESP۳۲-S۳-DevKitC-۱ در مقابل ماژول‌های شخص‌ثالث

بورد رسمی Espressif (ESP۳۲-S۳-DevKitC-۱) با دو ورژن ارائه می‌شود:

• N۸R۲: ۸ مگابایت فلش، ۲ مگابایت PSRAM
• N۸R۸: ۸ مگابایت فلش، ۸ مگابایت PSRAM

گزینه‌های دیگر مثل LilyGO T-Display-S۳ یا Adafruit ESP۳۲-S۳ Feather نیز خوب هستند، اما مراقب باش که بعضی از آن‌ها PSRAM کمتر یا اصلاً ندارند. همیشه قبل از خرید datasheet را چک کن.

انتخاب میکروفن: MEMS دیجیتال یا الکترت آنالوگ؟

تغذیه و مدیریت انرژی

ESP۳۲-S۳ در حالت active با هر دو هسته و WiFi روشن حدود ۱۵۰ میلی‌آمپر جریان می‌کشد. اگر فقط از USB تغذیه کنی، مشکلی نیست. اما برای پروژه‌های باتری‌دار باید از Light Sleep یا Deep Sleep استفاده کنی.

زنجیره پردازش صوتی: از میکروفن تا Inference

مرحله اول: Capture و Buffering

اولین کاری که باید انجام دهی راه‌اندازی I۲S driver است. در ESP-IDF یک struct به نام i۲s_config_t داری که باید sample rate، بیت depth، و channel format را مشخص کنی:

i۲s_config_t i۲s_config = {
    .mode = I۲S_MODE_MASTER | I۲S_MODE_RX,
    .sample_rate = ۱۶۰۰۰,
    .bits_per_sample = I۲S_BITS_PER_SAMPLE_۱۶BIT,
    .channel_format = I۲S_CHANNEL_FMT_ONLY_LEFT,
    .communication_format = I۲S_COMM_FORMAT_I۲S,
    .dma_buf_count = ۸,
    .dma_buf_len = ۶۴
};

نکته مهم dma_buf_count و dma_buf_len است. این دو تعیین می‌کنند چند بافر DMA داشته باشی و هر بافر چند نمونه. مقدار بالاتر = latency بیشتر اما dropout کمتر. برای real-time voice، ۸ بافر با ۶۴ نمونه معمولاً خوب کار می‌کند.

پیش‌پردازش: Noise Reduction و Normalization

صدای خام از میکروفن غالباً پر از نویز محیطی است—صدای فن، همهمه زمینه، یا حتی تداخل الکتریکی. یک فیلتر High-Pass ساده می‌تواند نویز frekans پایین را حذف کند:

float alpha = ۰.۹۵;
float filtered_sample = alpha * (prev_filtered + (sample - prev_sample));

بعد از فیلترینگ، باید سیگنال را نرمال کنی تا amplitude‌اش در بازه ۱- تا ۱+ باشد. این کار inference را پایدارتر می‌کند.

Feature Extraction: MFCC (Mel-Frequency Cepstral Coefficients)

اکثر مدل‌های speech recognition به جای استفاده مستقیم از waveform، از ویژگی‌های MFCC استفاده می‌کنند. MFCC یک نمایش فشرده از محتوای فرکانسی صداست که شبیه به نحوه شنیدن گوش انسان است.

کتابخانه‌های مثل KissFFT یا ARM CMSIS-DSP می‌توانند FFT را محاسبه کنند، سپس فیلتربانک Mel را اعمال می‌کنی و در نهایت DCT (Discrete Cosine Transform) می‌زنی. خروجی معمولاً ۱۳ ضریب MFCC است که هر ۱۰ تا ۲۵ میلی‌ثانیه محاسبه می‌شوند.

اجرای مدل AI: TensorFlow Lite Micro و بهینه‌سازی

انتخاب مدل: Wake Word Detection vs. Full ASR

برای یک دستیار صوتی آفلاین، معمولاً دو مدل نیاز داری:

1. Wake Word Detector: مدل کوچکی (۵۰-۲۰۰ کیلوبایت) که فقط یک کلمه خاص مثل “Hey Assistant” را تشخیص می‌دهد. این مدل دائماً اجرا می‌شود و منابع کمی می‌خورد.
2. Speech Command Recognizer: مدل بزرگ‌تر (۱-۵ مگابایت) که بعد از تشخیص wake word فعال می‌شود و دستورات مختلف را recognize می‌کند.

مدل‌های پیش‌آموزش‌دیده مثل Google Speech Commands Dataset یا Mozilla Common Voice را می‌توانی به عنوان نقطه شروع استفاده کنی.

Quantization: کاهش اندازه و افزایش سرعت

یک مدل TensorFlow Lite معمولی با FP۳۲ weights می‌تواند ۱۰ مگابایت حجم داشته باشد. با Post-Training Quantization می‌توانی آن را به INT۸ کوانتیزه کنی و حجم را تا ۴ برابر کاهش دهی:

converter = tf.lite.TFLiteConverter.from_saved_model('model_dir')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT۸]
tflite_model = converter.convert()

برای ESP۳۲-S۳، حتی می‌توانی Quantization-Aware Training انجام دهی تا دقت مدل بعد از کوانتیزه شدن حفظ شود.

اجرای Inference: MicroInterpreter و تخصیص Arena

TensorFlow Lite Micro از یک memory arena ساده استفاده می‌کند—یک بلوک پیوسته از RAM که برای tensor activation‌ها تخصیص می‌یابد. اندازه arena را باید دستی تنظیم کنی:

constexpr int kTensorArenaSize = ۷۰ * ۱۰۲۴;
uint۸_t tensor_arena[kTensorArenaSize];

tflite::MicroInterpreter interpreter(model, resolver, tensor_arena, kTensorArenaSize);
interpreter.AllocateTensors();

اگر arena کوچک باشد، AllocateTensors() ناموفق می‌شود. اگر بزرگ باشد، حافظه را هدر می‌دهی. از interpreter.arena_used_bytes() برای پیدا کردن اندازه بهینه استفاده کن.

نکات طلایی: اشتباهات رایج و راه‌حل‌های عملی

سوالات متداول (FAQ)

۱. آیا می‌توانم Whisper OpenAI را روی ESP۳۲-S۳ اجرا کنم؟

خیر. Whisper حتی کوچک‌ترین ورژنش (Tiny) حدود ۳۹ میلیون پارامتر دارد و پس از کوانتیزه کردن به INT۸ باز هم حدود ۴۰ مگابایت حافظه نیاز دارد. ESP۳۲-S۳ فقط ۸ مگابایت PSRAM دارد. برای Whisper به Raspberry Pi ۴ یا یک SBC قدرتمندتر نیاز داری.

۲. چطور دقت recognition را افزایش دهم؟

سه راه اصلی وجود دارد:

• (الف) استفاده از دیتاست بزرگ‌تر با نمونه‌های متنوع
• (ب) افزودن Data Augmentation مثل background noise یا pitch shifting در حین آموزش
• (ج) استفاده از مدل‌های بزرگ‌تر اگر حافظه اجازه بدهد

۳. آیا می‌توانم چند زبان را پشتیبانی کنم؟

بله، اما هر زبان نیاز به یک مدل جداگانه دارد. می‌توانی یک language detector ساده اضافه کنی (مثلاً بر اساس phoneme distribution) و سپس مدل مناسب را load کنی. اما این روش حافظه اضافی می‌خواهد.

۴. چه کتابخانه‌ای برای TTS (Text-to-Speech) روی ESP۳۲-S۳ وجود دارد؟

TTS بسیار سنگین‌تر از STT است. بهترین گزینه استفاده از پیش‌ضبط‌های صوتی (pre-recorded audio clips) است که برای پاسخ‌های رایج آماده کرده باشی. اگر واقعاً به TTS نیاز داری، باید از یک ماژول جداگانه مثل DFPlayer Mini یا ارسال به یک سرور خارجی استفاده کنی.

جمع‌بندی: نقطه شروع واقعی