کيفاش هاد الشّي خدّام؟
کلشي کايدوز من المتصفح ديالک: ما کاين لا backend، لا API، لا حتى upload. الموديل کايتنزّل مرة وحدة، کايتخزّن فالجهاز، و کايخدم على الـGPU ديالک من خلال WebGPU. هادي نظرة خفيفة على الـpipeline و التقنيات اللي کايدوّزو من الفيشيي ديال ڤيديو ولّا أوديو حتى للسوتيتراج.
1. الموديل
الفهامة د الهضرة (speech recognition) کايديرو Voxtral Mini 4B Realtime، الموديل ديال Mistral اللّي مدرّب (fine-tuned) على العربية و الدارجة، محوّل لـONNX و مضغوط بـq4f16 (الاوزان على 4 bits، الحساب على fp16). کايتخدّم بـTransformers.js فوق من ONNX Runtime Web و WebGPU هو الـbackend ديالو.
| Model | onnx-community/Voxtral-Mini-4B-Realtime-Arabic-ONNX |
| Revision | pinned commit، ما کاتتبدّلش |
| Weights | 2.8 GB تقريبا (audio encoder + decoder + embeddings) |
| Runtime | Transformers.js · ONNX Runtime Web (WebGPU) · ffmpeg.wasm |
| Storage | OPFS (Origin Private File System) |
التنزال مرة وحدة. الفيشيات الکبار کايتنزّلو بـbyte ranges ديال 8 MiB، ربعة فنفس الوقت، و کل chunk کايتکتب نيشان فـOPFS. إلا سدّيتي الـtab ولّا وقفتي التنزال، کايکمّل من فين وقف. قبل ما يبدا، کايتدار system check فالـworker: واش WebGPU کاين (و ماشي software renderer)، واش الـGPU کايقبل buffers ديال 1 GiB، و واش کاين تيساع کافي فالـstorage.
2. التوجاد ديال الصوت
- Decode. الـcontainers العاديين (بحال mp4, webm, mp3) کايفکّهم المتصفح بـ
decodeAudioDataو کايعاود الـresample لـ 16 kHz. الفورمات اللي ما کايقراهاش المتصفح (بحال mkv, ts) ولّا الفيشيات اللي فوق 1.5 GB، کايتکلّف بيهوم ffmpeg.wasm و کايقرا الفيشيي شوية بشوية. - Gain normalisation. الـpeak (99.9th percentile) کايتجاب لـ0.9، بزيادة ديال 30 dB ماکسيموم، باش الصوت الضعيف ما يضيعش.
- Segmentation. الـRMS ديال کل frame کايتحسب، و کايتقدّر الـnoise floor، و کل frame فوق
max(3 × noise floor, −55 dB)کاتتحسب هضرة. السکات اللي کايدوم 300 ms ولّا کثر هو فين کايتقطع الأوديو. الـsegments کايکونو ما بين 15 و 60 ثانية، مع هامش ديال 400 ms باش ما تتقطّعش البدية د الکلمة. الـgate کايقرّر فين يطرا التقطاع، الموديل هو اللي کايقرّر شنو اللّي هضرة و شنو اللّي لّا.
3. الوقت من الـtokens
هادي هي التقنية الأساسية. الموديل کايدير realtime/streaming: على کل 80 ms ديال الصوت (1280 samples) کايخرّج token واحد بالضبط، يا إما طرف من کلمة، يا إما [STREAMING_PAD] (إلا ما کانتش الهضرة). إذن ما کانحتاجوش لـforced alignment ولّا لشي موديل وحداخر ديال الـtimestamps: الوقت ديال کل کلمة = شحال ديال الـtokens. الـtoken k کايغطّي [(k−1)·80 ms, k·80 ms)، و الکلمة کاتبدا مع البدية ديال الـtoken ديالها و کاتسالي مع اللخّر ديالو.
شوية د الحيل اللي کاتخلّي هاد الشي يخدم مزيان:
- Pre-roll ديال 4 ثواني. قبل کل segment کانعطيو للموديل شوية من الصوت اللي قبلو، باش الـKV cache يکون فيه سياق د بصّح ماشي غير السکات. الـtokens ديال الـpre-roll کايتحيّدو، و إلا تعاودات کلمة فالـseam ما بين جوج segments، کاتحيّد الثانية (seam dedupe).
- Logits constraints. الـ
</s>ممنوعة حتى يسالي الصوت کامل (باش ما يحبسش قبل الوقت)، و no-repeat n-gram کايتدار على الـtext tokens و صافي (الـpads کايتعاودو بشکل طبيعي فالسکات، و ما کايتحسبوش). - Calibration −0.28 s. الموديل کايلتازم بالکلمة شوية من بعد ما تبدا؛ قيّسنا هاد الـlag مرة على waveform onsets و کانصحّحوه بشي constant.
- Encoder chunks ديال 128 tokens (10.24 s) باش نحدّدو الميموار؛ إلا طاح الـGPU فـOOM (out of memory)، الـsegment کايتعاود على جوج نصاص.
4. من الکلمات للسطورا
الکلمات+الوقت کايتجمّعو فـcues على الـmain thread، بقواعد بسيطة:
کل segment ملّي کايسالي، الکلمات ديالو کايتخزنو فـIndexedDB مربوطين بالفيشيي؛ إلا عاودتي حلّيتي نفس الفيشيي، السطورا کايرجعو دغيا، و إلا تقطع الـjob کايکمّل من الـsegment اللي وقف فيه.
5. الـpreview و الـexport
- Preview. السطورا کايتحوّلو لـscript ديال ASS و کايتعمل ليهوم render فوق الڤيديو بـJASSUB (libass مترجم لـWebAssembly)، هادشّي اللي کايخلّي شنو کاتشوف فالـplayer هو بالضبط اللي غادي يتصدّر.
- Text export. SRT، VTT، ASS، ولّا النص کامل (transcript).
- Burn-in. WebCodecs + mediabunny للقراية و الکتابة ديال الـcontainers، بالـhardware decode/encode ديال الجهاز. التصويرة ديال السطورا ما کاتتبدّلش غير فالحدود د الـcues، إذن کل interval کايتعمل ليه render مرة وحدة بنفس libass و کايتعاود الاستعمال ديالو فݣاع الـframes اللي فيه. الـoutput: MP4 (H.264 + AAC)، و WebM (VP9 + Opus) إلا ما کانش H.264 encoder فالمتصفح. الفيشيي کايتکتب مباشرة فالـdisk بالـFile System Access API إلا کان کاين.
الـstack باختصار
Angular 22 (prerendered) · Web Workers · WebGPU · Transformers.js · ONNX Runtime Web · ffmpeg.wasm · mediabunny · WebCodecs · JASSUB (libass) · OPFS · IndexedDB.
بغيتي تعرف شکون حنا و علاش دايرين هاد الشي؟ شکون حنا.