رجع للخدمة

کيفاش هاد الشّي خدّام؟

کلشي کايدوز من المتصفح ديالک: ما کاين لا backend، لا API، لا حتى upload. الموديل کايتنزّل مرة وحدة، کايتخزّن فالجهاز، و کايخدم على الـGPU ديالک من خلال WebGPU. هادي نظرة خفيفة على الـpipeline و التقنيات اللي کايدوّزو من الفيشيي ديال ڤيديو ولّا أوديو حتى للسوتيتراج.

Media fileڤيديو ولّا أوديو
DecodeWeb Audio / ffmpeg.wasm → 16 kHz mono
Segmentطريّفات بينات السکات، من 15 حتى 60 ثانية
ModelWeb Worker + WebGPU
Timed wordsالوقيتة د کل کلمة من الـtokens
Cuesسطر ولّا جوج ديال النص فکل cue
ExportSRT · VTT · ASS · burn-in
الـpipeline کولّو. الفيشيي ما کايخرجش من الجهاز فحتى مرحلة.

1. الموديل

الفهامة د الهضرة (speech recognition) کايديرو Voxtral Mini 4B Realtime، الموديل ديال Mistral اللّي مدرّب (fine-tuned) على العربية و الدارجة، محوّل لـONNX و مضغوط بـq4f16 (الاوزان على 4 bits، الحساب على fp16). کايتخدّم بـTransformers.js فوق من ONNX Runtime Web و WebGPU هو الـbackend ديالو.

Model onnx-community/Voxtral-Mini-4B-Realtime-Arabic-ONNX
Revision pinned commit، ما کاتتبدّلش
Weights 2.8 GB تقريبا (audio encoder + decoder + embeddings)
Runtime Transformers.js · ONNX Runtime Web (WebGPU) · ffmpeg.wasm
Storage OPFS (Origin Private File System)

التنزال مرة وحدة. الفيشيات الکبار کايتنزّلو بـbyte ranges ديال 8 MiB، ربعة فنفس الوقت، و کل chunk کايتکتب نيشان فـOPFS. إلا سدّيتي الـtab ولّا وقفتي التنزال، کايکمّل من فين وقف. قبل ما يبدا، کايتدار system check فالـworker: واش WebGPU کاين (و ماشي software renderer)، واش الـGPU کايقبل buffers ديال 1 GiB، و واش کاين تيساع کافي فالـstorage.

2. التوجاد ديال الصوت

  • Decode. الـcontainers العاديين (بحال mp4, webm, mp3) کايفکّهم المتصفح بـdecodeAudioData و کايعاود الـresample لـ 16 kHz. الفورمات اللي ما کايقراهاش المتصفح (بحال mkv, ts) ولّا الفيشيات اللي فوق 1.5 GB، کايتکلّف بيهوم ffmpeg.wasm و کايقرا الفيشيي شوية بشوية.
  • Gain normalisation. الـpeak (99.9th percentile) کايتجاب لـ0.9، بزيادة ديال 30 dB ماکسيموم، باش الصوت الضعيف ما يضيعش.
  • Segmentation. الـRMS ديال کل frame کايتحسب، و کايتقدّر الـnoise floor، و کل frame فوق max(3 × noise floor, −55 dB) کاتتحسب هضرة. السکات اللي کايدوم 300 ms ولّا کثر هو فين کايتقطع الأوديو. الـsegments کايکونو ما بين 15 و 60 ثانية، مع هامش ديال 400 ms باش ما تتقطّعش البدية د الکلمة. الـgate کايقرّر فين يطرا التقطاع، الموديل هو اللي کايقرّر شنو اللّي هضرة و شنو اللّي لّا.
segment 1segment 2segment 3segment 4 silence ≥ 300 ms → cut
الصوت کايتقطع فالسکات، ماشي فوسط الکلمات. کل segment کايدوز للموديل بوحدو.

3. الوقت من الـtokens

هادي هي التقنية الأساسية. الموديل کايدير realtime/streaming: على کل 80 ms ديال الصوت (1280 samples) کايخرّج token واحد بالضبط، يا إما طرف من کلمة، يا إما [STREAMING_PAD] (إلا ما کانتش الهضرة). إذن ما کانحتاجوش لـforced alignment ولّا لشي موديل وحداخر ديال الـtimestamps: الوقت ديال کل کلمة = شحال ديال الـtokens. الـtoken k کايغطّي [(k−1)·80 ms, k·80 ms)، و الکلمة کاتبدا مع البدية ديال الـtoken ديالها و کاتسالي مع اللخّر ديالو.

080 ms160240320400480560640720800880 PAD PAD سلا م PAD علي کم PAD PAD واش PAD k = 1k = 11 160–320 ms · سلام 400–560 ms · عليکم واش word start = (k_first − 1) × 80 ms · word end = k_last × 80 ms · ثم calibration −0.28 s
کل خطوة = token واحد = 80 ms. الـbyte-level BPE يقدر يقسّم الکلمة (و حتى الحرف الواحد) على بزاف ديال الـtokens؛ الـdecoder کايجمّعهوم بشکل incremental.

شوية د الحيل اللي کاتخلّي هاد الشي يخدم مزيان:

  • Pre-roll ديال 4 ثواني. قبل کل segment کانعطيو للموديل شوية من الصوت اللي قبلو، باش الـKV cache يکون فيه سياق د بصّح ماشي غير السکات. الـtokens ديال الـpre-roll کايتحيّدو، و إلا تعاودات کلمة فالـseam ما بين جوج segments، کاتحيّد الثانية (seam dedupe).
  • Logits constraints. الـ</s> ممنوعة حتى يسالي الصوت کامل (باش ما يحبسش قبل الوقت)، و no-repeat n-gram کايتدار على الـtext tokens و صافي (الـpads کايتعاودو بشکل طبيعي فالسکات، و ما کايتحسبوش).
  • Calibration −0.28 s. الموديل کايلتازم بالکلمة شوية من بعد ما تبدا؛ قيّسنا هاد الـlag مرة على waveform onsets و کانصحّحوه بشي constant.
  • Encoder chunks ديال 128 tokens (10.24 s) باش نحدّدو الميموار؛ إلا طاح الـGPU فـOOM (out of memory)، الـsegment کايتعاود على جوج نصاص.

4. من الکلمات للسطورا

الکلمات+الوقت کايتجمّعو فـcues على الـmain thread، بقواعد بسيطة:

Groupعلى الوقفات و الـmax duration
Sentence endالنقطة، ؟ و ! کايسالّيو الـcue ديما
Best splitcode-switching · clause · pause · balance
Layoutجوج سطورا ماکسيموم، الفوقاني قصر (RTL)
الـcue اللي طويل کايتقطع فأحسن بلاصة: التبدال د السکريپت (عربي ↔ لاتيني)، الفاصلة، الوقفة فالصوت، ولّا التوازن د الطول.

کل segment ملّي کايسالي، الکلمات ديالو کايتخزنو فـIndexedDB مربوطين بالفيشيي؛ إلا عاودتي حلّيتي نفس الفيشيي، السطورا کايرجعو دغيا، و إلا تقطع الـjob کايکمّل من الـsegment اللي وقف فيه.

5. الـpreview و الـexport

  • Preview. السطورا کايتحوّلو لـscript ديال ASS و کايتعمل ليهوم render فوق الڤيديو بـJASSUB (libass مترجم لـWebAssembly)، هادشّي اللي کايخلّي شنو کاتشوف فالـplayer هو بالضبط اللي غادي يتصدّر.
  • Text export. SRT، VTT، ASS، ولّا النص کامل (transcript).
  • Burn-in. WebCodecs + mediabunny للقراية و الکتابة ديال الـcontainers، بالـhardware decode/encode ديال الجهاز. التصويرة ديال السطورا ما کاتتبدّلش غير فالحدود د الـcues، إذن کل interval کايتعمل ليه render مرة وحدة بنفس libass و کايتعاود الاستعمال ديالو فݣاع الـframes اللي فيه. الـoutput: MP4 (H.264 + AAC)، و WebM (VP9 + Opus) إلا ما کانش H.264 encoder فالمتصفح. الفيشيي کايتکتب مباشرة فالـdisk بالـFile System Access API إلا کان کاين.
CuesASS script
libassoverlay واحد لکل interval
WebCodecsdecode → draw → encode
mediabunnymux MP4 / WebM
Diskstreamed، بلا RAM

الـstack باختصار

Angular 22 (prerendered) · Web Workers · WebGPU · Transformers.js · ONNX Runtime Web · ffmpeg.wasm · mediabunny · WebCodecs · JASSUB (libass) · OPFS · IndexedDB.

بغيتي تعرف شکون حنا و علاش دايرين هاد الشي؟ شکون حنا.