Mac पर Apple Speech बनाम लोकल Whisper: सटीकता और लेटेंसी टेस्ट
हमने एक ही Mac पर सही ट्रांसक्रिप्ट वाले 30 अंग्रेज़ी ऑडियो क्लिप से Apple Speech और लोकल WhisperKit base मॉडल का WER, पहले टेक्स्ट का समय और फाइनल होने का समय मापा।
2026-08-30 · 9 minसंक्षिप्त उत्तर
इस Apple silicon Mac पर Apple Speech ने पहला टेक्स्ट जल्दी दिखाया, जबकि लोकल Whisper में मॉडल की शुद्ध सटीकता और लाइव कैप्शन पाइपलाइन के परिणाम के बीच अलग समझौता दिखा। LibriSpeech के 30 साफ़ अंग्रेज़ी क्लिप में Apple Speech का WER 0.9%, Alison Workspace की Whisper लाइव पाइपलाइन का 7.9% और Whisper पूरे क्लिप का 1.9% रहा। पहले टेक्स्ट की मध्यिका Apple के लिए 1.14 s और Whisper लाइव पथ के लिए 1.74 s थी। ये आँकड़े केवल इस परीक्षण के हैं, हर वक्ता, भाषा, Mac या रिकॉर्डिंग के नहीं।
टेस्ट कैसे किया गया
टेस्ट 30 अगस्त 2026 को macOS 26.5.2 वाले Apple silicon Mac पर स्थानीय रूप से चला। दोनों इंजन को LibriSpeech test-clean के वही 30 लेबल वाले क्लिप दिए गए, जिन्हें 16 kHz मोनो में बदला गया। ऑडियो वास्तविक समय पर 100 ms फ्रेम में भेजा गया और अंत में समान 0.8 सेकंड की चुप्पी जोड़ी गई। माप से पहले मॉडल और Apple भाषा संसाधन तैयार थे। सटीकता के लिए word error rate और लेटेंसी के लिए पहला गैर-खाली टेक्स्ट तथा बोलना खत्म होने से अंतिम टेक्स्ट तक का समय मापा गया।
सटीकता: इंजन और लाइव पाइपलाइन अलग रखें
पूरे क्लिप पर Whisper ने 1.9% WER पाया, जो पूरी बात मिलने पर मॉडल की सटीकता की ऊपरी सीमा दिखाता है। उत्पाद के Whisper लाइव पथ ने 7.9% पाया, क्योंकि voice activity detection, segmentation, प्रगतिशील ड्राफ्ट और अंतिम जोड़ भी कैप्शन बार के टेक्स्ट को प्रभावित करते हैं। Apple Speech के मूल स्ट्रीमिंग फाइनल का WER 0.9% रहा। मजबूत मॉडल भी शब्द खो सकता है यदि रियल-टाइम पाइपलाइन वाक्य को गलत जगह काट दे।
लेटेंसी: पहला टेक्स्ट और अंतिम टेक्स्ट अलग हैं
Apple Speech का पहला टेक्स्ट मध्यिका 1.14 s में आया, जबकि Whisper लाइव पथ में 1.74 s लगा। आवाज़ खत्म होने के बाद Apple का मूल फाइनल 1.13 s और Whisper का फाइनल 0.58 s में आया। पूरे क्लिप के Whisper डिकोड का median real-time factor 0.021× था, पर यह पहले कैप्शन का समय नहीं है। अच्छे लाइव कैप्शन के लिए जल्दी पढ़ने योग्य ड्राफ्ट और भरोसेमंद अंतिम पंक्ति दोनों जरूरी हैं।
Alison Workspace दोनों इंजन क्यों उपयोग करता है
Alison Workspace यह नहीं मानता कि एक recognizer हर स्थिति में सबसे अच्छा है। macOS 26 पर स्पष्ट रूप से चुनी गई भाषा के लिए Apple का on-device speech resource उपलब्ध हो तो Apple Speech का मूल streaming path उपयोग किया जा सकता है। पुराने सिस्टम, automatic detection, Apple द्वारा असमर्थित भाषा या अनुपलब्ध resource में local WhisperKit path उपयोग हो सकता है। इससे व्यापक coverage बनी रहती है और जहाँ उपलब्ध हो वहाँ Apple streaming का लाभ मिलता है। पहली बार resource या model डाउनलोड होने के बाद recognition Mac पर चलता है।
यह benchmark क्या साबित नहीं करता
30 क्लिप साफ़ अंग्रेज़ी पढ़ी हुई आवाज़ हैं और सामान्यतः एक वक्ता के हैं। वे हर accent, meeting microphone, शोर, संगीत, overlapping speech, विशेषज्ञ शब्द या गैर-अंग्रेज़ी भाषा का प्रतिनिधित्व नहीं करते। लेख को कई भाषाओं में अनुवाद करने से अंग्रेज़ी टेस्ट बहुभाषी benchmark नहीं बनता। दायरा साफ़ रखने के लिए sample count, system, model, input method और pipeline के अलग परिणाम दिए गए हैं। महत्वपूर्ण काम के लिए नाम, नंबर, accent और अपनी असली audio app को जाँचें।
अपने Mac पर एक मिनट का टेस्ट
एक साफ़ वक्ता वाला छोटा वीडियो या meeting recording चलाएँ। ज्ञात बोली जाने वाली भाषा चुनें, पुष्टि करें कि app कमरे के microphone noise के बजाय Mac system audio ले रहा है, और देखें कि पहले उपयोगी शब्द कब आते हैं। एक नाम, एक नंबर और एक technical term जाँचें, फिर अंतिम caption को audio से मिलाएँ। जिस meeting app, browser या player का आप सच में उपयोग करते हैं उसमें टेस्ट दोहराएँ।
अक्सर पूछे जाने वाले सवाल
क्या Mac पर Apple Speech, Whisper से तेज़ है?
इस 30-अंग्रेज़ी-क्लिप टेस्ट में पहले टेक्स्ट की मध्यिका Apple 1.14 s और Alison Whisper live path 1.74 s थी। hardware, भाषा और audio परिणाम बदल सकते हैं।
क्या local Whisper, Apple Speech से अधिक सटीक है?
पूरे क्लिप Whisper ने 1.9% WER, Apple native ने 0.9% और Whisper live pipeline ने 7.9% पाया। model और end-to-end accuracy अलग देखनी चाहिए।
क्या Mac speech recognition offline चलता है?
हाँ, जरूरी Apple language resource या local Whisper model डाउनलोड होने के बाद। शुरुआती installation के लिए Internet लग सकता है।
Alison Workspace कौन-सा engine उपयोग करता है?
macOS 26 पर समर्थित भाषा और local resource होने पर Apple Speech, और व्यापक coverage या fallback के लिए local WhisperKit उपयोग किया जा सकता है।