🎙️ Depuis quelques semaines, je m'intéresse de près à la génération de voix en temps réel, on-device, sur plateforme mobile.

🎙️ Depuis quelques semaines, je m’intéresse de près à la génération de voix en temps réel, on-device, sur plateforme mobile.

C’est pour un side project dont je vous parlerai bientôt, mais avant ça, j’avais besoin de savoir si une solution de TTS neurale moderne pouvait vraiment tourner localement, sans cloud, avec une qualité d’écoute crédible sur un smartphone récent.

Donc j’ai construit un outil de benchmark React Native pour mesurer ça précisément. La stack utilisée :

• Piper TTS (modèles VITS ONNX open source),
• sherpa-onnx (k2-fsa, qui embarque eSpeak-NG + ONNX Runtime statiquement liés),
• React Native 0.85 TurboModule. 5 langues européennes (FR / EN / IT / ES / DE),
• 3 paramètres modulables en direct (vitesse, expressivité, rythme),
• chrono + timeline temps réel pour visualiser chaque étape de la pipeline.

Résultats sur un Pixel 10 Pro Fold (Tensor G5) après tuning (Release build + NNAPI sur NPU + numThreads=4) :

• TTFA warm-start : 1.2 s (sous la cible spec de 1.5 seconde que je me suis fixé)
• RTF : 9× à 13× (jusqu’à 3× au-dessus de la cible spec ≥4×)
• Gain vs baseline non-optimisée : jusqu’à −64% TTFA, +196% RTF (espagnol)

Pour rappel:

• TTFA = Time To First Audio : le temps qui s’écoule entre le moment où l’utilisateur appuie sur “Play” et le moment où le premier son sort réellement du haut-parleur.
• RTF = Real Time Factor : le ratio entre la durée de l’audio généré et le temps de calcul nécessaire pour le générer.

⚠️ Ce n’est pas une app à télécharger : c’est un outil de mesure pour développeurs.

Pour le tester, il faut cloner le repo, brancher son téléphone Android en USB sur son laptop, et déployer via yarn android (ou gradle installRelease). iOS validé par la chaîne de build, test direct device à confirmer.

Tout est public en AGPL-3.0, code + benchmarks + screenshots : → https://lnkd.in/eXSYTyx8

Curieux si certain·e·s d’entre vous ont déjà bench-marqué Piper / Kokoro / Supertonic on-device sur d’autres plateformes. Partagez vos chiffres ici ou via une PR sur le projet. Merci d’avance !

#EdgeAI #TTS #SovereignAI #ReactNative #OpenSource #OnDeviceAI