Como criar um serviço de tradução multimodal em Azure AI & Machine Learning
Este guia mostra como criar um serviço simples de tradução multimodal em Azure AI & Machine Learning: extrair texto de imagens, transcrever áudio e traduzir para outro idioma. Útil para automatizar legendagem, apoio ao atendimento ou processamento de conteúdos multimédia.
Pré-requisitos
- Conta Azure com permissões para criar recursos (Cognitive Services / Azure ML).
- Azure CLI instalada e autenticada (az login).
- Python 3.8+ e pip.
- Chave e endpoint do Azure AI Vision e do Azure AI Speech ou um recurso único que suporte ambos.
- Editor de texto e ficheiros de exemplo: imagem com texto e ficheiro de áudio curto (wav).
Passo 1: Explicar a arquitetura e escolher serviços
Porquê: é importante perceber as peças. Vamos usar Azure AI Vision para extrair texto de imagens (OCR), Azure AI Speech para transcrever áudio e Azure AI Language Translator (ou o endpoint integrado do recurso Language) para traduzir texto. O fluxo é: obter texto (imagem/áudio) → normalizar → traduzir → devolver resultado.
Passo 2: Preparar o ambiente Python
Instalar as bibliotecas oficiais e configurar variáveis de ambiente para as chaves e endpoints. Isto simplifica chamadas HTTP/SDK.
pip install azure-ai-formrecognizer azure-cognitiveservices-speech requests python-dotenv # criar .env com AZURE_VISION_KEY, AZURE_VISION_ENDPOINT, AZURE_SPEECH_KEY, AZURE_SPEECH_REGION, AZURE_TRANSLATOR_KEY, AZURE_TRANSLATOR_ENDPOINT
Passo 3: Extrair texto de uma imagem com Azure AI Vision (OCR)
Usar o endpoint de OCR ou Form Recognizer/Read API. Exemplo mínimo em Python usando o Read API por HTTP para manter simples e compatível.
import os, time, requests
from dotenv import load_dotenv
load_dotenv()
VISION_ENDPOINT = os.getenv('AZURE_VISION_ENDPOINT')
VISION_KEY = os.getenv('AZURE_VISION_KEY')
headers = {'Ocp-Apim-Subscription-Key': VISION_KEY, 'Content-Type': 'application/octet-stream'}
img_path = 'sample.jpg'
with open(img_path, 'rb') as f:
data = f.read()
resp = requests.post(VISION_ENDPOINT + '/vision/v3.2/read/analyze', headers=headers, data=data)
operation_location = resp.headers.get('Operation-Location')
status = ''
while status != 'succeeded':
time.sleep(1)
r = requests.get(operation_location, headers={'Ocp-Apim-Subscription-Key': VISION_KEY})
result = r.json()
status = result['status']
texts = []
if status == 'succeeded':
for readResult in result['analyzeResult']['readResults']:
for line in readResult['lines']:
texts.append(line['text'])
image_text = '\n'.join(texts)
print('Texto extraído:', image_text)
Passo 4: Transcrever áudio com Azure AI Speech
Usar o SDK azure-cognitiveservices-speech para transcrever um ficheiro WAV local para texto. Mantemos o exemplo síncrono para ficheiros pequenos.
import azure.cognitiveservices.speech as speechsdk
SPEECH_KEY = os.getenv('AZURE_SPEECH_KEY')
SPEECH_REGION = os.getenv('AZURE_SPEECH_REGION')
audio_file = 'sample.wav'
speech_config = speechsdk.SpeechConfig(subscription=SPEECH_KEY, region=SPEECH_REGION)
audio_input = speechsdk.AudioConfig(filename=audio_file)
speech_recognizer = speechsdk.SpeechRecognizer(speech_config=speech_config, audio_config=audio_input)
result = speech_recognizer.recognize_once()
if result.reason == speechsdk.ResultReason.RecognizedSpeech:
audio_text = result.text
else:
audio_text = ''
print('Transcrição:', audio_text)
Passo 5: Traduzir texto com Azure Translator (ou Azure AI Language)
Enviar o texto extraído/transcrito para o endpoint de tradução. Exemplo em HTTP para o serviço Translator Text.
TRANSLATOR_KEY = os.getenv('AZURE_TRANSLATOR_KEY')
TRANSLATOR_ENDPOINT = os.getenv('AZURE_TRANSLATOR_ENDPOINT')
params = {'api-version': '3.0', 'to': 'pt'}
headers = {'Ocp-Apim-Subscription-Key': TRANSLATOR_KEY, 'Content-Type': 'application/json'}
# traduzir imagem
body = [{'text': image_text}]
resp = requests.post(TRANSLATOR_ENDPOINT + '/translate', params=params, headers=headers, json=body)
translated_image = resp.json()[0]['translations'][0]['text']
# traduzir áudio
body2 = [{'text': audio_text}]
resp2 = requests.post(TRANSLATOR_ENDPOINT + '/translate', params=params, headers=headers, json=body2)
translated_audio = resp2.json()[0]['translations'][0]['text']
print('Imagem traduzida:', translated_image)
print('Áudio traduzido:', translated_audio)
Passo 6: Unir o fluxo e tratar erros comuns
Combine os passos num script que decide a origem (imagem/áudio) e executa OCR → tradução ou transcrição → tradução. Erros comuns: chaves erradas, endpoints inválidos, ficheiros com formato não suportado. Verifique o status HTTP e mensagens no JSON de erro.
# Exemplo esquemático: chamar funções extract_text_from_image(), transcribe_audio(), translate_text()
# Tratar exceções, verificar resp.status_code e campos de erro antes de aceder ao JSON
Verificar o resultado
Confirme que recebe texto legível da imagem e do áudio e que as traduções fazem sentido. Teste com várias imagens (diferentes fontes, idiomas) e ficheiros de áudio. Verifique tempos de resposta e mensagens de erro no terminal. Se obtiver códigos 401/403, confirme as chaves; se obtiver 429, está a exceder o limite e deve reduzir a taxa de chamadas ou usar um plano superior.
Conclusão
Tem agora um serviço básico de tradução multimodal em Azure AI & Machine Learning que combina Azure AI Vision, Azure AI Speech e Translator. Próximos passos: melhorar a normalização do texto, adicionar deteção automática de idioma, paralelizar chamadas para maior escala e integrar num endpoint Azure Functions ou Azure ML endpoint para produção. Dica: faça registos dos payloads e tempos para optimizar custos e desempenho — que fluxo multimodal quer automatizar primeiro?