Puntuación y mayúsculas con redes recurrentes

Escribí una frase en español, en minúsculas y sin signos. Cada modelo le agrega ¿, , ., ? y las mayúsculas. Usan solo los embeddings estáticos de mBERT y una LSTM: la unidireccional lee de izquierda a derecha y la bidireccional, en los dos sentidos.