Elamur Research⌕
☰
home / papers / 2026 / Gender bias in machine translation: an evaluation on the English–Portuguese language pair

Gender bias in machine translation: an evaluation on the English–Portuguese language pair

Original (Portuguese): Viés de gênero na tradução automática: uma avaliação no par linguístico inglês-português

Paper · 2026 · Tayane A. Soares, Yohan B. Gumiel, Rafael Junqueira et al.

Summary

This study examines gender bias when English text is machine-translated into Portuguese. English mostly leaves gender unmarked on nouns, while Portuguese requires gendered agreement, so systems often fall back on stereotypes or the generic masculine. The authors compare three commercial engines (Google Translate, Microsoft Translator, Amazon Translate) and three general-purpose LLMs (GPT-3.5 Turbo, GPT-4o-mini, Llama-3-8B-Instruct) on the WinoMT test corpus. The quantitative part applies the Stanovsky et al. (2019) evaluation algorithm, adapted to Portuguese in earlier work by the same group, to measure accuracy and two bias scores (∆G and ∆S). The study also checks how reliable that adapted algorithm is. A qualitative analysis grounded in Systemic Functional Linguistics then examines translations involving "nurse" and "physician." Every system showed bias. Each did better when the target entity was male or matched an occupational stereotype. The qualitative analysis shows that wrong gender choices change the meaning of the source and break referential cohesion. This matters because machine translation is widely used in Brazil, including in high-stakes areas such as health and migration.

Key points

  • Six systems were evaluated on WinoMT (Stanovsky et al., 2019): Google Translate, Microsoft Translator, Amazon Translate, GPT-3.5 Turbo, GPT-4o-mini and Llama-3-8B-Instruct.
  • All six had positive ∆G, meaning male referents were translated more accurately, and positive ∆S, meaning stereotype-consistent occupations were handled better.
  • The study validates the Portuguese adaptation of the automatic evaluation algorithm introduced by Soares et al. (2023).
  • The qualitative analysis uses Systemic Functional Linguistics (metafunctions, agnation, referential cohesion) and focuses on "nurse" and "physician."
  • The motivation draws on Brazilian figures: only 5.1% of the population reports some knowledge of English, and 59% use Google Translate. The authors argue for ongoing, context-sensitive evaluation, especially in critical domains.

Our summary of the paper, in our own words — not its text. The work belongs to its authors; read it at the links above.

 Fields, topics and concepts

📚 Shelves 2The field of science this work belongs to (OpenAlex fields).Computer Science · 16,667 worksArtificial Intelligence · 16,194 works

🧭 Topics 3Research subjects and languages the work is about.Machine translation · 1,087 worksEnglish · 2,263 worksBias, fairness & safety · 517 works

Cite

Cite as Tayane A. Soares, Yohan B. Gumiel, Rafael Junqueira, Tácio Gomes and Adriana Pagano. 2026. Viés de gênero na tradução automática: uma avaliação no par linguístico inglês-português. Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1.

The paper itself, not this page. BibTeX from the library's record of the work.

@inproceedings{soares2026vies,
  title = {{Viés de gênero na tradução automática: uma avaliação no par linguístico inglês-português}},
  author = {Tayane A. Soares, Yohan B. Gumiel, Rafael Junqueira, Tácio Gomes and Adriana Pagano},
  booktitle = {Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1},
  year = {2026},
  url = {https://aclanthology.org/2026.propor-1.88/}
}

References

47 references, 7 of them with a card of ours. ↗ leads to the work, «find» searches for one we have no id for yet.

  1. P. Alves. 2020. Tradutor é um dos serviços preferidos do google no brasil; veja curiosidades. Techtudo. find
  2. O. R. Balbi. 2023. A importância do uso da linguagem neutra na tradução do inglês para o português brasileiro. Trabalho de conclusão de curso, Universidade Federal do Rio Grande do Sul, Porto Alegre. find
  3. E. M. Bender e B. Friedman. 2018. Data statements for natural language processing: toward mitigating system bias and enabling better science. Transactions of the Association for Computational Linguistics, 6:587–604. find
  4. E. M. Bender, T. Gebru, A. McMillan-Major, e S. Shmitchell. 2021. On the dangers of stochastic parrots: can language models be too big? Em Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, páginas 610–623. find
  5. K. Crawford. 2017. The trouble with bias. Keynote at NIPS 2017. find
  6. C. Cunha e L. Cintra. 2017. Nova gramática do português contemporâneo, 7 edição. Lexikon, Rio de Janeiro. find
  7. N. da Hora. 2023. MyNews Explica – Algoritmos. Edições 70, São Paulo. find
  8. S. Dev, M. Monajatipoor, A. Ovalle, A. Subramonian, J. M. Phillips, e K.W. Chang. 2021. Harms of gender exclusivity and challenges in non-binary representation in language technologies. páginas 1968–1994, Online. Association for Computational Linguistics.
  9. S. Federici. 2017. Calibã e a Bruxa: mulheres, corpos e acumulação primitiva. Editora Elefante. find
  10. R. C. Ferreira e I. Mozzillo. 2020. A língua inglesa no brasil como o mercado quer: necessária, mas inalcan-çável. Travessias interativas, 10(22):138–150. find
  11. British Council. 2014. Demandas da aprendizagem de inglês no brasil. find
  12. T. Brown and 1 others. 2020. Language models are few-shot learners. Em Advances in Neural Information Processing Systems, volume 33, páginas 1877–1901.
  13. J. Butler. 2018. Problemas de gênero: feminismo e subversão da identidade. Civilização Brasileira, Rio de Janeiro. find
  14. M. Carpuat, O. Asscher, K. Bali, L. Bentivogli, F. Blain, L. Bowker, M. Choudhury, H. Daumé III, K. Duh, G. Gao, A. Grissom II, M. Karpinska, E. C. Khoong, W. D. Lewis, A. F. T. Martins, M. Nurminen, D. W. Oard, M. Popovic, M. Simard, e F. Yvon. 2025. An interdisciplinary approach to human-centered… find
  15. G. P. Figueredo. 2007. Uma descrição sistêmico-funcional da estrutura do grupo nominal em português orientada para os estudos linguísticos da tradução. Tese de Mestrado, Universidade Federal de Minas Gerais, Belo Horizonte. find
  16. EF Education First. 2025. Ef english proficiency index. find
  17. J. Gomes de Jesus. 2012. Orientações sobre identidade de gênero: conceitos e termos. guia técnico sobre pessoas transexuais, travestis e demais transgêneros, para formadores de opinião. Relatório técnico, Brasília. find
  18. L. Gonzalez. 2020. Cultura, etnicidade e trabalho: efeitos linguísticos e políticos da exploração da mulher negra. Em F. Rios e M. Lima, editores, Por um feminismo afro-latino-americano, páginas 25–44. Zahar, São Paulo. find
  19. A. T. Hagdu, P. Azunre, e T. Gebru. 2023. Combating harmful hype in natural language processing. Em ICLR2023. find
  20. M. Hagiwara. 2021. Real-world natural language processing. Manning Publications, Shelter Island, NY. find
  21. M. A. K. Halliday. 1978. Language as social semiotic: The social interpretation of language and meaning. Edward Arnold, London. find
  22. M. A. K. Halliday e R. Hasan. 1976. Cohesion in English. Longman, London. find
  23. M. A. K. Halliday e C. M. I. M. Matthiessen. 2014. Halliday’s Introduction to Functional Grammar. Routledge, London. find
  24. IBGE. 2016. Pesquisa nacional por amostra de do-micílios contínua. divulgação especial. mulheres no mercado de trabalho. find
  25. R. Jakobson. 1959. On linguistic aspects of translation. On translation, páginas 232–239. find
  26. A. Kibort e G. G. Corbett. 2008. Grammatical features inventory: gender. find
  27. H. J. Levesque. 2011. The winograd schema challenge. Em Proceedings of the AAAI Spring Symposium: Logical Formalizations of Commonsense Reasoning. find
  28. B. Madureira. 2024. Avaliação de tecnologias de linguagem. Em H. M. Caseli e M. G. V. Nunes, editores, Processamento de Linguagem Natural: Conceitos, Técnicas e Aplicações em Português, 3 edição, book chapter 14. BPLN. find
  29. C. M. I. M. Matthiessen. 2013. Applying systemic functional linguistics in healthcare contexts. Text & Talk, 33(4-5):437–466. find
  30. A. S. Pagano. 2020. Modelagem da linguagem e do contexto na teoria sistêmico-funcional. Revista da ABRALIN, 19(3):25–49. find
  31. A. Paullada. 2020. How does machine translation shift power? Em Proceedings of the 34th Conference on Neural Information Processing Systems. find
  32. M. Popović e S. Castilho. 2019. Challenge test sets for mt evaluation. Em Proceedings of the 17th Machine Translation Summit. find
  33. R. T. Rabonato. 2024. Mitigando viés de gênero na tradução automática para o português. Tese de Mestrado, Universidade Federal de São Paulo, São José dos Campos. find
  34. R. Rudinger, J. Naradowsky, B. Leonard, e B. Van Durme. 2018. Gender bias in coreference resolution. Em Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, páginas 8–14.
  35. M. J. Sabet, P. Dufter, F. Yvon, e H. Schütze. 2020. Simalign: high quality word alignments without parallel training data using static and contextualized embeddings. Em Findings of the Association for Computational Linguistics: EMNLP 2020, páginas 1627–1643. find
  36. B. Savoldi, J. Bastings, L. Bentivogli, e E. Vanmassenhove. 2025a. A decade of gender bias in machine translation. Patterns. find
  37. B. Savoldi, M. Gaido, L. Bentivogli, M. Negri, e M. Turchi. 2021. Gender bias in machine translation. Transactions of the Association for Computational Linguistics, 9:845–874.
  38. B. Savoldi, S. Papi, M. Negri, A. Guerberof-Arenas, e L. Bentivogli. 2024. What the harm? quantifying the tangible impact of gender bias in machine translation with a human-centered study. Em Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, páginas 18048–18076. find
  39. B. Savoldi, A. Ramponi, M. Negri, e L. Bentivogli. 2025b. Translation in the hands of many: Centering lay users in machine translation interactions. arXiv preprint.
  40. E. M. Morinaka. 2010. Estudos da tradução e linguística sistêmico-funcional. Sitientibus, (42):73–85. find
  41. G. Mäder e H. Moura. 2016. O masculino genérico sob uma perspectiva cognitivo-funcionalista. Revista do GELNE, 17(1/2):33–54. find
  42. S. Olojo, J. Zakrzewski, A. Smart, E. van Liemt, M. Miceli, A. Ebinama, e L. M. Amugongo. 2025. Lost in machine translation: The sociocultural implications of language technologies in nigeria. Em Proceedings of the 2025 ACM Conference on Fairness, Accountability, and Transparency, páginas 2249–2259. find
  43. T. A. Soares, Y. B. Gumiel, R. Junqueira, T. Gomes, e A. Pagano. 2023. Viés de gênero na tradução automática do gpt-3.5 turbo: avaliando o par linguístico inglês-português. Em Anais do XIV Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana, páginas 167–176. find
  44. G. Stanovsky, N. A. Smith, e L. Zettlemoyer. 2019. Evaluating gender bias in machine translation. Em Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, páginas 1679–1684.
  45. E. Vanmassenhove. 2024. Gender bias in machine translation and the era of large language models. Em Gendered Technology in Translation and Interpreting, páginas 225–252. Routledge. find
  46. M. Vilaça, I. Pederneira, e M. Ferro. 2024. Ai beyond a new academic hype: an interdisciplinary theoretical analytical experiment (computational, linguistic and ethical) of an ai tool. Filosofia Unisinos, 25(1):1–14. find
  47. J. Zhao, T. Wang, M. Yatskar, V. Ordonez, e K. Chang. 2018. Gender bias in coreference resolution: evaluation and debiasing methods. Em Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, páginas 15–20.

Updated

↑ back to top

This page in Markdown → https://md.research.elamur.ai/free/en/papers/soares-2026-vies-de-genero-na-traducao/