Introdução
A avaliação da produção científica é um processo fundamental para o desenvolvimento da ciência e da tecnologia em um país. Ela permite verificar o impacto e a relevância das pesquisas realizadas por pesquisadores, grupos e instituições, e os veículos de publicação são elementos fundamentais como meios de divulgação e comunicação dos resultados das pesquisas científicas. Tais veículos incluem: periódicos científicos; livros; capítulos de livros; anais de eventos; patentes; e relatórios técnicos.
No Brasil, a avaliação da produção científica é realizada de maneira indireta, por meio da classificação dos veículos de publicação do sistema Qualis da CAPES, que leva em conta critérios como: o fator de impacto; a abrangência temática e geográfica do veículo; o corpo editorial do veículo; e o processo de revisão por pares. A avaliação da produção científica por meio de veículos de publicação visa estimular a excelência acadêmica, incentivar a publicação em revistas de alto nível e reconhecer o mérito dos pesquisadores que contribuem para o avanço do conhecimento.
De acordo com o Documento Técnico do Qualis Periódicos [1],
Qualis Periódicos (…) consiste na qualificação indireta da produção intelectual na forma de artigos científicos a partir da análise da qualidade dos veículos de divulgação, ou seja, os periódicos.
Para a Avaliação da Pós-Graduação Brasileira relativa ao Quadriênio 2017-2020, a CAPES resolveu adotar uma classificação única para cada periódico, baseada em critérios da “Área Mãe” de cada periódico (área em que o periódico recebera o maior número de contribuições, dentre os programas de pós-graduação). Por exemplo, o periódico The American Statistician (ISSN: 0003-1305) recebeu o maior número de publicações por programas vinculados à Área Matemática/Probabilidade e Estatística. Dessa forma, a esta foi designada a responsabilidade de classificá-lo, no caso como A3. Uma vez definido que a publicação seja classificada como A3 pela “Área Mãe”, todas as outras passam a seguir a sua classificação.
Nesse contexto, o presente documento pretende verificar a aderência dos critérios utilizados para atribuir classificação Qualis aos periódicos e contribuir para o debate da avaliação, indicando possíveis aprimoramentos da sistemática de classificação adotada.
Publicações consideradas predatórias no Qualis
Publicações científicas predatórias são aquelas que se aproveitam do movimento de acesso aberto para publicar artigos científicos sem submetê-los a uma revisão por pares rigorosa e ética, cobrando taxas dos autores sem oferecer a qualidade ou a credibilidade devida. Essas publicações podem prejudicar a ciência e os pesquisadores, pois podem divulgar informações falsas ou enganosas, influenciando negativamente outras pesquisas ou aplicações práticas. Além disso, para os autores, ter o nome associado a uma revista predatória pode ser elemento fundamental para desqualificá-lo perante a comunidade acadêmica. Portanto, é importante identificar e evitar essas revistas, verificando aspectos como o fator de impacto, o conselho editorial, a indexação e a transparência das políticas editoriais.
Para a checagem da presença de publicações consideradas predatórias no Qualis, usou-se a lista produzida pelo grupo Predatory Reports[2], um grupo de renomados pesquisadores, voluntários, que já se sentiram prejudicados por publicações predatórias e, por isso, procuram ajudar pesquisadores a identificar publicações acreditadas para suas pesquisas. Eles publicam regularmente uma listagem de periódicos que não aderem às boas práticas editoriais em publicações científicas. A listagem está presente no site[3]e possuía um total de 538 publicações em 20/03/2023. Dessas, oito estavam nas Engenharias III como “Área Mãe” (Tabela 1).
Tabela 1: Publicações consideradas predatórias pelo Predatory Reports e classificadas nas Engenharias III como “Área Mãe”
| ISSN | Título do Periódico | Qualis |
| 2079-9276 | RESOURCES | A2 |
| 2076-3417 | APPLIED SCIENCES | A3 |
| 2306-5354 | BIOENGINEERING | A3 |
| 2411-5134 | INVENTIONS | A3 |
| 2079-6412 | COATINGS | A4 |
| 2077-1312 | JOURNAL OF MARINE SCIENCE AND ENGINEERING | A4 |
| 2075-4442 | LUBRICANTS | A4 |
| 2325-7091 | OPEN JOURNAL OF OPTIMIZATION | B4 |
Além disso, nossos associados também vêm relatando o recebimento de quantidade expressiva de emails, oriundos de revistas (Tabela 2), nos quais são convidados a publicar trabalhos já expostos nos nossos eventos em troca de pagamento financeiro (cobrado a título de “Taxa de Editoração”). Apesar de não estarem incluídas em listas especializadas como predatórias, o envio em massa de mensagens de correio eletrônico não solicitadas é uma prática reprovável e, dessa forma, um indicador de publicações predatórias relatado na literatura acadêmica disponível[4]. Outrossim, tais revistas não se encontram sequer indexadas nas bases Scopus e/ou Web of Science.
Tabela 2: Periódicos que enviam emails não solicitados aos associados da ABEPRO, com convites para publicação
| ISSN | Título do Periódico | Qualis |
| 2596-1934 | Brazilian Journal of Business | C |
| 2386-8570 | International Journal of Scientific Management and Tourism | A4 |
| 1696-8352 | Observatorio de La Economía Latinoamericana | A4 |
| 2526-3943 | Revista Campo da História | B3 |
| 1981-223X | Revista FOCO | B2 |
| 2178-9010 | Revista de Gestão e Secretariado (GeSeC) | A4 |
| 2764-0981 | Studies in Engineering and Exact Sciences | SC |
Recomenda-se que publicações presentes em listas de periódicos predatórios sejam retiradas da lista Qualis. Publicações que assediem autores para publicação em troca de pagamentos, devem ser objeto de investigação rigorosa e, caso sejam verificadas evidências de caráter predatório, devem também ser retiradas da lista. Como ação alternativa, sugere-se o estabelecimento de critérios de trava para tais periódicos no âmbito da avaliação das Engenharias III. Por exemplo, artigos em periódicos incluídos em listas predatórias não poderão representar mais de 10% das publicações de um programa.
Publicações removidas de bases de indexação
No dia 20/03/2023, a Vice-Presidente da Clarivate anunciou a decisão da base de remover pouco mais de 50 publicações da indexação pelo Journal Citation Reports[5]. Uma verificação no Qualis revela que algumas dezenas de publicações são parte da estratificação usada pela CAPES (Tabela 3).
Recomenda-se que periódicos removidos de listas de indexação sejam igualmente retirados da lista Qualis, ao menos temporariamente. Como ação alternativa, sugere-se o estabelecimento de critérios de trava para tais periódicos no âmbito da avaliação das Engenharias III. Por exemplo, artigos em periódicos removidos de listas de indexação não poderão representar mais de 10% das publicações de um programa.
Tabela 3: Publicações removidas da base JCR com Qualis
| ISSN | Título do Periódico | Qualis |
| 1687-5265 | COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE | A1 |
| 1660-4601 | INT JOURNAL OF ENVIRONMENTAL RESEARCH AND PUBLIC HEALTH | A1 |
| 1875-5100 | JOURNAL OF NATURAL GAS SCIENCE AND ENGINEERING | A1 |
| 0920-4105 | JOURNAL OF PETROLEUM SCIENCE AND ENGINEERING | A1 |
| 1745-5030 | WAVES IN RANDOM AND COMPLEX MEDIA | A1 |
| 2190-5509 | APPLIED NANOSCIENCE | A2 |
| 1362-0347 | EVIDENCE-BASED MENTAL HEALTH | A2 |
| 1863-0383 | INTERNATIONAL JOURNAL OF EMERGING TECHNOLOGIES IN LEARNING | A2 |
| 1024-123X | MATHEMATICAL PROBLEMS IN ENGINEERING | A2 |
| 1931-7573 | NANOSCALE RESEARCH LETTERS | A2 |
| 1942-0900 | OXIDATIVE MEDICINE AND CELLULAR LONGEVITY | A2 |
| 2447-4045 | REVISTA ENTRELINGUAS | A2 |
| 1687-8434 | ADVANCES IN MATERIALS SCIENCE AND ENGINEERING | A3 |
| 2314-6133 | BIOMED RESEARCH INTERNATIONAL | A3 |
| 1748-670X | COMPUTATIONAL AND MATHEMATICAL METHODS IN MEDICINE | A3 |
| 1063-293X | CONCURRENT ENGINEERING-RESEARCH AND APPLICATIONS | A3 |
| 0278-0240 | DISEASE MARKERS | A3 |
| 1741-427X | EVIDENCE-BASED COMPLEMENTARY AND ALTERNATIVE MEDICINE | A3 |
| 1687-9805 | JOURNAL OF ENVIRONMENTAL AND PUBLIC HEALTH | A3 |
| 2040-2295 | JOURNAL OF HEALTHCARE ENGINEERING | A3 |
| 0098-261X | JUSTICE SYSTEM JOURNAL | A3 |
| 1574-017X | MOBILE INFORMATION SYSTEMS | A3 |
| 1939-0114 | SECURITY AND COMMUNICATION NETWORKS | A3 |
| 1530-8669 | WIRELESS COMMUNICATIONS AND MOBILE COMPUTING | A3 |
| 2224-5820 | ANNALS OF PALLIATIVE MEDICINE | A4 |
| 2305-5839 | ANNALS OF TRANSLATIONAL MEDICINE | A4 |
| 1687-4110 | JOURNAL OF NANOMATERIALS | A4 |
| 0161-0457 | SCANNING | A4 |
| 1555-4309 | CONTRAST MEDIA AND MOLECULAR IMAGING | B1 |
| 1556-3790 | CURRENT COLORECTAL CANCER REPORTS | B1 |
| 0101-2061 | FOOD SCIENCE AND TECHNOLOGY | B1 |
| 0749-0208 | JOURNAL OF COASTAL RESEARCH | B1 |
| 2164-6325 | JOURNAL OF RENEWABLE MATERIALS | B1 |
| 0353-5053 | PSYCHIATRIA DANUBINA | B1 |
| 1517-8692 | REVISTA BRASILEIRA DE MEDICINA DO ESPORTE | B1 |
| 0976-9234 | JOURNAL OF PHARMACEUTICAL NEGATIVE RESULTS | B2 |
| 1911-8066 | JOURNAL OF RISK AND FINANCIAL MANAGEMENT | B2 |
| 0023-4001 | KOREAN JOURNAL OF PARASITOLOGY | B2 |
| 0974-6803 | ADVANCES AND APPLICATIONS IN MATHEMATICAL SCIENCES | B3 |
| 2090-4002 | EDUCATION RESEARCH INTERNATIONAL | B3 |
| 1018-4619 | FRESENIUS ENVIRONMENTAL BULLETIN | B3 |
| 1687-8450 | JOURNAL OF ONCOLOGY | B3 |
| 2365-6581 | PHYSICAL SCIENCES REVIEWS | B3 |
Publicações sem indexação e séries de conferências
Para a classificação Qualis, está valendo, no momento da redação deste texto, a Portaria CAPES 213/2021[6]. Ela revogou a Portaria CAPES 145/2021[7]que regularia o processo aplicável à Quadrienal.
A Portaria 213/2021 revogou a 145/2021 trazendo os critérios presentes nos documentos de cada área:
Art. 1º Fica revogada a Portaria nº 145, de 10 de setembro de 2021, publicada no Diário Oficial da União de 14 de setembro de 2021, Seção 1, pág. 128 restaurandose a eficácia das regras estabelecidas pelo CTC-ES para o Quadriênio 2017-2020 e publicizadas em atas e documentos oficiais
O documento mais recente, que regula o Qualis das Engenharias III, é o Relatório do Qualis Periódicos da Área 13, publicado em 2019[8]. O documento declara que:
A classificação referência considera indicadores objetivos: o CiteScore (base Scopus) e o Fator de Impacto – FI (base Web of Science – Clarivate Analytics). Para cada periódico, foi verificado o valor do indicador e o percentil de cada um, dentro de cada categoria de área.
O documento é explícito ao dizer que não faria tratamento especial a periódicos:
A área decidiu pela não imputação de indicadores bibliométricos aos títulos que não possuem CiteScore e/ou FI, à exceção dos títulos publicados por sociedades científicas da área, com escopo nacional.
No Qualis Periódicos, a revista Production ficou com classificação B1 e o Brazilian Journal of Operations & Production Management ficou com classificação B3 (ambas publicações são financiadas pela ABEPRO). Foi usado como referência os indicadores de classificação de 2019. Historicamente, o procedimento de classificação usava os indicadores do último ano do ciclo avaliativo, o que não ocorreu. Não fica claro no Relatório do Qualis Periódicos da Área Engenharias III[9]como foram tratadas revistas com indexação recente. É importante notar que, pelo percentil de 2020, a Production seria classificada como A4 e não como B1.
A adoção do Qualis Único permitiu que publicações em Filosofia ou Ensino, sem indexação, pudessem ser classificadas no Estrato A1, enquanto a Production foi classificada como B1 e o Brazilian Journal of Operations & Production Management foi classificado como B3 (Tabela 4)!
Tabela 4: Classificação Qualis de alguns periódicos na Área Engenharias III na Quadrienal 2017-2020
| ISSN | Título do Periódico | Qualis | Indexação |
| 0103-6513 | Production | B1 | Scopus – Percentil 46 em 2019 |
| 2237-8960 | Brazilian Journal of Operations & Production Management | B3 | ESCI – 0.013 em 2019 |
| 1807-1600 | Holos | A1 | ESCI – 0.01 em 2019 |
| 0121-3814 | Revista de la Facultad de Ciencia y Tecnologia | A1 | Sem indexação em ISI ou Scopus |
| 2178-1974 | Design e Tecnologia | A1 | Sem indexação em ISI ou Scopus |
| 1983-2117 | Ensaio | A1 | Scopus – Percentil 40 em 2019 |
| 1678-4561 | Ciência & Saúde Coletiva | A1 | SSCI Percentil 50 em 2019 |
| 1068-2341 | Education Policy Analysis Archives | A1 | Scopus – Percentil 53 em 2019 |
| 1981-5344 | Perspectivas em Ciência da Informação | A2 | Scopus – Percentil 47 em 2019 |
| 1808-2882 | Custos e Agronegócio (online) | A3 | Scopus – Percentil 15 em 2019 |
| 1679-1827 | GESTÃO.ORG | A4 | Sem indexação em ISI ou Scopus |
De acordo com o documento Relatório do Qualis Periódicos[10], que descreve os procedimentos empregados para a classificação dos periódicos que apresentaram o maior número de publicações por programas da área das Engenharias III:
- Os periódicos sem índices CiteScore ou FI e não imputados foram classificados no estrato C.
- Os títulos identificados como não periódicos foram classificados como NP.
- a área decidiu por não realizar ajustes nos estratos de referência
Foram verificados na Lista do Qualis 2017-2020, presente no site da Plataforma Sucupira[11], diversas publicações sem indexação em Scopus ou JCR (Tabela 5), ou Séries de Conferência (Não Periódicos) que receberam tratamento de Periódicos e Classificação (Tabela 6).
Tabela 5: Exemplos de revistas com classificação A1 ou A2 na Avaliação Quadrienal 2021, sem indexação no JCR ou Scopus
| ISSN | Título do Periódico | Qualis |
| 2316-7548 | ADMINISTRAÇÃO DE EMPRESAS EM REVISTA | A1 |
| 1808-3129 | DAPESQUISA | A1 |
| 2178-1974 | DESIGN & TECNOLOGIA | A1 |
| 1809-046X | ESTAÇÃO CIENTÍFICA (FESJF. ONLINE) | A1 |
| 0121-3814 | REVISTA DE LA FACULTAD DE CIENCIA Y TECNOLOGIA | A1 |
| 1982-5153 | ALEXANDRIA | A2 |
| 2237-9029 | DESENVOLVIMENTO REGIONAL EM DEBATE | A2 |
| 2317-7837 | ESPAÇO E ECONOMIA | A2 |
| 1984-0292 | FRACTAL REVISTA DE PSICOLOGIA | A2 |
| 1981-1543 | GESTÃO E TECNOLOGIA DE PROJETOS | A2 |
Tabela 6: Séries de Conferência classificadas como periódicos nas Engenharias III na Avaliação Quadrienal 2021
| ISSN | Título do Periódico | Qualis |
| 0148-7191 | SAE TECHNICAL PAPER SERIES | B1 |
| 0148-7191 | SAE TECHNICAL PAPERS | B1 |
| 1743-3509 | BUILT ENVIRONMENT | B1 |
| 1743-3509 | THE BUILT ENVIRONMENT | B1 |
| 1743-3509 | WIT TRANSACTIONS ON THE BUILT ENVIRONMENT | B1 |
| 1743-3509 | WIT TRANSACTIONS ON THE BUILT ENVIRONMENT (ONLINE) | B1 |
| 1743-3533 | WIT TRANSACTIONS ON ENGINEERING SCIENCES | B4 |
| 1743-3533 | WIT TRANSACTIONS ON ENGINEERING SCIENCES (ONLINE) | B4 |
| 1757-8981 | IOP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING | B2 |
| 1757-8981 | IOP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING (MSE) | B2 |
| 1757-8981 | IOP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING (PRINT) | B2 |
| 1757-899X | IOP CONF.SERIES: MATERIALS SCIENCE AND ENGINEERING | B2 |
| 1757-899X | IOP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING | B2 |
| 1757-899X | IOP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING (ONLINE) | B2 |
| 1938-5862 | ECS TRANSACTION | B1 |
| 1938-5862 | ECS TRANSACTIONS | B1 |
| 1938-5862 | ELECTROCHEMICAL TRANSACTION | B1 |
| 1938-6737 | ECS TRANSACTIONS | B1 |
| 1938-6737 | ECS TRANSACTIONS (ONLINE) | B1 |
| 2194-9050 | ISPRS ANNALS OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES | A4 |
Recomenda-se que periódicos sem indexação Scopus ou Web of Science recebam critérios de trava no âmbito da avaliação das Engenharias III. Por exemplo, artigos em periódicos fora de listas de indexação não poderão representar mais de 10% das publicações de um programa.
Para séries de conferência, recomenda-se adotar o mesmo critério adotado para anais de congressos.
Sobre o Qualis Eventos
O Documento Qualis Artístico / Classificação de Eventos[1.2]diz, na página p. 7, como Critério Obrigatório para avaliação de Eventos:
Publicação de trabalho completo nos Anais: Apesar de incentivar e registrar as demais formas de publicação (trabalhos curtos, resumos e resumos expandidos), a publicação de trabalhos completos é a forma reconhecida de divulgação de resultados de pesquisa.
Foi verificado que alguns eventos que publicam resumos como o EPPGEP (B1) ou a POMS Conference (A1) receberam tratamento como se tivessem publicado trabalhos completos. O ENEGEP foi classificado como B1, publicando textos completos, e o IJCIEOM (que publica artigos completos em livro editado pela Springer e indexado pela Scopus) recebeu classificação A3. Ambos os eventos, um de caráter nacional e outro de caráter internacional, são promovidos pela ABEPRO.
Recomenda-se a adoção de critérios mais objetivos de classificação de conferências, que permitam a estratificação em prazos mais curtos. Apresentamos, assim, um conjunto de sugestões para facilitar a identificação dos estratos do Qualis Eventos da Área Engenharias III:
A1
A definição do estrato A1 é dada no Relatório da Quadrienal é a seguinte:
Evento promovido por sociedade científica ou grupos de cientistas com reconhecimento internacional. Participação majoritária de autores e palestrantes convidados de diversos continentes. Comitê científico composto por referências acadêmicas de diversos continentes.
Além da definição presente no Relatório da Quadrienal, a ABEPRO sugere a inclusão dos seguintes itens:
- Publicação de trabalhos completos em Anais com Editora reconhecida e de âmbito internacional.
- Indexação em pelo menos uma das bases de dados bibliográficos usada para estratificação de periódicos – Scopus ou ISI (Conference Proceedings Citation Index)
A3
A definição do estrato A3 é dada no Relatório da Quadrienal é a seguinte:
Evento promovido por sociedade científica ou grupos de cientistas com reconhecimento internacional. Natureza multinacional dos participantes autores e dos palestrantes convidados. Comitês organizador e comitê científico multinacionais.
Além da definição presente no Relatório da Quadrienal, a ABEPRO sugere a inclusão dos seguintes itens:
- Publicação de trabalhos completos em Anais com ISSN.
- Registro com Digital Object Identifier (DOI) dos artigos publicados
B1
A definição do estrato B1 é dada no Relatório da Quadrienal é a seguinte:
Evento científico promovido por sociedade científica brasileira ou por grupo de cientistas brasileiros com reconhecimento nacional e internacional. Participação majoritariamente de autores brasileiros.
Além da definição presente no Relatório da Quadrienal, a ABEPRO sugere a inclusão dos seguintes itens:
- Publicação de trabalhos completos em Anais com ISSN.
- Registro com Digital Object Identifier (DOI) dos artigos publicados
B3
A definição do estrato B3 é dada no Relatório da Quadrienal é a seguinte:
Eventos promovidos no Brasil e que não se classifiquem nas categorias Internacional, supranacional ou Nacional.
Além da definição presente no Relatório da Quadrienal, a ABEPRO sugere a inclusão dos seguintes itens:
- Publicação de trabalhos completos em Anais com ISSN.
- Registro com Digital Object Identifier (DOI) dos artigos publicados
Conclusão
Este documento reúne um conjunto de visões da ABEPRO – Associação Brasileira de Engenharia de Produção – acerca do processo de estratificação Qualis e apresenta um conjunto de propostas para aprimoramento do processo de avaliação da pós-graduação brasileira na Área das Engenharias III. O documento apresenta sugestões para as seguintes publicações:
- Publicações predatórias
- Publicações removidas de bases de indexação
- Publicações sem indexação e séries de conferências
- Anais de conferências
A ABEPRO cumpre seu papel de ser entidade representativa da Engenharia de Produção no Brasil, e reafirma que continuará a colaborar com os órgãos de fomento de modo a promover melhorias nos processos avaliativos da pesquisa brasileira.
[2] https://predatoryreports.org
[3]https://predatoryreports.org/the-list
[4] Lund, B.; Wang, T. An Analysis of Spam from Predatory Publications in Library and Information Science. Journal of Scholary Publishing, v. Vol. 52, n. 1.
[8] https://www.gov.br/capes/pt-br/centrais-de-conteudo/relatorio-qualis-eng3-pdf
[9] https://www.gov.br/capes/pt-br/centrais-de-conteudo/relatorio-qualis-eng3-pdf
[10] https://www.gov.br/capes/pt-br/centrais-de-conteudo/relatorio-qualis-eng3-pdf