Editorial Especial

Abstract

As bolsas de produtividade em pesquisa (PQ) distribuídas anualmente pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) historicamente geram uma série de inquietações na comunidade científica. Com o objetivo de esclarecer esta comunidade em relação aos critérios adotados pelo Comitê de Assessoramento (CA) Multidisciplinar em Saúde para concessão de bolsas PQ, resolvemos produzir este texto.

Um ponto fundamental é ressaltar que as bolsas PQ deste CA são distribuídas prioritariamente para pesquisadores com formação inicial nas áreas do comitê e vínculo institucional com unidades, departamentos ou programas de pós-graduação das áreas. Atividades de orientação em programas não credenciados pela Coordenação de Aperfeiçoamento de Pessoal de Ensino Superior (CAPES) são desconsideradas, assim como produções científicas não relacionadas com as áreas do comitê.

Deve-se destacar que existem critérios mínimos para ingresso em cada nível, publicamente divulgados no sítio do CNPq na internet. Chama atenção que continuamos a receber inúmeros pedidos que não se enquadram nesses critérios mínimos, inclusive de alunos de graduação ou pós-graduação.

Um diagnóstico da situação do CA é necessário. A Educação Física possui atualmente 85 bolsas vigentes, a Fisioterapia e a Terapia Ocupacional possuem 65 cotas e a Fonoaudiologia tem 51 bolsas PQ. As bolsas da Educação Física estão distribuídas entre oito estados da Federação, sendo que 40% estão alocadas a docentes do Estado de São Paulo. As bolsas da Fisioterapia e Terapia Ocupacional estão alocadas a pesquisadores de sete estados, sendo que 63% dos bolsistas trabalham no Estado de São Paulo. Na Fonoaudiologia, as bolsas estão concentradas em seis estados, sendo 71% delas alocadas a pesquisadores vinculados a instituições paulistas.

Do total de bolsas do CA, 62,5% são de nível 2, 18,5% são 1D, 5,5% são 1C, 8,5% são do nível 1B e 5,0% são do nível 1A. Estes percentuais estão em desacordo com as normas do CNPq, que sugerem 10% das bolsas nos níveis 1A e 1B e 50% no nível 2. O CA redigiu documentos à direção do CNPq solicitando reversão desse cenário, com aumento das cotas 1, em especial nos níveis 1A e 1C. Chama atenção também que, nos últimos três julgamentos, não houve qualquer alocação de cotas novas para nosso CA. O assunto também foi abordado em documento recente enviado à direção do CNPq.

A seguir, apresentaremos algumas informações sobre o julgamento das bolsas PQ no ano de 2015. A tarefa mais complexa da avaliação foi definir os indicadores a serem incluídos no algoritmo de cálculo, com respectivos pesos. O CA optou por utilizar cinco indicadores, com os seguintes pesos: produção científica no período avaliado (35%), orientações (25%), índice H do Institute for Scientic Information – ISI (20%), média de citações por artigo, calculada a partir da base Scopus (15%), e projeto de pesquisa submetido (5%). Deve-se ressaltar que tais critérios somente foram aplicados aos solicitantes que se enquadravam nos critérios mínimos divulgados no sítio do CNPq. Por exemplo, pesquisadores com atuação predominante em outras áreas ou que não atingiam os critérios mínimos de orientação e produção científica foram eliminados nesse primeiro estágio da avaliação.

Cada um desses indicadores possui um algoritmo específico de cálculo padronizado, sendo que o escore final varia de 0 a 100. No caso dos projetos, são avaliados por dois pareceristas ad-hoc. O conceito “Excelente” equivale à nota 5, o conceito “Bom” equivale à nota 3, o conceito “Regular” equivale à nota 2 e o conceito “Fraco” equivale à nota 1. A média das duas avaliações é utilizada no escore final. No julgamento de 2015, apenas 16% dos projetos foram classificados como “Excelente” pelos dois avaliadores.

No que se refere ao índice H, inicialmente é feito o cálculo do percentil 95 da distribuição, sendo este valor equivalente ao escore máximo (20). O escore de cada pesquisador é calculado por regra de três em comparação ao valor do percentil 95. Em termos brutos, o índice H médio dos solicitantes no ano de 2015 foi de 5,2, variando de 0 a 19. O percentil 95 correspondeu ao valor 13. O índice H médio dos solicitantes da Educação Física foi de 5,4, comparado com 6,0 na Fisioterapia e Terapia Ocupacional e 3,0 na Fonoaudiologia.

Em relação às citações, o cálculo é feito de forma idêntica ao utilizado para o índice H. Em termos brutos, a média de citações por artigo foi de 5,6, sendo o escore médio de 5,2 citações/artigo na Educação Física, 6,6 na Fisioterapia e Terapia Ocupacional e 4,0 na Fonoaudiologia.

O escore de produção científica é calculado de forma complexa. Cada artigo publicado em revistas com fator de impacto acima de quatro equivale a 100 pontos. O peso das publicações em revistas com menor impacto vai decrescendo, chegando a 50 para publicações em periódicos com fator de impacto entre 0 e 0,5 e 10 para produções em revistas sem fator de impacto. Artigos publicados em revistas sem revisão por pares são desconsiderados. Cada livro equivale a 80 pontos e cada capítulo de livro equivale a 40 pontos. Um bônus é dado para artigos publicados como primeiro ou último autor, e depois como segundo ou penúltimo autor. Este algoritmo gera um escore contínuo, o qual é depois processado da mesma forma como foi descrito para o índice H e índice de citações.

Nas orientações, são atribuídos três pontos para orientações de doutorado concluídas, dois pontos para supervisões de pós-doutorado concluídas e um ponto para orientações de mestrado concluídas. Metade desses valores é atribuído a orientações em andamento. O escore final com peso 25 é calculado de forma similar ao realizado para os outros indicadores. No entanto, esse indicador possui valor teto, equivalente à titulação de 0,5, para doutores, e 1, para mestre, por ano. Todos os docentes que atingem esses valores recebem o escore máximo no quesito orientações.

O escore contínuo, com peso 100, correlaciona-se com todos os indicadores. A correlação mais forte foi com o índice H (r=0,83), seguido da produção científica (r=0,73), citações médias (r=0,66), orientações (r=0,58) e projeto de pesquisa (r=0,42). O escore médio final foi de 47 pontos entre os solicitantes da Educação Física, 48 entre os solicitantes da Fisioterapia e Terapia Ocupacional e 36 entre os solicitantes da Fonoaudiologia.

Tendo em vista a disponibilidade de cotas de renovação no ano de 2015, foi possível atender a 30% da demanda da Educação Física, 31% da demanda da Fisioterapia e Terapia Ocupacional e 49% da demanda da Fonoaudiologia. Tais números comprovam a competividade do sistema e estimulam esse CA a buscar o aprimoramento dos critérios de avaliação continuamente.

O CA procedeu então a uma série de análises comparando os pesquisadores contemplados e não contemplados com cotas no ano de 2015. Na Educação Física, o índice H médio dos contemplados foi 8,3, contra 2,0 entre os não contemplados. A média de citações foi de 8,2 entre os contemplados e 2,7 entre os não contemplados. Na Fisioterapia e Terapia Ocupacional, as diferenças foram menores. O índice H médio dos contemplados foi de 7,6, comparado com 4,8 entre os não contemplados. As médias de citações foram de 11,1 e 4,1, respectivamente. Na Fonoaudiologia, o índice H médio dos contemplados foi de 3,6, contra 1,8 entre os não contemplados. As citações médias foram de 4,6 entre os contemplados e 2,0 entre os não contemplados.

O CA gostaria de utilizar este espaço para fornecer algumas sinalizações para a área. O preenchimento dos currículos Lattes deve ser aprimorado; detectamos muitos casos de resumos de eventos inseridos como “Artigos Completos Publicados em Periódicos” nos currículos dos solicitantes. Da mesma forma, editoriais e cartas ao editor nem sempre foram claramente identificados dessa forma pelos solicitantes. Existe uma tendência no comitê a valorizar cada vez mais a qualidade da produção científica, em detrimento de uma avaliação baseada apenas em quantidade. No julgamento de 2014, o escore de produção possuía peso de 50 pontos, tendo sido reduzido para 35 pontos em 2015. O índice H duplicou de valor, assim como aumentaram os pesos do índice de citações e histórico de orientações.

Não poderíamos deixar de utilizar este espaço para agradecer aos pareceristas ad-hoc do CA. No entanto, algumas reflexões devem ser feitas. Em muitos casos, os pareceres são excessivamente sucintos, impedindo uma compreensão mais adequada dos projetos submetidos. Além disso, deve-se destacar que a avaliação global do parecer ad-hoc para as bolsas PQ deve focar o projeto submetido, e não o currículo do proponente, o qual é avaliado pelos demais indicadores aqui descritos. Por fim, é fundamental que os pareceristas julguem as propostas com base nos critérios estabelecidos pelo CA.

Por fim, o CA compromete-se a divulgar publicamente os resultados detalhados de todos os julgamentos realizados, tendo como único limite as restrições legais impostas pelo CNPq e pela Constituição Federal. Solicitantes devem se sentir à vontade para enviar mensagem eletrônica para os membros do CA caso possuam qualquer dúvida sobre o julgamento ou suas pontuações gerais e específicas para cada indicador.

Este editorial está sendo publicado simultaneamente nas revistas Brazilian Journal of Physical Therapy, Cadernos de Terapia Ocupacional da UFSCar, CoDAS e Movimento, sendo também divulgado no sítio do CNPq. O objetivo desta publicação conjunta é atingir os pesquisadores das diferentes áreas que compõem o CA. Espera-se que esta publicação estimule um amplo debate científico de constante aperfeiçoamento dos critérios de avaliação do CA.