Nesse episódio quer falar com vocês sobre a forma mais tradicional e mais conhecida de avaliação que é feita usando o que chamamos de Indicadores Bibliométricos. Estes são bem conhecidos de todos que atuam na academia e têm como característica em comum, serem quantitativos.   

Recomendo a leitura do artigo de David Moher e coautores: Assessing scientists for hiring, promotion, and tenure. PLoS Biol 16(3): e2004089. https://doi.org/10.1371/journal.pbio.....   

David Moher é um epidemiologista de renome internacional, mais conhecido talvez pelo seu trabalho pioneiro junto com outros colegas no desenvolvimento da rede EQUATOR (Enhancing the Quality and Transparency Of health Research; https://www.equator-network.org/) utilizada por uma expressiva maioria de pesquisadores da área da saúde, no mundo todo.    

Por favor anotem também que a rede tem inclusive uma série de documentos já traduzidos para o português num trabalho capitaneado por Michael Schlussel (clique aqui para ver vídeo deste trabalho (https://www.youtube.com/watch?v=z9a_u... ) e até a próxima!

Atualmente, avaliação tem significados diferentes se você trabalhar numa empresa ou corporação, na academia, no ensino ou até como consultor.

A propósito de um editorial da Nature com o instigante título: How to bounce back from a PhD-project failure (https://www.nature.com/articles/d4158...) onde alunos de doutorado contam suas histórias pessoais sobre como venceram os obstáculos para chegar a defender a sua tese, me lembrei de causos ocorridos com os meus alunos também.   

Nesse artigo, e em muitos outras páginas da internet, há histórias de “getting scooped” que é uma gíria acadêmica para ser pego de surpresa pela publicação do seu trabalho por outra pessoa, de não conseguir estabelecer a metodologia ou obter os dados que precisava para desenvolver o trabalho, de não se identificar com a linha de pesquisa do laboratório e ter de trocar de assunto e mesmo de orientador, de perder o próprio orientador ou o financiamento, ou ainda, de quase perder o prazo por causa da proibição de viajar na pandemia.

Nesta série, procuro contar experiências pessoais vividas por mim e que, de alguma, forma, obrigaram a decisões cientificamente íntegras, ou seja, honestas, objetivas, transparentes e éticas. Hoje vou rapidamente falar sobre uma observação constante ao longo de décadas de atividade na pesquisa científica. Trata-se da dificuldade que todos nós temos de nos expor em público. 

Aprendemos a evitar de dizer besteiras, de se expor em público, de levantar a voz quando não concordamos, em nome de uma cordialidade com o próximo. Acontece que, na ciência, duvidar é preciso, perguntar é preciso, se expor é preciso, elaborar pensamentos e colocá-los à prova é preciso, exercitar a sua curiosidade é preciso, participar de debates é preciso e, até expressar em voz alta uma questão que parece menor ou incorreta é preciso!

Albert Einstein é famoso pelas suas frases a respeito desse tema. Seguem algumas joias do seu pensamento:

· Aprenda a partir de ontem, viva pelo presente e almeje o amanhã. O importante é não parar de questionar!

· Não podemos resolver os nossos problemas usando os mesmos pensamentos de quando os criamos.

· Uma pessoa que nunca errou, nunca tentou algo novo

E não deixem de visitar a temporada um da série Goldflix

Nesse podcast, vou abordar um tema que, para muitos de meus ouvintes é uma caixa preta, sendo considerada como uma obrigação do pesquisador mais experiente e, também, um skillaprendido, que não se encontra detalhado em manuais. Uma busca no youtubetraz vários vídeos explanatórios que não ensinam realmente as sutilezas inerentes ao processo.

É a famosa revisão por pares ou, em inglês, peer review. Por exemplo como fazer a revisão de projetos de pesquisa, de teses, de monografias, de manuscritos a submeter e quais as diferenças mais importantes entre todos eles? Como se relacionar com os jornais que solicitam a sua revisão como par? Como avaliar se tenho o conhecimento necessário para efetuar essa revisão se nem sequer tenho acesso prévio ao manuscrito? Como avaliar possíveis conflitos de interesse, caso conheça o pesquisador, seja um colaborador eventual dele ou atue em uma linha de pesquisa muito similar a dele? Como proceder ao avaliar um manuscrito ou tese de qualidade duvidosa ou necessitando de um trabalho intensivo de melhoria?

Bom, começo aqui por informar que você não está só. Essa é uma questão generalizada no mundo acadêmico e tem sido alvo de muitos artigos e editoriais que discutem a busca de aperfeiçoar esse sistema, torná-lo mais justo e equitativo, aumentar a diversidade dos revisores, tornar os critérios de avaliação mais padronizados, e até, eventualmente, tornar o processo pago.

Um editorial de junho de 2022 (https://www.insidehighered.com/news/2022/06/13/peer-review-crisis-creates-problems-journals-and-scholars) aponta para uma questão premente: o esgotamento do sistema e dos pesquisadores que regularmente contribuem para as revistas na qualidade de revisores, um problema agravado pela pandemia e o extraordinário crescimento de artigos a publicar em certas áreas de atuação, notadamente nas ciências da saúde. Um dos resultados mais visíveis é o atraso no processo de publicação dos artigos, o que representa uma perda importante de divulgação de novo conhecimento de qualidade para a sociedade. De fato, um artigo publicado em março de 2022 pelo grupo de David Moher, mostra que uma minoria, composta primordialmente por homens localizados na Europa e na Ásia, revisavam mais de 100 manuscritos por ano, contrastando com o grupo controle, onde 2/3 eram homens, europeus e norte-americanos (ver comentário em https://revistapesquisa.fapesp.br/o-enigma-dos-revisores-muito-produtivos/) que revisavam no máximo 12 artigos/ano. Chama a atenção o número de manuscritos revisados, em média 1 a cada 3 ou 4 dias: Será que a qualidade dessas revisões é boa?  Outro editorial, desta vez na Nature Reviews Nephrology de maio de 2022 (https://www.nature.com/articles/s41581-022-00569-w) reforça a importância deste processo dentro da lista de tarefas efetuadas para cada manuscrito submetido e informa que que o sistema de submissão agora permite que o revisor se identifique e registre a sua atividade na base de dados ORCID, em retribuição ao esforço e tempo demandado no desempenho desta tarefa. Aliás, vale a pena consultar a extensa lista de checagem de cada manuscrito submetido, do grupo Nature (https://www.nature.com/nrneph/editorial-input-and-checks), da qual a revisão por pares é uma das muitas etapas do processo. Interessante notar que é muito apreciada e estimulada a mentoria e supervisão de jovens pesquisadores, buscando formar a próxima geração de bons revisores. 

Meus caros: Sentiram falta do podcast do último dia do congresso? Pois é, estava aproveitando para fazer um pouco de turismo na belíssima cidade do Cabo.

Hoje o dia foi um pouco mais curto pois iremos ao jantar de gala mais tarde, mas, ainda assim, muito significativo, com foco em questões mais humanitárias e suas interfaces com a integridade científica.

Olá, conto hoje das atividades do dia 2 do congresso internacional de integridade científica, ocorrendo aqui na Cidade do Cabo. O pano de fundo é sempre a discussão da integridade científica num mundo desigual e como produzir e aperfeiçoar o Cape Town Statement, para além do que já consta das declarações anteriores (Hong Kong Declaration, princípios FAIR, DORA, e assim por diante).

Vou contar um pouco do primeiro dia do congresso direto da Cidade do Cabo.

Ao longo da minha vida profissional eu tive ocasião de participar ativamente da construção ou da implantação de uma série de laboratórios. Fiz a conta ainda outra dia. Foram 7! Vou contar para vocês hoje, um pouco dessa história.