Paper – How to exploit ChatGPT for Large-Scale Citation Fraud on Google Scholar

In the past, I have criticized the scientist rankings produced by Research.com because they are based on Google Scholar, which has well-known limitations. Specifically, these rankings do not satisfy any of the three fundamental criteria: disambiguation, removal of self-citations, and fractional counting. 

Recently, researchers from New York University identified an additional and highly concerning limitation in Google Scholar’s citations. Their study demonstrated that it is possible to create a profile for a fictitious author and upload fabricated articles generated by ChatGPT to ResearchGate. These fake articles can then cite the fictitious author, artificially boosting their citation count on Google Scholar. As noted on page 15 of the study:

“Google Scholar neither censored the profile, nor reached out for further verification, despite the numerous red flags: (i) having an affiliation that does not exist; (ii) 100% of their 380 citations are stemming from their own papers; and (iii) all of their papers are ChatGPT-generated without any scientific contributions whatsoever” https://arxiv.org/pdf/2402.04607

This demonstrates that Google Scholar citations have limited value and should never be used to rank scientists. Instead, citations from publications indexed in Scopus or Web of Science are more valuable. This assertion is supported by Clarivate Analytics’ success in predicting the names of 75 Nobel laureates using a citation-based methodology.

PS – There is only one global ranking of scientists that meets all three fundamental criteria: disambiguation, removal of self-citations, and fractional counting.

Nem todas as citações valem o mesmo: Há as que tem muito valor, há as que tem valor nulo (auto-citações) e há até as de valor negativo

Sobre o tal ranking de cientistas da treta, que critiquei num post anterior, porquanto é baseado nas citações da plataforma Google Académico, que indexa publicações que nem sequer passaram pelo processo de revisão tradicional e outras de muito reduzido valor académico, convém também acrescentar as publicações fictícias, vide recente estudo que mostrou que é possível criar um perfil de um autor fictício e depois carregar artigos da treta produzidos pelo ChatGPT, na plataforma ResearchGate que citam esse autor, dessa forma gerando citações fictícias no seu perfil do Google Académico, que em boa verdade valem menos do que zero  https://arxiv.org/pdf/2402.04607

Na página 15 do artigo pode ler-se que, “o Google Académico não censurou o perfil, nem procurou uma verificação adicional, apesar dos numerosos sinais de alerta: (i) possuir uma afiliação que não existe; (ii) 100% das suas 380 citações provêm dos seus próprios artigos; e (iii) todos os seus artigos são gerados pelo ChatGPT, sem nenhuma contribuição científica”

Moral da história, as únicas citações com valor são somente aquelas da Scopus e da Web of Science, como o prova a metodologia, da Clarivate Analytics, baseada em artigos excepcionalmente citados, que já conseguiu acertar no nome de 75 prémios Nobel.  Citações com valor são também aquelas que podem ser aferidas pelo indíce-K (sem auto-citações). Que é uma métrica que foi apresentada pela primeira vez em 2018, na revista científica Physica A: Statistical Mechanics and its Applications, e a qual é mais robusta do que o h-index, pois provou-se que apresenta uma maior correlação com o prémio Nobel. 

Declaração de interesses – Declaro que o índice-K (Scopus) do dono deste blogue é 178, tendo porém em conta que em 2019 o valor desse índice-k era 76, isso significa que nos últimos cinco anos aumentou mais de 130%, curiosamente no mesmo período, o índice-K da famosa (quase Nobel) catedrática Elvira Fortunato aumentou apenas 42% https://pacheco-torgal.blogspot.com/2019/12/lista-actualizada-de-50-cientistas.html

Imperfection as Catalyst: Anarchy and the Progress of Science in the 21st Century

When considering anarchy as a strategy for organizing science in the 21st century (refer to the post of March 6), it’s worth examining a recent paper by a scientist from the University of Southern California. The study posits that life inherently thrives on a certain degree of instability. While stable systems tend to resist change and risk becoming obsolete, unstable systems strike a delicate balance, allowing for adaptation without descending into excessive chaos.

Unfortunately, among the 202 references cited in that paper, none pertain to the book “Genesis: The Story of How Everything Began” by physicist Guido Tonelli. In his book, Tonelli emphasizes the necessity of imperfection, asserting that perfection is not conducive to progress, “if we want…dynamics, we must not ask for perfection”   https://pacheco-torgal.blogspot.com/2020/07/perfection-is-not-destiny-of-universe.html

But if imperfection is what we really need, then it’s crucial to honor narratives of failure as much, if not more, than those of success, echoing Tim Leberecht’s sentiments in ‘Gegen die Diktatur der Gewinner.‘ A book that I previously emphasized in a post dated January 7, 2024. Consequently, the emerging motto ought to be: ‘One who has never failed has yet to impart true wisdom“. Furthermore, since only those who have taken risks can experience failure, this leads to another important principle: “If you have never risked anything, you have accomplished very little of true significance.”

Porque é que uma universidade pública Portuguesa pode fazer comunicados pouco rigorosos e até reveladores de ignorância ?

Alguém me fez chegar uma alegada “noticia” com o fantasioso título “UBI é a melhor universidade portuguesa em ranking de academias com menos de 50 anos”, onde se fica a saber que aquela universidade achou boa ideia fazer publicidade ao ranking da treta da Times Higher Education. https://www.ubi.pt/Noticia/7769

Que ironicamente alcança exactamente o oposto do pretendido, ao invés de elevar a UBI até a consegue diminuir. Como um caçador que consegue a proeza, de com um único tiro, acertar não no alvo pretendido, mas simultaneamente nos dois pés !

Posso admitir que muitos naquela universidade não leram aquilo que eu escrevi em 12 de setembro de 2019,  quando o ranking da treta da Times Higher Education, colocou a universidade Católica, como a melhor universidade Portuguesa, mas será que andam tão distraídos da realidade, que não leram, ou nem ouviram falar de nenhum dos dois artigos do então Presidente da A3ES, tendo o primeiro sido publicado em 23 de Setembro de 2019, onde reduziu a pó o referido ranking ? https://pacheco-torgal.blogspot.com/2019/10/presidente-da-a3es-explica-pela-segunda.html

Se o tal ranking da Times Higher Education valesse de facto alguma coisa, teria sido mencionado no documento de título “Europe – the Global Centre for Excellent Research“, onde porém só é mencionado um único ranking (Shanghai), que não por acaso é o único ranking mundial, que utiliza o número de prémios Nobel, como critério de seriação. Será provável que os investigadores da UBI ganharam recentemente algum prémio Nobel e eu sou a única pessoa em Portugal que não tomei conhecimento disso ?

A prova que o referido ranking é apenas treta, é muito fácil de fazer, basta selecionar algumas universidades estrangeiras que o ranking da treta coloca abaixo da UBI e comparar o desempenho de ambas no ranking Shanghai. Como é que é possível acreditar que a UBI, que possui apenas uma única área científica classificada no ranking Shanghai, poderia algum dia ter um desempenho superior a universidades que possuem várias áreas científicas com essa classificação e ainda por cima quando algumas delas até fazem parte do Top 100 mundial ?

Comparação da UBI com algumas  (“jovens”) universidades no ranking Shanghai:

UBI…………………………….Uma única área cientifica classificada, na posição 401-500 

U.Lleida………………………4 áreas cientificas classificadas

U.Ramon Lull………………5 áreas cientificas classificadas

U.Girona…………………….6 áreas cientificas classificadas

U.Carlos III Madrid……..8 áreas cientificas classificadas, duas no top 100 mundial

U.Stavanger………………..8 áreas cientificas classificadas, duas no top 100 mundial

U.Minho……………………10 áreas cientificas classificadas, duas no top 100 mundial

U.Nova…………………….. 17 áreas cientificas classificadas

U.Guanzhou………………20 áreas cientificas classificadas, duas no top 100 mundial

PS – Ainda sobre o ranking da treta da Times Higher Education revisite-se o post de 27 de Novembro de 2023 onde recordei o óbvio ululante https://19-pacheco-torgal-19.blogspot.com/2023/11/cursos-que-nao-valem-o-dinheiro-que.html

Reflexões sobre o valor transformador do sofrimento na busca de significado

Sobre o post anterior, de 2 de Julho de 2022, com o título “Porque é que uma vida com significado é impossível sem sofrimento?“, reproduzo abaixo, a resposta do modelo de inteligência artificial generativa Microsoft Copilot, quando lhe é solicitada uma segunda análise, depois da primeira revelar alguma escassez e pior do que isso, alguma superficialidade. Ainda assim a resposta peca pela incapacidade de citar trabalhos académicos de referência, omissão essa que a ferramenta de inteligência artificial generativa Scopus AI, consegue colmatar de forma bastante expedita, mencionando vários artigos, dos quais cito apenas um, de investigadores da Universidade de Harvard “Suffering, authenticity, and meaning in life: Toward an integrated conceptualization of well-being”.

“A análise mais profunda dos textos mencionados e do filme “Cavaleiro de Copas” revela uma rica tapeçaria de ideias sobre o sofrimento e o significado da vida. Vamos explorar cada um deles em detalhes.

Artigos da Scientific American: Os artigos da Scientific American abordam diferentes aspectos do significado da vida. Um artigo discute a “apreciação experiencial”, que é a capacidade de encontrar beleza e valor nas pequenas coisas do dia a dia, sugerindo que isso pode ser tão significativo quanto ter um propósito de vida abrangente. Outro artigo explora o conceito de “crescimento pós-traumático”, onde as pessoas encontram significado e crescimento pessoal após experiências traumáticas. Esses artigos sugerem que o significado pode ser encontrado tanto na apreciação das belezas quotidianas quanto na transformação do sofrimento em algo positivo.

Filme “Cavaleiro de Copas”: O filme de Terrence Malick, “Cavaleiro de Copas”, utiliza uma abordagem impressionista para contar a história de um homem em busca de significado. A narrativa é pontuada pelas vozes dos personagens, que oferecem reflexões sobre a vida e o sofrimento. A citação de Armin Mueller-Stahl no filme sugere que o sofrimento pode nos ligar a algo maior do que nós mesmos, indicando uma jornada espiritual que transcende o mundo material.

Conexão entre os Artigos e o Filme: Tanto os artigos quanto o filme abordam a ideia de que o sofrimento não é apenas uma experiência negativa a ser evitada, mas também pode ser uma fonte de significado e crescimento. O sofrimento escolhido, como o associado a desafios autoimpostos ou sacrifícios por uma causa maior, pode levar a um senso de realização e propósito. Por outro lado, o sofrimento aleatório, como o causado por doenças ou tragédias, também pode ser integrado em uma narrativa de vida significativa, onde se busca compreensão e transcendência.

Implicações Filosóficas e Psicológicas: Essas perspectivas têm implicações filosóficas e psicológicas profundas. Elas desafiam a noção de que a felicidade e a ausência de sofrimento são os únicos indicadores de uma vida boa. Em vez disso, sugerem que uma vida significativa pode envolver luta, sacrifício e até dor…

Portugal’s Scientific Publications Expected to Exceed Russia’s by 1600% in 2025

A Scopus search shows that before the war, Russia produced 11,300 papers per month. When the war began, that number fell to 9,700 papers per month. In 2023, it declined further to 9,300, and by 2024, the scientific production had dropped to just 5,300 papers per month. 

When I requested ChatGPT to simulate monthly Russian scientific production for 2025, the Generative AI predicted that “Russia’s scientific production in 2025 would be approximately 3,710 papers per month.” Surprisingly, this projection falls below Portugal’s scientific output of 4,400 publications per month. 

A subsequent request to ChatGPT for another simulation of Russian scientific production indicated that it could decline by up to 90%, even under the most optimistic scenario of moderate decline:

Scenario 1: Moderate Decline
If the decline continues at a slower but still significant rate (e.g., another 2,000 papers per month). Projected production rate for 2026: 3300−2000=13003300−2000=1300 papers per month.
 
Scenario 2: Continuing Decline at Accelerated Rate
If the decline continues at a similar rate to 2025, the production could drop further by 4,000 papers per month. Projected production rate for 2026: 1300−4000=01300−4000=0 papers per month (practically halting scientific production).

In this context, it is important to underscore that a recent Scopus search for AI-related publications using the keywords “Artificial Intelligence” OR “Machine Learning” OR “Deep Learning” reveals that the scientific production of Russia is now lower than that of Portugal.

When comparing the performance of the two countries in terms of publications per million inhabitants, Portugal’s superiority is strikingly clear. Before the war, Portugal’s ratio was 500% higher than Russia’s. By 2024, this ratio had increased to over 1000%, and it is projected to exceed 1600% in 2025. Notably, in the field of Artificial Intelligence, Portugal’s publication ratio is already 1600% higher than Russia’s.

PS – In 2022, eight months after Russia invaded Ukraine, I predicted that Putin would lead Russia into extreme poverty, reminiscent of an era when Russian teachers were paid in bottles of vodka as their monthly salary. Surprisingly, that moment is arriving quicker than I anticipated. 

Um par de canalhas catedráticos

https://www.science.org/content/article/report-slams-dutch-archaeologist-couple-intimidation-abuse-power-and-theft-human

A conhecida revista Science acaba de publicar um longo artigo sobre um casal de canalhas catedráticos, de uma conhecida universidade Holandesa, que ao longo de vários anos levaram a cabo graves abusos, que permaneceram abafados por conta de uma férrea “cultura de medo” que fomentaram entre os seus alunos e investigadores. 

E será que em Portugal também não haverá catedráticos que sejam igualmente culpados de terem instaurado uma idêntica “cultura de medo” ou será que pelo contrário, deveremos acreditar que no nosso pais só nascem catedráticos imaculados e santos ?

Mas como acreditar em tal hipótese, logo em Portugal, onde vários catedráticos até já foram condenados por terem cometido crimes, como por exemplo aquele catedrático da U.Coimbra condenado por crime de abuso de poder, ou os catedráticos da U.Porto condenados por crimes de assédio, ou o catedrático da U.Coimbra condenado a uma pena de prisão por crimes de abuso de poder e de falsificação de documentos? 

O mais irónico, é que depois de terem sido condenados por conta desses crimes, ainda assim os referidos catedráticos não foram expulsos da Academia, o que prova que na Academia Portuguesa, é muitíssimo mais grave fazer artigos sem credibilidade do que cometer crimes, que o diga aquele professor-auxiliar que foi expulso da universidade do Porto https://www.publico.pt/2021/10/07/sociedade/noticia/professor-universidade-porto-despedido-curriculo-artigos-credibilidade-cientifica-1979552 

PS – E ainda falta saber o que irá acontecer aquela catedrática que está acusada de de assédio moral, sexual, descriminação e ainda de ataque com ácido https://www.rtp.pt/noticias/pais/professora-catedratica-da-faculdade-de-farmacia-do-porto-acusada-de-assedio_v1481138 uma coisa é absolutamente certa, mesmo que venha eventualmente a ser condenada, nunca será expulsa da Academia Portuguesa.

Will Enrico Letta’s Growth Blueprint Save Europe from Economic Armageddon?

Building on the previous post titled “The Economist – The Impending Economic Armageddon in Europe,” please check the latest 147-page report, “Much More Than a Market,” authored by Enrico Letta, President of the Jacques Delors Institute and former Italian Prime Minister. This report, requested by European Commission President Ursula von der Leyen, offers an in-depth analysis of the state of the European single market and includes recommendations to boost the competitiveness of the European economy https://www.delorscentre.eu/en/about/news/detail/content/enrico-letta-unveils-vision-for-a-new-single-market

Amidst these discussions emerges a significant challenge: the need to strike a delicate balance between maintaining Europe’s economic competitiveness and rethinking the unrelenting pursuit of growth as a singular goal. Robert Costanza, Professor of Ecological Economics at University College London, champions this idea, calling for a shift in priorities that integrates ecological sustainability and social well-being into economic models. His approach challenges conventional metrics like GDP, urging a broader, more holistic framework for progress. https://19-pacheco-torgal-19.blogspot.com/2023/12/top-scientist-against-economic-growth.html The pressing question remains: how can we effectively navigate this intricate terrain while fostering innovation, equity, and sustainability?

Um país miserável que tarda em conseguir deixar de o ser

Ontem foi noticia e capa no jornal Público que a Fundação da Ciência e Tecnologia não tem dinheiro para pagar bolsas ou salários, por conta de um “buraco” de mais de 100 milhões de euros. Este é o miserável resultado do desgoverno socialista, que preferiu meter mais de 3000 milhões de euros na TAP (a tal empresa onde havia uns felizardos, como a mulher do Medina, a receber prémios de dezenas de milhares euros) e preferiu também nada fazer no combate à corrupção, que há muito empobrece este país (o conhecido Procurador Euclides Dâmaso, disse até que o Governo de António Costa ainda tornou mais difícil o combate contra a corrupção).  

Sobre esse absolutamente miserável estado de coisas, vale a pena revisitar o post anterior do passado mês de Fevereiro “O que é que falta a Portugal para conseguir ser como a rica Suécia ?” seja na parte das muitas energias que aquele país coloca a tratar da saúde a vigaristas e corruptos, seja no elevado respeito e consideração que os Suecos tem pela Ciência, área onde (por habitante) gastam 500% a mais do que Portugal.

Nem de propósito, hoje no jornal Público, é apresentada uma extensa entrevista, ao longo de duas páginas, ao antigo primeiro-ministro de Itália, Enrico Letta, que dirige o Instituto Jacques Delors, e a quem a presidente da Comissão Europeia, Ursula von der Leyen, solicitou um diagnóstico sobre o estado do mercado único europeu, e ainda um conjunto de recomendações e propostas para recuperar a competitividade da economia europeia. Reproduzo abaixo a muito esclarecedora resposta do referido Enrico Letta à última pergunta que lhe foi feita pela jornalista do Público. Até um atrasado mental a consegue compreender:  

“Sabe, no geral, o meu relatório procura lançar um alarme vermelho. Em todo o relatório há um sentido de urgência relativamente ao fosso que está a aumentar entre nós e os EUA em termos de competitividade. E uma das razões pelas quais este fosso está a aumentar é a inovação. A inovação, os investimentos em inteligência artificial, o papel dos dados, as competências, o conhecimento. Estamos a ficar para trás neste domínio. Coloquei este ponto no topo da minha atenção, porque as quatro liberdades do mercado único — a circulação de bens, serviços, capitais e pessoas — são típicas da economia do século XX…Por isso lancei a ideia da quinta liberdade, para ser possível lançar um espaço único na União Europeia em termos de inovação, de conhecimento, de dados, de inteligência artificial, etc. Talvez tenhamos chegado demasiado tarde a tudo isto, e por isso precisamos de arrepiar caminho, com mais investimento, mais investigação“

Sem surpresa, quando em 29 de Março solicitei ao ChatGPT conselho sobre a forma como a Europa seria capaz de enfrentar o grave choque triplo, que até fez capa numa edição da revista The Economist, a resposta daquela IA generativa, com 8 alíneas, também incluía uma forte aposta na inovação.

PS – Num debate recente, Cotrim de Figueiredo, candidato ao Parlamento Europeu, como cabeça de lista daquele partido que elegeu vários deputados com base em falsidades e mistificações, acusou os candidatos de outros partidos de ignorância económica, sucede porém que se trata do mesmíssimo Cotrim de Figueiredo, que disse à revista Sábado, que os deputados em Portugal são mal pagos, o que mostra que os conhecimentos económicos dele são muito rasteiros e estão afinal ao mesmo nível dos fracos conhecimentos do Pedro Abrunhosa https://pacheco-torgal.blogspot.com/2020/01/os-politicos-deveriam-ter-uma.html

Top 10 dos livros mais citados publicados na última década indexados na Scopus

https://19-pacheco-torgal-19.blogspot.com/2024/03/uma-previsao-falhada-sobre-o-livro-mais.html

Na sequência do post anterior, acessível no link supra, sobre um “gravíssimo” erro de previsão, listo abaixo os 10 livros mais citados, entre quase 1500 (mil e quinhentos) que foram produzidos em Portugal ao longo da última década e indexados na plataforma Scopus. Os livros estão ordenados pelo número de citações, após remoçao das auto-citações:

1 –  Handbook of Alkali-Activated Cements, Mortars and Concretes

2 – An Introduction to Graphene Plasmonics

3 – Visible light communications: Theory and applications

4 –  Handbook of Road Ecology

5 –  Fundamentals of 5G Mobile Networks

6 –  Quantum effects in biology

7 – mmWave Massive MIMO: A Paradigm for 5G

8 – Design of steel structures

9 –  Goods and services of marine bivalves  

10 –   Transdisciplinary perspectives on complex systems

PS – Porque será que na lista supra há vários livros de engenharia e não há um único livro de medicina, muito embora quando se analisa a produção científica da última década, a medicina, seja precisamente a área com mais publicações indexadas ?