U.Stanford: Generative AI Surpasses Humans in Producing Novel Research Ideas

https://19-pacheco-torgal-19.blogspot.com/2024/08/the-list-of-companies-that-are.html

Following up on the previous post about the list of companies producing the most highly cited research and patents in AI (linked above), it’s worth highlighting a recent study by Stanford University researchers on the capabilities of generative AI models in generating novel research ideas.

In the study, over 100 NLP researchers were recruited to generate novel ideas, with blind reviews comparing ideas from both large language models (LLMs) and human experts. The findings showed that LLM-generated ideas were judged to be more novel than those from human experts, though slightly weaker in terms of feasibility https://arxiv.org/abs/2409.04109 

In early August of this year, an article published in the well-known The Economist reported that generative AI models are becoming smarter. This observation allows us to anticipate that this evolution will continue in the coming years, such that the future capabilities of these models will far exceed those we are familiar with today. The limit of this evolution was discussed several years ago by the German scientist Jürgen Schmidhuber, a Scopus Highly Cited Scientist (h-index = 78) https://arxiv.org/pdf/cs/0606081

Declaration of Competing Interests – I am concerned about the reliance on Google Scholar as a primary tool for selecting human experts, Section 4.2, ‘Expert Qualifications.’ A recent study conducted by researchers at New York University has highlighted significant vulnerabilities in Google Scholar’s database, indicating that it is vulnerable to manipulation 

Do sonho à realidade: A fraca produtividade científica nas Faculdades de Direito

Ainda na sequência do post anterior, sobre os bizarros sonhos de uma professora da universidade Nova, que não gosta de revistas científicas, talvez porque não consegue publicar nas mesmas, aproveito para recordar que eu sei alguma coisa sobre a produtividade científica das escolas de Direito Portuguesas, a que dediquei o meu tempo em Agosto de 2018. Informação essa que então partilhei com alguns milhares de Colegas, e um dos que me respondeu, foi um catedrático de Direito da Universidade Nova de Lisboa, António Manuel Hespanha, entretanto já falecido. Vide email no final deste post.

Acresce que eu nem preciso desse facto para sustentar as minhas criticas, basta atentar no teor dos relatórios dos revisores internacionais, que levaram a cabo a última avaliação de todas as unidades de investigação. O painél de revisores que avaliou as unidades da área de Direito, mencionou dezenas de vezes, a importância da publicação em revistas internacionais indexadas e não em revistas caseiras. Mas pelos vistos, mesmo assim, parece que houve quem não tenha percebido essa mensagem, quem sabe talvez na próxima avaliação, eles tenham de chegar ao extremo de fazer um desenho.

PS – O catedrático António Manuel Hespanha, foi um dos investigadores Portugueses da área do Direito, com uma obra altamente citada, o seu perfil no Google Scholar, revela um total de citações superior a 15.000. Em termos comparativos, os catedráticos Jorge Reis Novais, da Universidade de Lisboa e o Paulo Mota Pinto, da Universidade de Coimbra, possuem menos de 4000 citações, e muitos outros professores catedráticos e professores associados daquela área (como a tal supracitada) possuem um desempenho muitíssimo inferior aqueles.


De: António Manuel Hespanha 
Enviado: 23 de Agosto de 2018 21:59
Para: F. Pacheco Torgal
Assunto: Produtividade das Faculdades de Direito

Caro Colega.

Muito interessantes estes números. Isto confirma justamente a minha ideia sobre a pobre produção científica das FDs, que conheço muito bem. Gostava muito de ter os mesmos relativos a Espanha, Itália, França e Alemanha, para testar a hipótese sobre as virtualidades explicativas dos modelos continental e anglo-saxónico do Direito. Não creio que as coisas vão por aí. Embora, nos países que conheço, as FDs não primem pela produção científica, pelo menos nos moldes em que a avaliamos hoje, suspeito que as nossas FDs estejam muito abaixo das suas congéneres de países de referência no continente. Seria possível colher esses números para os países que indico ? 

Muto obrigado.

António Manuel Hespanha

O sonho de uma professora de Direito da Universidade Nova: Elevar uma cadela a catedrática

Uma professora Associada com Agregação, da Universidade Nova de Lisboa, de nome Helena Pereira de Melo, achou boa ideia ser hoje autora de um triste e deplorável artigo no jornal Público, de título “Vanessa Lucrécia publica numa revista jurídica internacional“, onde fala de sonhos, alegadamente ficcionais (acredita quem quer), inclusive do sonho de elevar uma cadela a professora catedrática. Tenho muitas dúvidas que muitos leitores do Público consigam ler sem desagrado o seu infeliz artigo e tenho a certeza que muitos deles, que contribuem para lhe pagar o salário, achem que de uma académica, ainda por cima uma que está quase no topo da carreira, se pode e deve esperar algo menos dissimulado, menos rasteiro, mais edificante e mais instrutivo.

O referido e muito lamentável artigo, evidencia notórias frustrações pessoais da sua autora, com a conhecida base de literatura científica indexada a nível mundial, Scopus, que bem se percebem pelo facto dela só lá possuir uma única solitária publicação. É pena que nenhuma alminha caridosa, lhe tenha explicado a importância crucial daquela base de dados, em especial no contexto do crescimento de revistas “científicas” predadoras, que como informou a revista The Economist em 2020, conseguiram em apenas duas décadas ultrapassar mais de 10.000 https://pacheco-torgal.blogspot.com/2020/06/the-economistin-just-20-years-predatory.html

Declaração de interesses – Declaro que já por diversas vezes critiquei a Universidade Nova, pelo facto daquela, de ano para ano, cada vez mais se afundar no prestigiado ranking Shanghai, ficando abaixo inclusive de universidades de países do terceiro mundo. Recordo também que há apenas dois cursos de Direito em Portugal, que por conta da sua produção científica conseguiram aparecer no último ranking Shanghai por áreas, e como é evidente, entre eles não está o curso da Universidade Nova de Lisboa.

PS – Admito que poderá haver um grupo de pessoas que gostaram bastante do reprovável artigo da professora Associada com Agregação, Helena Pereira de Melo. É um grupo constituído por uma amálgama de três subgrupos, o subgrupo daqueles que nunca foram capazes de publicar em revistas científicas (não predadoras), como aquele professor que foi despedido da universidade do Porto, o danoso subgrupo daqueles que negam evidências científicas (sobre vacinas ou alterações climáticas), e que defendem pseudociências, que não seguem o método científico e finalmente o subgrupo daqueles que defendem que, as opiniões pessoais tem o mesmo valor que o conhecimento cientifico. https://pacheco-torgal.blogspot.com/2020/11/phd-thesis-my-ignorance-is-just-as-good.html

Univ. of Bern’s project rewards close to 3000 euros for finding important errors in papers

Building on previous posts addressing scientific integrity, it is timely to spotlight a project (called ERROR) led by the University of Bern that offers financial rewards to individuals who successfully identify errors in scientific publications. 

Reviewers can earn up to one thousand euros per article, with additional bonuses depending on the severity of the errors uncovered—significant errors result in higher bonuses. In cases involving fraudulent errors that lead to an article’s retraction, the total compensation can reach nearly 3000 euros.

It is both surprising and ironic that this project focuses on psychology papers, even though a Scopus search reveals that Medicine tops the list of fields with the most retracted papers, followed by Biochemistry, Genetics, and Molecular Biology—together accounting for over 50% of all retractions. In stark contrast, psychology ranks 23rd, accounting for only 1.4% of retracted papers

It is worth noting that the issue of scientific integrity and the necessity for rigorous curation have become increasingly urgent, given the rising threat of misinformation and manipulation enabled by Artificial Intelligence, as highlighted in an article by The Economist

PS – In this context, the foresight of Professor Terry Young, which I had previously discussed, is now much clearer. https://pacheco-torgal.blogspot.com/2021/10/universities-should-stop-producing.html

Recalling my past clash with German MP Hans Olaf-Henkel

…if Europe was able to cut tax evasion by half that would mean an annual revenue of around 500 billion which is more than the annual total net income of 15 Google champions….”

The excerpt above is from an email I sent in 2019 to several thousand colleagues, including dozens of Members of the European Parliament-MPs. One of the recipients, Hans Olaf-Henkel, was displeased with its content and expressed his frustration in a reply.

Nonetheless, that email is only mentioned here as an introduction to the European Commission’s important legal victory in a €13 billion tax dispute with Apple. Now, EU officials must continue their pursuit of the rest of the tax evaders, who cost the EU budget €1 trillion annually. This revenue is urgently needed, especially following the recent Draghi report, published yesterday, which calls for an €800 billion annual boost in European investment https://commission.europa.eu/document/97e481fd-2dc3-412d-be4c-f152a8232961_en

In Part B, “In-depth analysis and recommendations” on pages 240 and 241, it is stated that while Europe struggles to attract and retain top research talent, partly due to bureaucratic hurdles. In contrast, US universities, with concentrated financial resources and a clear focus on leading global rankings, consistently produce high-impact research. Of course, this depiction does not fully capture the broader scientific landscape in Europe. While it’s true that many institutions are burdened by bureaucracy, others have significantly reduced it. A prime example is Germany’s SPRIND innovation agency, where minimizing red tape is a priority. Successful teams, for instance, are not required to provide detailed proof of how they spend their fundshttps://sciencebusiness.net/news/r-d-funding/inside-germanys-sprind-innovation-agency-anti-horizon-europe

On page 214, it is also stated that in Europe ‘researchers have few incentives to become entrepreneurs.’ This reminds me of something I wrote several months ago when I argued that, to foster innovation in European universities, the most effective strategy is to emulate Sweden’s model and reinstate the professor’s privilege. The evidence clearly shows that abolishing this so-called ‘privilege’ was not only harmful but also counterproductive

Furthermore, a crucial solution lies in the European Union introducing strict and transparent minimum standards for appointing full professors at public universities. Such measures would safeguard the integrity of academic appointments by eradicating nepotism and preventing promotions based on political influence or personal connections. It is evident that professors who have ascended the academic ladder through corrupt practices are unlikely to maintain high ethical standards.  For the European academic community to achieve global competitiveness, it must first ensure the integrity of its research. This is essential because, without a steadfast and unwavering commitment to ethical principles, genuine academic excellence will remain perpetually out of reach.

Relatório Draghi: A Europa não terá futuro se seguir a idiota “estratégia” Portuguesa

Na sequência do relatório que a presidente da Comissão Europeia, Ursula von der Leyen, solicitou ao antigo primeiro-ministro, Enrico Letta, que entretanto passou a dirigir o Instituto Jacques Delors, no sentido de fazer um diagnóstico sobre o estado do mercado único europeu, incluindo a elaboração de recomendações para recuperar a competitividade da economia europeia, o qual divulguei em 19 de Maio,  faz todo o sentido agora comentar telegráficamente o Relatório Draghi, hoje divulgado, que também incide sobre a competitividade da economia europeia, Vide artigo no jornal Público, onde se fica saber que a Europa terá de investir um valor adicional de mais de 800.000 milhões de euros por ano, com destaque para três áreas de intervenção prioritárias. 

1ª – inovação. 

2ª  – “todas as políticas têm de estar sintonizadas com os objectivos climáticos”. 

3ª – redução das dependências, sejam económicas…de segurança e geopolíticas

Sobre a primeira, que não por acaso, também foi bastante mencionada no supracitado relatório do Enrico Letta, já sabemos como está a situação de Portugal, o desgraçado país que há poucos anos sofreu um violento trambolhão no ranking europeu da inovação, o mesmo país cujo o anterior Governo preferiu meter mais de 3000 milhões de euros na TAP, deixando um buraco de 100 milhões de euros na FCT. 

Aquilo porém a que o artigo do jornal Público não fez qualquer referência, foi ao facto do relatório Draghi mencionar várias vezes as palavras “red tape“, o que significa que o referido relatório apela a um corte bastante substancial na burocracia. Mas também aqui a situação de Portugal é péssima, pelo menos na área da ciência, como se pode perceber através de vários posts que publiquei, como por exemplo os dois abaixo:

24 de Abril – Os truques e subterfúgios da FCT que infernizam a vida aos investigadores

26 de Julho – Sobre Ciência_A estupidez Portuguesa, a inteligência Alemã, o bom senso Francês e o princípio da confiança

Curiosamente na página 241 do Relatório Draghi (Parte B-Politicas Sectoriais) é afirmado que na Europa os investigadores não tem incentivos para criarem empresas geradoras de riqueza. É uma afirmação genericamente verdadeira, porém muito mais nuns países do que noutros, é desde logo especialmente verdadeira em Portugal, vide post de 8 de Agosto de 2021, com o sugestivo título “Quanto é que Portugal perde com um sistema (comunista a todos os títulos) que premeia a inércia e incentiva a preguiça ?”

PS – Sobre a criação de empresas, revisite-se o post de 26 de Fevereiro, onde foi divulgado um estudo que concluiu que os diplomados saídos das melhores universidades, mostram uma predisposição muito maior para criarem empresas.

Top full professors teach how to draft a research proposal for the ERC million-euro grants

https://pacheco-torgal.blogspot.com/2019/10/the-european-research-council-and.html

Building on my previous post, titled “Grant Winners Are More Than Four Times More Likely to Become Associate or Full Professors,” you can find a 20-page Synergy grant application linked below. This document is especially noteworthy as it involves three distinguished full professors from universities in Sweden, the Netherlands, and Germany, each with impressive Scopus h-indices of 73, 85, and 110, respectively https://indico.uu.se/event/1592/sessions/998/attachments/1628/2440/B2.pdf

Uma proposta de melhoria inequívoca do rigor da qualificação catedrática

“…Mais valia por isso que não perdessem tempo com esses vergonhosos pseudoconcursos e nomeassem logo os tais candidatos, com mais de 10 anos, na categoria superior, como foi feito há algumas dezenas de anos atrás com os famosos catedráticos decretinos” https://pacheco-torgal.blogspot.com/2019/10/ensino-superiorconcursos-revelia-da-lei.html

O trecho supra foi retirado de um post de Outubro de 2019, e nele se faz referência a professores que transitaram para o lugar de catedrático por decreto. Quem o recordou em 2018, foi um corajoso catedrático de engenharia da universidade de Lisboa, num texto de titulo “Os bolseiros e os seus donos“, que na altura me foi enviado por um Catedrático do Técnico, que divulguei por milhares de Colegas e o qual ainda hoje está acessível no link  https://www.docdroid.net/k7CnX4E/bolseiros-e-os-seus-donos.pdf

Pessoalmente acho que a designação “catedráticos decretinos” não só é nitidamente maliciosa como ainda por cima se presta a enorme confusão, desde logo porque entre os tais catedráticos nomeados por decreto, há muitos com um currículo muitíssimo superior, aqueles outros que chegaram a catedráticos em concursos correntes (na esmagadora maioria com jurados amigos). Faz por isso todo o sentido perguntar, que valor tem o facto de alguém chegar a catedrático, através de um concurso que respeitou a 100% toda a legislação aplicável, se essa pessoa possui afinal um h-index=0?

Assim, a presente proposta, passa por acompanhar sempre a palavra catedrático, do valor do seu h-index Scopus, à data do provimento nesse lugar, independentemente de isso ter acontecido por concurso público ou por decreto, o que permite alcançar aquilo que realmente interessa, distinguir, aqueles possuidores de uma obra científica de elevado valor, dos outros com uma obra científica inexistente ou irrelevante, os tais que a ciência já mostrou devem ser evitados, a todo o custo, por jovens investigadores e também por aspirantes a essa carreira, sob pena de comprometerem essa carreira de forma irreversível.

PS – É claro que até isso ocorrer, o que obviamente será no dia de S.Nunca, esses catedráticos (de h-index nulo ou quase nulo) serão denominados à boca pequena por outros termos, inequivocamente jocosos, como CatedráNicos ou CatedráXicos

Professores catedráticos de topo ensinam a redigir uma proposta de investigação ao concurso de bolsas milionárias da ERC

Em 2021 manifestei a minha surpresa pelo facto de Portugal submeter anualmente um número muito reduzido de candidaturas ás bolsas milionárias do European Research Council, num post onde então comparei o fraco desempenho do nosso país com o desempenho da Suécia, da Suiça, da Finlândia e da Holanda. https://pacheco-torgal.blogspot.com/2021/02/sera-que-os-investigadores-portugueses.html

Neste contexto aproveito o presente post para divulgar um link relativo a um interessante ficheiro com 20 pags, contendo uma candidatura às bolsas Synergy. A referida candidatura é especialmente valiosa, pelo facto de envolver três professores catedráticos, de universidades da Suécia, da Holanda e da Alemanha, todos eles titulares de elevados valores de h-index na base Scopus, respectivamente, 73, 85 e 110 https://indico.uu.se/event/1592/sessions/998/attachments/1628/2440/B2.pdf

Declaração de interesses – Há vários anos atrás, mais precisamente num post de Novembro de 2019, sugeri que os candidatos ao título de Agregado deveriam ser obrigados a respeitar um requisito básico: “o de terem submetido uma candidatura às bolsas milionárias do European Research Council, sendo rejeitados todos aqueles, cuja candidatura não tivesse recebido pelo menos 3 notações de Excelente ou 5 notações de Muito Bom. Como é evidente as universidades “menos exigentes” poderiam satisfazer-se apenas com uma única notação de Excelente…”

PS – E será que não seria importante saber, quantos catedráticos da Academia Portuguesa nunca submeteram uma única candidatura aos concursos de bolsas milionárias do ERC ?

Egoísmo e Ignorância: Estudo internacional revela como é que Portugal se compara com a Austrália, a França e a Espanha

No passado mês de Março do corrente ano, divulguei um estudo, no qual participaram cientistas de universidades de 15 países, incluindo dos EUA, Reino Unido e Alemanha, os quais propuseram três linhas estratégicas de combate ás alterações climáticas, sendo que a primeira, delas passa por uma “transição gradual para uma dieta à base de plantas e a eliminação progressiva da pecuária industrializada”. 

No referido contexto aproveito para divulgar um outro estudo, muito mais recente, levado a cabo por investigadores Espanhóis e Australianos, que foi publicado no passado mês de Junho na revista científica Food, Culture and Society.

Nesse estudo, foram analisados os comportamentos de quatro países, Austrália, França, Espanha e Portugal, entre 2004 e 2023, relativamente à forma como as populações daqueles países mostram maior ou menor apetência pela procura de informações online sobre uma alimentação à base de plantas. O estudo em causa mostra, vide fig. 1, que Portugal fica abaixo da Austrália, mas ainda assim acima da Espanha e da França, em termos de revelar um interesse superior pela referida dieta.  https://www.tandfonline.com/doi/full/10.1080/15528014.2024.2351661#abstract

Declaração de interesses – Declaro que tenho um interesse particular no tema supra, pelo menos desde há quase uma década e meia, que posteriormente se traduziu em dezenas de posts, dos quais seleciono apenas três, um de 2019, outro de 2020, e um outro de 2022

PS – Quem não se pode dar ao luxo de ficar apenas pela pesquisa desse tipo de alimentação, são os membros da Academia, que tem especiais responsabilidades na adopção de comportamentos que minimizem as suas emissões de carbono