In a previous post I disclosed a recent study, by a professor at the well-known TU Delft, in which he used ChatGTP-4 to predict scientific impact.

Equally fascinating is the professor’s recent publication, which delves into a workshop involving around 70 education experts and faculty members, on the potential and limitations of using ChatGPT-4 to evaluate students’ scientific work. In the conclusions and recommendations part, it can be read that there is consensus regarding the fact that ChatGPT-4 provides valuable feedback on student work, however, it requires human supervision. Below, you’ll find a compilation of 19 prompts generated during the TU Delft workshop for reference: 

1. What is the core message of this summary?

2. Is this summary clear and brief? Does it capture the research questions and performed

research?

3. What is the contribution of the thesis?

4. How would you grade this thesis on a scale from 1 to 10?

5. Please evaluate whether this thesis meets basic research standards: introduction of

problem, relevant literature, methodology, results explained and conclusions

6. Is this an original research?

7. Does this essay meet the learning objectives of course?

8. Did chat gtp write this?

9. Has this summary been generated by chatgpt?

10. What are the outcomes of all project phases?

11. Give the definition of a good summary and look how many requirements the student checks,

based on that percentage give a grade and feedback.

12. Is this innovative work?

13. How well does this summary reflect the content of the thesis?…

14. is this abstract relevant for the firld.

15. Does the flow of the thesis make sense?

16. Can you write the summary in less words?

17. Is the goal and conclusion clear and do they align? Please also add a grade from 1 to 10, based on the Dutch grading scheme

18. Is the structure of the summary suitable for an MSc thesis?

19. Grade the following abstract of a Mechanical Engineering Master thesis, using a percentage grade.  

In the conclusions of an even more recent study, carried out by two German researchers (Jacobsen & Weber), it can be read that ChatGPT-4 offers a solid argument for its integration as a feedback tool in higher education. The main advantages are its quality and efficiency. https://osf.io/cr257

PS – A search carried out today on the Scopus platform, for publications with the terms “chatGPT” OR “chat GPT” OR “Generative Pre-Trained Transformer”, returns a total of 3943 publications (34%-computer sciences, 33%-medicine, 24%-social sciences). The most prolific university is Stanford University, where the clear preference overwhelmingly leans towards the field of medicine, with a notable 58% of publications associated with chatGPT.

Uma pesquisa hoje efectuada na plataforma Scopus, pelas publicações com os termos “chatGPT” OR “chat GPT” OR “Generative Pre-Trained Transformer”, devolve um total de 32 publicações, indexadas naquela plataforma. Apresenta-se abaixo a lista das universidades Portuguesas, cujos investigadores são co-autores das mesmas, lista essa que é ordenada pelo rácio do número de publicações por cada 100 docentes doutorados. Na mesma é possível constatar que as universidades de Aveiro e do Minho lideram destacadas, que o mesmo é dizer que são aquelas, que mais produziram para ajudar Portugal a sair do marasmo, sendo também evidente na referida lista, um desempenho decepcionante da Universidade do Porto e da Universidade de Coimbra. 

Univ de Aveiro……..0.90 publicações por centena de docentes doutorados

Univ. do Minho…….0.70

Univ. de Lisboa…….0.36

Univ. Nova…………..0.35

UBI………………………0.31

Univ. de Évora……..0.22

Univ. do Porto………0.21

Univ. de Coimbra….0.10

Em termos de áreas científicas, a produção Portuguesa não segue (infelizmente) a tendência mundial, nem muito menos a tendência das universidades mais competitivas, como a universidade de Stanford (aquela com mais publicações indexadas nesta área) onde há uma clara aposta na exploração das inúmeras potencialidades (leia-se a corrida ao ouro) da IA generativa relativamente à área da medicina, vide abaixo:

Mundo    versus Portugal

Ciências computação………..34%                      Ciências sociais………….53%   

Medicina…………………………33%                     Ciências computação….38%  

Ciências sociais……………….24%                      Medicina…………………..13%       

Sobre esta questão vale a pena revisitar o post  anterior, do passado dia 25 de Abril, de título “As elevadas capacidades do GPT-4 na resolução de importantes desafios médicos” ou o artigo publicado hoje mesmo, na revista Japonesa de Radiologia, sobre o elevado desempenho do ChatGPT-4, na abordagem de questões clínicas avançadas no campo da radiologia, no Japão. https://link.springer.com/article/10.1007/s11604-023-01491-2

PS – A informação relativa ao número de docentes doutorados, por instituição, foi obtida num documento da DGEEC, de Março de 2023, sobre endogamia académica https://www.dgeec.mec.pt/np4/385/%7B$clientServletPath%7D/?newsId=847&fileName=EndogamiaAcademica_20212022.pdf

Num post anterior, divulguei um estudo recente, de um catedrático da conhecida universidade Técnica de Delft,  no qual aquele utilizou o ChatGTP-4 para prever o impacto científico. 

Não menos interessante porém é a sua recente publicação, que diz respeito a um workshop com cerca de 70 peritos em educação e académicos de outras áreas, sobre as potencialidades e as limitações da utilização do ChatGPT-4, para avaliar o trabalho científico dos alunos.

Na parte das conclusões e recomendações, pode ler-se que há consenso quanto ao facto do ChatGPT-4, fornecer um feedback valioso sobre o trabalho científico daqueles, no entanto, necessita de supervisão humana nesse feedback.

Aditamento em 3 de Outubro – Nas conclusões de um estudo ainda mais recente, levado a cabo por dois investigadores Alemães (Jacobsen & Weber), pode ler-se que o ChatGPT-4 oferece um argumento sólido para sua integração como uma ferramenta de feedback no ensino superior, merecendo destaque, como principais vantagens, a sua qualidade e a sua eficiência. 

Still following the previous post of June 27th about the very intelligent comment made by a (Portuguese) Professor at the University of Washington concerning the biggest risk of artificial intelligence which is not having enough intelligence—it’s worth noting that the latest issue of The Economist (page 54) stated that  “GPT-4 already exhibits a degree of consciousness“. 

Given the aforementioned context, it makes perfect sense to disclose the fact that yesterday, a paper titled “ChatGPT and the rise of semi-humans” was published here https://www.nature.com/articles/s41599-023-02154-3#Sec6 This paper delves into the important research question: “What are ChatGPT’s human-like traits as perceived by society?”The very notion of “semi-humans” illustrates how rapidly the discussion is moving beyond the technical capabilities of AI towards questions traditionally belonging to philosophy, psychology and the study of human identity.

One detail in the paper’s bibliography was particularly striking: among the works cited is Theodore Kaczynski’s 1995 Industrial Society and Its Future, better known as the Unabomber manifesto. The reference is certainly unusual, but perhaps not entirely accidental. Long before contemporary artificial intelligence, Kaczynski’s text articulated an extreme and deeply problematic version of a recurring fear: that technological systems may progressively acquire a logic and momentum of their own, leaving human beings increasingly dependent upon structures they created but can no longer fully control.

The irony is difficult to miss. In 1995, such fears belonged largely to the margins of technological debate. Less than three decades later, questions about human autonomy, technological dependence, machine intelligence and even machine consciousness have entered mainstream scientific and public discussion. The interesting question is therefore not whether Kaczynski was right his conclusions and methods were indefensible but why some of the questions surrounding technological power have proved so persistent.

Kaczynski, TJ (1995) Unabomber manifesto: Industrial society and its future. The Washington Post, Washington, DC. 

“Nós, os comunistas, não aceitamos o jogo das eleições…não me importam nada as eleições.… Para mim, democracia significa liquidar o capitalismo…E ainda lhe digo mais: Portugal já não tem qualquer hipótese de estabelecer uma democracia…Garanto-lhe que em Portugal não haverá um parlamento…Portugal não será um país com as liberdades democráticas” https://www.publico.pt/2014/12/15/politica/opiniao/alvaro-cunhal-e-a-magna-carta-de-1215-1679397

É verdade que o comunista-chefe, Álvaro Cunhal, que jurou que se dependesse dele Portugal nunca sequer teria eleições, não conseguiu fazer de Portugal a Cuba da Europa, porém e mesmo já depois de ter partido deste mundo, deixou por cá muitos adeptos da sua pouco democrática filosofia de vida. E isso é bem patente nas universidades portuguesas, onde ainda há quem produza muito pouco, mas mesmo assim consiga ganhar mais do que quem produz muito, um sistema anacrónico, que como todos os sistemas comunistas, premeia a inércia e incentiva a preguiça https://pacheco-torgal.blogspot.com/2021/08/quanto-e-que-portugal-perde-com-um.html

É assim sem surpresa que li a noticia que ontem fez capa no semanário Nascer do Sol, que revelou que um professor auxiliar da universidade Nova de Lisboa, de seu nome José Neves, autor de lindas publicações com títulos como “Álvaro Cunhal e o Princípio da História” ou “Entrevista com Boaventura Sousa Santos – O intelectual de retaguarda“, achou boa ideia denegrir a conhecida NovaSBE, precisamente a unidade orgânica daquela universidade, mais lucrativa (leia-se a que menos precisa do dinheiro dos contribuintes) e também aquela com a menor percentagem de endogamia, entre todas as unidades orgânicas de todas as universidades Portuguesas, onde os professores não são contratados por serem amigos e conhecidos “da casa“, e muito menos por serem boys e girls com currículo exclusivamente partidário. 

PS – Já sobre os graves problemas de assédio sexual, que ocorreram na unidade de investigação do “intelectual de retaguarda“, Boaventura Sousa Santos ou sobre os milhões de euros do dinheiro dos contribuintes, recebidos pela referida unidade, em resultado de um desempenho científico muito inferior ao de outras unidades, é que nunca ninguém lhe ouvirá qualquer critica. 

Aditamento em 11 de Outubro – Fui hoje contactado por email pelo supracitado Professor Auxiliar José Neves, que afirmou não ser verdade que ele não tenha criticado aquilo que ocorreu na unidade do professor Boaventura Sousa Santos: “Para que fique claro, tenho muita estima intelectual pelo Boaventura Sousa Santos (de resto, o cientista social português com maior impacto mundial) e mais ainda pelo trabalho do CES. Mas não é isso que me impede de me pronunciar (sem prejuízo da presunção de inocência) sobre as questões de assédio que terão ocorrido naquela instituição. Fui, de resto, o único diretor de uma unidade de investigação a fazê-lo…”

A conhecida firma Clarivate Analytics, que possui receitas anuais bilionárias, e que utilizando uma metodologia baseada em artigos altamente citados (Hall of Citation Laureates),  já conseguiu acertar no nome de mais de 70 cientistas vencedores do prémio Nobel, 7 (sete) deles só no ano passado, revelou recentemente o nome de vários cientistas cuja obra científica é merecedora de um prémio Nobel, lista abaixo. 

Desgraçadamente os cientistas Portugueses cuja obra científica possui o maior registo de citações a nível mundial, nenhum deles lá aparece, o que significa que não será tão cedo que um cientista Português receberá aquele prémio. 

A culpa essa deve-se em parte a uma Academia, onde como escreveu Gonçalo Quadros, CEO da Critical Software, existe uma cultura de consanguinidade que limita fortemente o mérito, mas deve-se fundamentalmente ao facto deste Governo andar há muito a subfinanciar o ensino superior. Tenha-se presente que o orçamento universitário de 2023, foi inferior ao de 2010 e se os valores forem analisados em percentagem do PIB, então o resultado é ainda mais vergonhoso, pois constata-se que o valor do orçamento das universidades públicas em 2023 é metade do valor do ano de 2010 https://repositorium.sdum.uminho.pt/bitstream/1822/81109/1/2022_12_05%20Financiamento%20do%20ES%20em%20Portugal.pdf

E quando se olha para aquilo que é o financiamento da ciência nos vários países europeus, fica-se a saber que Portugal ainda consegue gastar menos do que gastam países mais pobres do que Portugal, neste país o dinheiro que devia ir para a ciência (e para a saúde e para o aumento de pensões miseráveis) vai antes para pagar subvenções vitalícias a políticos, para sustentar vicios de boys e girls parasitas, para comprar BMWs e Mercedes a todos os Presidentes de Câmara e para sustentar empresas públicas, onde todos os anos desaparecem milhares de milhões de euros, como sucedeu na TAP. 

Física

Sharon C. Glotzer, Univ Michigan

Federico Capasso, Harvard Univ.

Stuart S. P. Parkin, Martin Luther Univ. Halle-Wittenberg

Medicina

Carl H. June, univ. Pennsylvania

Steven A. Rosenberg, Center for Cancer Research

Michel Sadelain, Kettering Cancer Center

Rob Knight, Univ California

Emmanuel Mignot, Stanford Univ

Clifford B. Saper, Harvard Univ

Masashi Yanagisawa, Univ. Tsukuba

Quimica

James J. Collins, Harvard

Michael Elowitz, Caltech

Stanislas Leibler, Rockfeller Uni.

Shankar Balasubramanian, Cambridge Univ.

David Klenerman, Cambridge Univ.

Kazunori Kataoka, Univ Tokyo

Vladimir P. Torchilin, Northeastern Univ

Karen L. Wooley, Texas A&M Univ

Economia

Edward L.Glaeser, Harvard Univ.

Thomas Piketty, EHESS e Paris univ.

Emmanuel Saez, California

Gabriel Zucman, PSL e California Univ.

Corria o ano de 1998, quando Christine Deviers-Joncour, amante de Roland Dumas, Presidente do Conselho Constitucional Francês, publicou um famoso livro de título “A puta da República“, os Portugueses esses, tiveram porém de esperar pelo ano de 2023, para ficarem a conhecer o teor de uma escuta da Policia Judiciária, hoje divulgada pelo jornal Público, onde alguém, a quem o poder politico confiou elevadas responsabilidades, se assume como tal:

“Basicamente sou uma puta. Obviamente o que eu quero é ter bens materiais…Um lugar que eu quero é presidente de uma empresa qualquer…O segundo lugar, que já é, digamos assim, um compromisso, é ter um lugar estável lá fora…uma merda qualquer a ganhar 12 mil euros! Também não fico chateado, percebes? Mas não posso dizer que é a minha primeira opção. O terceiro lugar, que eu não quero mas até aceito, é como director-geral de uma merda qualquer.” https://www.publico.pt/2023/09/26/sociedade/noticia/quero-vida-boa-arguidos-defesa-andavam-pesca-cargos-potencial-2064680

Porém essa declaração e ao contrário do que possa parecer é elogiosa para o referido individuo e é insultuosa para as putas, porque aquelas vendem um serviço a quem o quiser pagar, enquanto que o referido individuo não passa de um execrável parasita do dinheiro dos elevados impostos pagos pelos contribuintes. Importante seria por isso saber quantos presidentes de empresas públicas ou directores-gerais, é que neste país mais não fazem do que parasitar o dinheiro dos impostos dos contribuintes. Vide o esclarecedor artigo da revista Sábado de Maio deste ano “Os Portugueses ficam hoje finalmente a saber para que é que servem as empresas públicas. Para garantir óptimos salários a boys e girls incompetentes e parasitas”

Declaração de interesses – Declaro que em 15 de Agosto de 2021, questionei a razão porque o Presidente da Entidade Reguladora da Saúde de Portugal custa mais do dobro do que custa o Presidente da Agência de Segurança de Saúde do Reino Unido ? https://pacheco-torgal.blogspot.com/2021/08/porque-e-que-o-presidente-da-ers-custa.html

PS – Infelizmente e ao contrário de França, onde os políticos e os seus amigos parasitas costumam visitar a cadeia bastantes vezes, como o prova por exemplo a pena de prisão efectiva aplicada ao ex-primeiro-ministro francês, François Fillon,  na escabrosa corruptocracia Portuguesa é praticamente garantido, que o individuo supra mencionado, e que agora é suspeito do crime de corrupção, não irá passar um único dia da sua vida na cadeia, no máximo dos máximos receberá uma cómoda pena suspensa, como sucede com mais de 90% dos condenados por corrupção em Portugal.  Vide post de 25 de Dezembro de 2019 https://pacheco-torgal.blogspot.com/2019/12/portugueses-como-gado-e-cavalgaduras.html

Sobre o omnisciente ChatGPT, que hoje a universidade das Naçoes Unidas, num post sobre como pode aquela ferramenta  ajudar as pessoas mais pobres e as organizações que trabalham com eles, relembra logo no seu inicio que a mesma tem 1500 milhões de visitas a cada mês, e que uma pesquisa hoje efectuada na base Scopus, revela que já existem naquela 3410 publicações científicas, que contém a palavra ChatGPT, é pertinente comparar a produção científica de quatro países, EUA, Reino Unido, Alemanha e Suiça. 

Os referidos quatro países aparecem abaixo, ordenados pelo rácio de publicações por milhão de habitantes, onde se percebe que a intensidade de publicação da Suiça é muito superior à dos outros países, sendo por exemplo quase 300% superior à produção do país onde foi criado o próprio ChatGPT. Apresentam-se para cada país, as três instituições universitárias, que em cada um deles possuem maior número de publicações. Apresentam-se igualmente as três áreas científicas com mais artigos, onde se percebe que se nos EUA (e também na Suiça) é a medicina que lidera, no Reino Unido e na Alemanha esse lugar é ocupado pelas ciências da computação, sendo que as publicações na área das ciênciais sociais, aparecem em terceiro lugar nos referidos quatro países. 

• Suiça (81 publicações, rácio pub/pop=9,3)

Top affiliation__Univ. Zürich, Univ. of Bern, ETH Zürich

Top subject area__Medicine, Computer Science, Social Sciences

• Reino Unido (351 publicações, rácio pub/pop=5,2)

Top affiliation__Univ. College London, Univ. of Cambridge, Univ. of Oxford

Top subject area__Computer Science, Medicine, Social Sciences

• EUA (1064 publicações, rácio pub/pop=3,2)

Top affiliation__Stanford Univ., Harvard Medical School, Duke Univ.

Top subject area__Medicine, Computer Science, Social Sciences

• Alemanha (223 publicações, rácio pub/pop=2,7)

Top affiliation__Tech. Univ. München , Ludwig-Maximilians-Univ., Friedrich-Schiller-Univ. Jena

Top subject area__Computer Science, Medicine, Social Sciences

PS – A universidade ETH Zurich é a tal onde pagam mais de 10.000 euros por mês aos professores-auxiliares https://pacheco-torgal.blogspot.com/2021/09/os-luxuosos-salarios-de-professores.html

Actualização em 26 de Setembro – O modelo ChatGPT-4 (versão paga) irá em breve poder ver e também falar https://expresso.pt/sociedade/tecnologia/2023-09-26-ChatGPT-ganha-novas-funcionalidades-falar-e-ver-25c4996f

In previous posts, I emphasized the importance of the metric Mendeley readership, highlighting its capacity to forecast early scientific influence (this capability holds particular significance for young researchers), namely in a post from August 2020 and in another post from January 2021, about a study that confirmed the importance of the aforementioned metric, —though regrettably, the authors of the study overlooked citing important articles and finally in another post from October 2021 about the (German) excellence mapping tool https://pacheco-torgal.blogspot.com/2021/10/paper-excellencemappingnet-new-release.html

In the aforementioned context, I consider it imperative to highlight a recent and innovative study conducted by a professor of Cognitive Human-Robot Interaction, Joost de Winter, affiliated with TU Delft University. This study used ChatGPT-4 (the paid version) in conjunction with a comprehensive dataset consisting of more than two thousand abstracts to predict scientific impact.

Update September 27th – A search carried out today on Scopus reveals that there are 3476 publications with the word ChatGPT. The ratio of publications per million inhabitants for the USA, UK, Germany, and Switzerland is presented below. It is also presented for each of these countries the top 3 affiliations:

Switzerland……9,5 pub./pop.

Top affiliations__Univ. Zürich, Univ. of Bern, ETH Zürich

UK……………….5,3 pub./pop.

Top affiliations__Univ. College London, Univ. of Cambridge, Univ. of Oxford

USA…………….3,2 pub./pop.

Top affiliations__Stanford Univ., Harvard Medical School, Duke Univ.

Germany………2,7 pub/pop.

Top affiliations__Tech. Univ. München, Ludwig-Maximilians-Univ., Friedrich-Schiller-Univ. Jena

Em posts anteriores, divulguei a importância da métrica, número de leitores Mendeley, de uma determinada publicação, em termos de capacidade de previsão do impacto científico inicial da mesma (o qual é especialmente importante para jovens investigadores), nomeadamente num post de Janeiro de 2021 sobre um estudo que confirmou a importância da referida métrica e num outro post de Outubro de 2021, intitulado “Novo lançamento da ferramenta de mapeamento da excelência científica”, no qual se ficou a saber que a universidade do Minho aparecia à frente de outras universidades Portuguesas na referida métrica e que a universidade de Lisboa tinha um desempenho decepcionante https://pacheco-torgal.blogspot.com/2021/10/mapping-impact-of-papers-on-various.html

No contexto supra entendo importante divulgar um estudo muito recente, de um professor da prestigiada universidade TU Delft, no qual aquele utilizou o ChatGTP-4 (versão paga) e mais de dois mil abstracts para prever o impacto científico.