Editores de revistas científicas de prestígio afirmam que o ChatGPT “faltava profundidade e percepção”

O enorme potencial do software ChatGPT da OpenAI para produzir respostas naturais a questões humanas tem sido objeto de muitas discussões recentes.

As falhas do sistema, como a proliferação de mentiras simples, também foram amplamente discutidas na imprensa. Eles (os programas) não podem assumir a responsabilidade pelo conteúdo e integridade dos estudos científicos, conforme estudo da Nature, portanto, não cumprem os padrões de autoria de trabalhos acadêmicos. Alguns acadêmicos descobriram outra desvantagem mais sutil do ChatGPT: mesmo quando o software está correto, sua saída pode ter um tom insípido, excessivamente amplo e pouco informativo.

Stem Cell Reports, uma publicação da grande editora científica Cell Press, descobriu isso quando os editores Barbara Treutlein e Patrick Cahan usaram o ChatGPT para ajudá-los a escrever um editorial. Em 10 de janeiro de 2018, o editorial foi publicado no site.

Os editores perguntaram ao ChatGPT uma variedade de questões fundamentais sobre biologia de sistemas computacionais. Um dos principais objetivos era ilustrar “como os avanços na computação…

Os autores publicaram, com algumas alterações, as questões do ChatGPT e as respostas do programa. Uma dessas consultas e respostas é a seguinte:

Pergunta:> Quais são os principais desafios no uso de técnicas computacionais para abordar questões em biologia de células-tronco?

“ChatGPT:> A necessidade de grandes quantidades de dados: Para modelar com precisão o comportamento das células-tronco, os pesquisadores precisam de grandes quantidades de dados sobre o comportamento de células individuais e as interações entre diferentes tipos de células. Isso pode ser um desafio para coletar e processar, especialmente ao lidar com um grande número de células.”

Em seu artigo, Treutlein e Cahan observam que o ChatGPT foi “útil para articular como a biologia de sistemas computacionais contribuiria na pesquisa com células-tronco e na identificação de certas dificuldades”, mas também observam que “geralmente, muitos dos comentários careciam de profundidade e compreensão”.

Como pergunta complementar, os editores querem saber como identificar respostas relevantes.

Cahan respondeu por e-mail com uma coleção anotada de consultas e respostas do ChatGPT que, segundo ele, indicavam “uma impressionante falta de profundidade e inteligência” por parte do software.

Cahan disse: “No geral, estou muito satisfeito com as capacidades deste instrumento”, apesar de suas limitações. Cahan afirma que colocou o ChatGPT à prova fazendo com que desenvolvesse um código para resolver alguns dos problemas de seu curso computacional de biologia de células-tronco.

“Funciona (não perfeitamente) e registra o código”, disse Cahan. Acredito que ele tem uma grande capacidade de resumir e sintetizar dados, e mal posso esperar para ver o que sairá de sua adaptação para a literatura biológica.

Devido às suas óbvias inadequações, Cahan e Treutlein omitiram as seguintes perguntas e suas respostas de seu editorial. Cahan marcou cada um com seus próprios pensamentos sobre por que ele acha que as respostas do ChatGPT são inadequadas.

Pergunta: Quais são os principais desafios no uso de técnicas computacionais para responder perguntas no campo da biologia de células-tronco?

Resposta: Existem vários desafios importantes no uso de técnicas computacionais para responder a perguntas no campo da biologia de células-tronco. Alguns dos principais desafios incluem:

* A complexidade do comportamento das células-tronco: As células-tronco são células altamente versáteis que podem se diferenciar em uma ampla gama de tipos de células. Compreender os mecanismos subjacentes ao seu comportamento e diferenciação é extremamente complexo e pode ser difícil de estudar usando métodos computacionais.

Patrick Cahan: Na verdade, essa é precisamente uma área em que os modelos computacionais devem brilhar porque podem encontrar padrões em dados complexos.

[A resposta do ChatGPT continua]

* A necessidade de grandes quantidades de dados: Para modelar com precisão o comportamento das células-tronco, os pesquisadores precisam de grandes quantidades de dados sobre o comportamento de células individuais e as interações entre diferentes tipos de células. Isso pode ser difícil de coletar e processar, especialmente ao lidar com um grande número de células.

Patrick Cahan: Mais uma vez, o grande tamanho dos dados é uma área em que a biologia de sistemas computacionais deve superar as técnicas padrão. O ChatGPT parece estar confundindo a coleta de dados com o processamento de dados aqui.

[A resposta do ChatGPT continua]

* As limitações dos modelos computacionais atuais: Apesar dos avanços na biologia computacional e na biologia de sistemas, os modelos atuais ainda são limitados em sua capacidade de capturar com precisão a complexidade do comportamento das células-tronco. Isso pode dificultar a geração de previsões e insights confiáveis ​​a partir de estudos computacionais.

Patrick Cahan: Este é um exemplo de falta de profundidade. Se tivéssemos solicitado exemplos específicos, poderia ter sido possível obter ChatGPT 1.) dar exemplos de fenômenos biológicos específicos que escapam aos modelos computacionais atuais e 2.) especular por que esse é o caso.

[A resposta do ChatGPT continua]

* A dificuldade de traduzir resultados computacionais em aplicações práticas: Mesmo que os modelos computacionais capturem com precisão o comportamento das células-tronco, pode ser difícil traduzir esses resultados em aplicações práticas, como o desenvolvimento de novas terapias ou tratamentos.

Patrick Cahan: Isso é verdade, mas não é um desafio exclusivo de aplicativos computacionais. Então, como o segundo ponto, o ChatGPT parece estar interpretando mal a questão. Talvez com mais esclarecimentos ou engenharia imediata de nossa parte, pudéssemos obter uma resposta mais satisfatória.

[A resposta do ChatGPT continua]

No geral, esses desafios destacam a necessidade de pesquisa e desenvolvimento contínuos no campo da biologia computacional e da biologia de sistemas para melhorar nossa capacidade de estudar e entender o comportamento das células-tronco.

Patrick Cahan: Vemos muito desse tipo de resumo genérico que não adiciona novas informações à saída geral do ChatGPT.