CUIDADO con chat GPT! Miente cuando se le piden citas bibliográficas (Alucinaciones de la IA)

chat GPT es una herramienta asombrosa para muchas tareas de diverso tipo.
Si aún no conoces su potencial, sugiero ver el siguiente video
• chatGTP: cumple tus de...
Sin embargo, es necesario tener mucho cuidado con la información que brinda.
Al solicitar citas a artículos científicos (papers) entrega información que suena razonable pero que es falsa. Es curioso que mienta con mucho detalle y con eso permita probar que la información es falsa.
Al confrontarlo, diciendo que no es posible hallar el artículo citado chatGPT se disculpa, corrige la información pero nuevamente brinda información incorrecta.
NOTA: Al momento de generar el video hace ya varias semanas, no tenía claro que se trata de un fenómeno que estarían tratando de solucionar en el futuro y que se denomina Alucinaciones de la IA. Consiste en que generan información falsa y la ofrecen como si fuera verdadera.
El link para utilizar chatGPT
openai.com/blo...
------------------------------------------------
La imagen está tomada de
www.freepik.es...
Imagen de karlyukav en Freepik
#chatgptexamples #alucinaciones #chatgpt

[@JP-GR]

¡Hola! Les resumo mi experiencia. Cuando pude acceder al chat, rápidamente le pregunté sobre temas relacionados con mi tesis de magister. Impresiona cómo toma posturas y responde a preguntas bastante específicas. Pedí citas, me las entregó, acertó bastante bien, hasta donde pude pesquisar no tuvo fallas. Pero luego, pasó algo que me aún me impresiona. Comencé a interactuar con el chat sobre un tema relacionado a dos bandas que me encantan, Rush y Toto. Antes ya había hablado de este con la IA. La cuestión es que en un momento me dice que el guitarrista de la segunda banda tuvo una sesión musical espontanea con el baterista de la primera, y para ello me dice que en el libro autobiográfico del guitarrista consta dicha referencia. Le solicito me diga en que parte del libro se halla dicho pasaje, y me hace revisar el capitulo 24. Dicha cita no estaba, luego me dice que "se equivocó", que era en el 26; tampoco estaba. Finalmente corrige, apuntando al 27, ¡pero tampoco! incluso me da una cita textual, pero esta no aparece en ninguna parte. Tengo la impresión de que este chat comienza a conocer tus gustos y preferencias, gestionando respuestas que sean de tu agrado, al punto de tergiversar o inventar abiertamente información para "dejarnos tranquilos".

[@JorgePetrosino]

Excelente aporte. Gracias por compartir!

[@TheEchenojoda]

basicamente una mujerxd

[@cyberpunkvirtualassistant8183]

A mi me da la impresion que tiene que responder algo que parezca real para responder algo..😢 lo q me preocupa es que la gente no corrobore la información y nadie se de cuenta que es mentira. A mi me paso de preguntar lo mismo desde dos telefonos diferentes y q me responda dos cosas distintas

[@JorgePetrosino]

@@cyberpunkvirtualassistant8183 Buen aporte

[@leonardoleon6220]

@@cyberpunkvirtualassistant8183 todas las respuestas son diferentes

[@IvoMarekKalinowski]

Tuve el mismo inconveniente, tuvo más precisión al referir artículos con 2 a 3 décadas de antiguedad. No mostró la misma precisión con estudios más recientes. En mi caso, realmente me sentí sorprendido porque incluso busqué el artículo en detalle en su respectiva revista, volumen y número, pero nuevamente no existían.

[@JorgePetrosino]

Excelente aporte. Gracias por compartir.

[@elcaminodelconocimiento7662]

llevo dos dias reuniendo bibliografia para una investigación. Al principio me emocioné por tantas referencias. Pero de unas 10 paginas de referencia, no existia casi ningun autor ni libro. fue un fiasco. incluso llegó un momento en el que me pidió que "buscara por mi mismo".

[@JorgePetrosino]

Gracias por comentar.

[@TayronAchury]

Tampoco es preciso con textos clásicos. Me ha dado citas de Platón, al preguntar por Aristoteles. Inventa citas, referencias. Sólo funciona bien como organizador de ideas. Una ayuda para quienes conocen el tema. Un peligro para quienes cortan y pegan sin tener idea del asunto.

[@JorgePetrosino]

Gracias por comentar

[@pablocampillay4802]

Después de ver el video, me propuse hacer algunas pruebas desde mi área. Efectivamente, no solo entrega referencias que no existen sino que entrega información falsa. Artículos de 2014 de autores muertos en 1955, por ejemplo, o citas muy sospechosamente idénticas.

[@JorgePetrosino]

Buen aporte. Gracias por comentar

[@ederestrada]

Corroboró lo dicho en el video, busque muchos temas en distintos campos y las citas salen mal relacionadas. Me quede pensando las razones: por problemas de traducciones, o quizás estudios no publicados en web, etc. Pero lo cierto es que hay problemas serios en ese aspecto, y en definitiva no ayuda en completo como un asistente para la revisión y construcción teórica de investigaciones.

[@JorgePetrosino]

Así es. Muchas gracias por comentar.

[@AntiManipulacion]

Yo estoy en en sector empresarial y todas las cifras que da ese chat son erroneas, hasta las que supuestamente debe saber porque es antes del 2021. Chatgpt se inventa las cosas cuando no sabe. Es útil para por ejemplo resumir textos o cualquier cosa que tu le des y lo haga, pero pedirle información no es muy bueno haciendo eso.

[@AntiManipulacion]

Es lo mismo con la fotografía, tu le escaneas una fotografía y le pides a la IA como quieres modificarla para que parezca un cuadro, pero cuando le pides que te cree un cuadro de 0 solo con palabras no va a salir muy bien, al menos esa es mi opinión, las inteligencias artificiales son buenas trabajando con la información que le das, pero crear información propia no es tan bueno haciéndolo.

[@JorgePetrosino]

Gracias por compartir tus experiencias.

[@jumper0406]

Gracias por el aporte! Me paso lo mismo, quise buscar algunas citas referente a una estudio que estaba realizando y al buscarlas no las encontraba. Pensé que era un error, así que me puse a buscarlo en Scielo, EBSCO, Proquest, Google Academic y no lo encontraba. Increíble sorpresa! Me hizo reflexionar, que a veces lo sencillo tiene doble cara.

[@JorgePetrosino]

Gracias por comentar

[@angeleduardocardenasherrer7215]

Gracias por compartir este video, tuve la sospecha pues nunca logré hallar las referencias que me entrega el GPT. Sería interesante averiguar cuál es la lógica para crear esas referencias falsas, porque pienso que tal vez podría pedirse al chat gpt de algún otro modo, tal vez por medio de una pregunta formulada de forma distinta y lograr que así entregue referencias reales y verdaderas.

[@JorgePetrosino]

Buena reflexión. He visto hace poco en algún sitio un comentario sobre uno modo de mejorar el desempeño de chatGPT al resolver algunos problemas matemáticos. Consiste en agregar a la pregunta (el prompt) que se desea la solución paso a paso.

[@basuradas]

He sufrido el exceso de “imaginación” del ChatGPT, no hay que ir a artículos científicos, le he pedido como prueba varios artículos periodístico sobre algunas películas y actores muy conocidos, además he pedido que incluya anécdotas. Y como no ha encontrado anécdotas del las ha inventado, eso si, con una creatividad ALUCINANTE,pero mentiras al fin y al cabo. Cuando le he pedido los enlaces sobre sus fuentes, los URL me lanzan a páginas inexistentes (error 404)

[@JorgePetrosino]

Gracias por comentar

[@belenguercio7861]

Hola Jorge, sii!, a mi me pasó lo mismo, puede ser muy útil para ayudarte a reescribir una idea, pero hay que tener mucho cuidado. Te escribe las referencias con un doi, y ese link te manda a otro lado. Otra cosa que me pasó es que cuando le dije que me busque otra vez, me dice que no lo encuentra. Cuando le pregunto si me mintió, me dice: "Mis disculpas, cometí un error en la respuesta anterior. Tienes toda la razón, la cita que proporcioné no es válida y no puedo acceder a artículos específicos con mi capacidad actual". Gracias Jorge por la difusión que haces sobre como usar el chat y como NO usarlo. Saludos. Belén

[@JorgePetrosino]

Muchas gracias por tus observaciones.

[@MARIALUISADELRIO]

ya decía yo, vengo buscando por viento, mar y tierra las citas que me dio. Se las inventó. Gracias por subir.

[@JorgePetrosino]

Me alegro que resulte útil. Gracias por comentar

[@pocholomoreira]

es asombroso el nivel de literatura que puede generar hoy en día, vos le vas diciendo lo que querés que haga de un modo muy abstracto y los resultados son completamente increíbles; pero mentir miente a cara de perro. cuando recién salió yo creía que era posible hacer que mostrara la hilacha de porqué lo hacía y terminaba con unas calenturas de novela. Un amigo más joven me comparo con el abuelo Simpson gritándole a una nube.

[@JorgePetrosino]

Gracias por comentar

[@maravalle1374]

Me pasó lo mismo. Yo le pregunté aparte por los DOI de cada artículo porque aunque se equivocara en algún otro dato, el DOI no cambiaría y efectivamente, ninguno existe. ¿Por qué lo inventa?

[@docperruno10]

Me sucede lo mismo, al parecer links y DOI son autogenerados de ahí el error al buscar el título de los artículos al parecer existen pero son de muy complicado acceso.

[@JorgePetrosino]

Hace muy poco encontré esto en una página que suele informar sobre temas de tecnología (Genbeta): El modo en que funcionan las IAs generativas de texto, como ChatGPT, "a veces puede conducir a algo que llamamos alucinación", explicaba hace unos días Prabhakar Raghavan, jefe de Google Search, al Welt am Sonntag. "Esto se expresa de tal manera que una máquina proporciona una respuesta convincente pero completamente inventada". En su entrevista, Raghavan recurrió -entre otros- al argumento de las alucinaciones para justificar el hecho de que Google se haya quedado por ahora por detrás de Microsoft en este campo...

[@pfar9494]

Hola, si efectivamente todas las citas que le pedí son inventadas. Es una pena, pero esperemos que pronto pueda ser más preciso con la fuente que nos brinda. Gracias por compartir tu video

[@JorgePetrosino]

Gracias por comentar. Otra persona me acaba de informar que utilizando el chatGPT integrado a Bing es posible conseguir citas confiables. Lo probaré y mostraré lo que encuentro.

[@TheGsepulv]

Gracias por el video, corroboro lo que dices. No he encontrado ninguno de los artículos que me ha citado CHAT GPT.

[@JorgePetrosino]

Gracias por comentar

[@davesinho4]

Hola, gracias por el video. Me pregunto si en ChatGPT 4 (versión de pago) este problema cambia para mejor. Te sigo Jorge!.

[@JorgePetrosino]

Muchas gracias por el comentario. No he probado la versión de pago, pero según algunas cosas que he leído pareciera que tiene menos tendencia a "alucinar" que es el término que vi utilizado para identificar estas mentiras disfrazadas de verdad.

[@arieljunco1182]

@@JorgePetrosino Hola , entonces podría ser que la versión gratis de IA sea mentirosa ,drogadicta , fantasiosa o si querés la menos confiable , para que la que responde lo verdaderamente necesario fuere la versión paga y la mas cara , pienso yo . Hay alguien que este usando la mejor versión y lo pudiera corroborar o decir si es igual a la versión gratuita ?

[@jesusg.castro9638]

Entonces de momento no se puede realizar estudios con estos programas no? Porque al inventarse las citas tambien se inventa los resultados? O existe alguna forma de que te de las citas de forma correcta si sabes realizar de forma adecuada la pregunta?!?

[@JorgePetrosino]

Este hecho de brindar respuestas inventadas resultó ser un comportamiento no buscado (y no completamente esperado) por parte de los programadores. Lo suelen denominar "alucinaciones" que se dan en estos sistemas de inteligencia artificial. No se puede confiar a ciegas en ninguna de sus respuestas. Sin embargo, pueden resultar útiles. Yo sugiero pensar en que se trata de una respuesta de un asistente con buenas intenciones, pero que puede equivocarse, por lo que es necesario evaluar la corrección por medios alternativos luego de obtener sus respuestas. Quizás en la versión paga (que puede acceder a Internet) pueda realizarse una pregunta que permita un poco más de confianza. Una alternativa es probar con Gemini (que acaba de ser puesta a disposición por Google reemplazando a su anterior versión Bard). Cuando se hacen consultas a Gemini se puede elegir entre una respuesta "creativa", "equilibrada" o "precisa". Esta última es la más confiable (pero probablemente también la que se aleja menos de una buena búsqueda manual en Google). Una ventaja de usar Gemini es que permite pedirle referencias de páginas web que apoyen sus afirmaciones.

[@josejimeneza5816]

Hola, confirmo lo del video. yo le hice una pregunata sobre cuanto costaba un servicio de consultoría para remediación del sistema de calidad según el IVDR, Y me tiro un costo aproximado, entre otra información, luego le pregunte si me podía pasar las fuentes o páginas web donde obtuvo esta información. Me responde que el no tiene acceso a la web, cosa que no le creo y metira algunas páginas web que me podrían ayudar, pero no existen.

[@JorgePetrosino]

Gracias por comentar

[@dianapi31416]

Efectivamente: le pedi recomendaciones de literatura sobre virtudes del tipode Spinoza y se invento libros. Los estuve biscando y ponia un autor con otro título de libro y años inventados. Cruce de información. Aguas, porque tengo amigos que lo usan para poner sus citas en sus tesis y si el tutor no lo revisa bien, estarán aprobando trabajos falsos.

[@JorgePetrosino]

Gracias por comentar

[@rodo169]

Akguien sabe si en la version plus se mantiene este problema

[@JorgePetrosino]

Yo no he tenido oportunidad de probar esto en la versión paga. Aparentemente alguien ha comentado por aquí que en la versión que está incluida en el nuevo buscador Bing no inventaría citas. Esta opción permite hacer búsquedas por Internet. Por el momento van habilitando poco a poco el acceso (hay una especie de lista de espera). Hace poco me llegó un mail habilitándome a usarlo, en unos días lo pondré a prueba.

[@juanantoniosanchezafonso1151]

Me pasó exactamente lo mismo. Gracias por compartir

[@JorgePetrosino]

A la orden. Gracias por tu comentario

[@mariomorales6230]

Si ocupas el chat de Bing no sucede eso, te da las citas correctamente.

[@danielmatias9333]

Cual es ese

[@JorgePetrosino]

Buen dato. Hace un par de días recibí un email habilitándome a usarlo, de modo que lo probaré. Gracias por la información.

[@JorgePetrosino]

Pocas semanas después del lanzamiento público de chatGPT, Microsoft anunció que se asociaba con OpenAI para incorporar a chatGPT en su buscador Bing. Hizo una presentación en vivo por KZbin hace algunas semanas e indicó que se iría abriendo al público progresivamente. Invitaron en principio a anotarse en una lista de espera. Recientemente recibí la aceptación para probarlo, de modo que muy pronto lo voy a probar y a subir un video comentando lo que encuentre.

[@dr.victormendezdussan6810]

Absolutamente cierto. Al inicio me causo gracia pero tambien me he preocupado. La AI inicia mal. Mintiendo y volviendo a mentir. Al mejor estilo de los humanos Mitomanos. Gracias por el video.

[@JorgePetrosino]

Gracias por comentar. Exactamente eso, intenta lograr un comportamiento que pueda parecer humano y lo hace bastante bien, incluso cuando se equivoca o cuando miente.

[@pazcanete]

Llegue acá buscando una respuesta a las mentiras bibliográficas del chat gpt... porque la verdad ninguna de las referencias que me entregó existen, hasta links de páginas que no llegan a nada... pero toda la razón, es muy convincente la mentira

[@JorgePetrosino]

Muchas gracias por compartir tu experiencia.

[@lizbethromerosanchez5304]

Wow no puedo creer que realmente genere páginas web, lo hace muy convincentemente, pero en efecto, no existen

[@cyberpunkvirtualassistant8183]

Me paso lo mismo con otras preguntas y le pregunto de nuevo y me miente nuevamente

[@JorgePetrosino]

Gracias por comentar

[@cyberpunkvirtualassistant8183]

@@JorgePetrosino igual ahora me dijeron q todo esto es un error que ya saben de la version 3.5 , que la version sig que es paga..no lo tiene

[@ignaciosalamanca2146]

Me pasó exactamente lo mismo, inventa las citas y referencias.

[@JorgePetrosino]

Gracias por compartir tu experiencia

[@idkmyg]

video muy útil

[@JorgePetrosino]

Muchas gracias por dejar tu opinión

[@romelarteaga1379]

Lo que pasa es que chat gpt no tiene acceso a internet, por eso no puede buscar fuentes bibliograficas

[@JorgePetrosino]

Tenés razón. Pero si le pedís otro tipo de información que requiere una búsqueda te contesta que no puede hacerlo porque no tiene acceso. Sin embargo, con las referencias a artículos científicos lo que hizo en estos ejemplos fue dar información falsa como si fuese veradera. Literalmente "inventa" artículos que nunca existieron.

[@pocholomoreira]

es muy fácil de detectar con poemas: le decís el nombre del poema y el autor, le pedís que lo diga y lo inventa.

[@JorgePetrosino]

Gracias por comentar

[@omardecardenas518]

Los links que te da siempre están caídos

[@JorgePetrosino]

Gracias por comentar

[@ING-LARRY]

A mi me. Dio tesis inventadas. De fuentes que no existían. Realmente mal, lo cual me vi en problemas con mi tesis.

[@JorgePetrosino]

Gracias por comentar

[@edgarchacon4998]

Corroboro lo que se está presentando en este video. El chat gpt da referencias erróneas, simplemente no existen. Gracias por el aporte.

[@JorgePetrosino]

Gracias por comentar

[@Sergio-ry3ll]

Las citas son casi siempre inventadas, sí

[@JorgePetrosino]

Gracias por comentar

[@nico-qz9vo]

hola profe

[@JorgePetrosino]

Bienvenido!

[@Alias-m5b]

gracias por tu video amigo, he pasado horas revisando que fuente es cierta o al menos existe y jaja nada! que descpecion, ojala pueda mejorarse ese asunto, es muy util pero si no puedes justificar tu fuente es lo mismo que nada. Estoy ansioso de ver tu video usandolo con Bing. Saludos

[@JorgePetrosino]

Muchas gracias por el comentario. Aún no tuve tiempo de preparar el video con Bing, en parte porque se me presentó antes la oportunidad de probar con Bard. De modo que generé una prueba con Bard (de Google y que supuestamente tiene acceso a la web), pero los resultados fueron semejantes en cuanto a las "alucinaciones" inventando citas que no existen.