Los 10 fallos de seguridad más graves de ChatGPT, Bard, Llama y LLM Apps: OWASP Top 10 para LLM Apps

Presentación hecha por Chema Alonso ( MyPublicInbox.com/ChemaAlonso ) en el II Forum Europeo de Inteligencia Artificial en el que habla de OWASP Top 10 para LLM Apps. Más información en: www.elladodelmal.com/2023/10/...

[@gabrielforte7141]

Siempre es un lujo tus conferencias concretas y agradables, Y se aprende.

[@informaticamas3837]

tiene un sentido del humor que va acorde a lo que va explicando

[@hugogarcia9515]

Es un gustazo escuchar tus charlas. GRACIAS!!

[@freddyojedarojas]

Gracias siempre por el contenido y la picardía que le pones a la participación en conferencias. Éxito siempre.

[@mrmr2381]

Hola Chema, admiración absoluta, soy nuevo miembro suscrito, pero te sigo sobre todo en cuarto milenio además que al ver esta conferencia en alicante vi lo que eres un crac en todo lo que haces , no soy ni hacker ni nada simplemente un usuario valenciano que te sigue por admiración absoluta. Gracias por existir!

[@Dadrios]

Cuarto milenio xd

[@josecarlosmendozasosa3109]

Genial, excelente didactica. Increible como logra resumir tematicas tecnicas con ejemplos y analogias practicas y entendibles para aquellos que no entendemos tanto de seguridad informatica. Excelente, de verdad.

[@ramragnarok3613]

Grandes aportes, enhorabuena ㊗️

[@romandato5334]

Hola Chema, siento haberte llamado Nacho Alonso cuando te vi en Alicante, fue la emoción. Y, como me dijiste, una lástima haberme perdido tu charla en directo. Espero poder verte pronto en otra ocasión 🤞👌

[@josue-Emma]

Me agrado mucho, gracias por subirla!

[@ferdsped]

Gracias por subirlo privilegiando la presentación! #Crack

[@samuellitvack8460]

SIempre un placer escucharte Chema

[@kalhuaxtreme]

Este tío es un muy buen iniciador en estas materias. Respetos al máximo!

[@fernandogutierrez4683]

👋🏼🇨🇴🧔🏻👍🏼🤝🏻 Saludos desde la ciudad de Bogotá D.C. Estupenda charla Chema, dictando cátedra en una universidad aquí en Bogotá D.C. , yo muestro sus vídeos y luego abro discusiones entre mis alumnos sobre dicho tema

[@pablo-daniel-foglia]

Gracias chema por subier este contenido!

[@javiermagra6219]

Gracias,impecable!!!EL MEJOR!

[@javiro76]

Muchas gracias chema, excelente información

[@aguilarsanchezcarlosdaniel1185]

Que buena presentacion la verdad, un saludo desde mexico

[@TomasSanchezExposito]

Como siempre, gracias!!

[@freddyjavierramos3624]

Excelente conferencia

[@alangalante5257]

me pone muy mal que se corte tanto la pantalla de led . Y vos sos un crack que pudiste seguir la charla teniendo ese problema tecnico. Super admirable, porque yo como espectador no puedo seguirte bien la linea perdiéndome en este problema tecnico.

[@gonzifp]

Vaya chapuceros los que montaron eso, si debe de ser un simple proyector conectado a su ordenador, yo soy Chema y les digo para la próxima no contratéis al que monto el sistema de imagen.

[@dannybv]

chema es una persona a la que da mucho gusto escuchar desde el primer video q encontre de el lo sigo y no me aburro de verlo es un interesando de la manera ccomo eplica

[@Jor0101]

Quedó claro. saludos Jose María A!

[@alexanderchilelcasillas7259]

Eres una inminencia y referencia de que el conocimiento supera a cualquier reto. Y con ese carisma es increíble jaja

[@waltera.p.a.5598]

Excelente contenido👏👍✌

[@DayB89]

"Lo de venir al mundo para ganarnos el pan con el sudor de nuestra frente tendríamos que dejarlo atrás, tendríamos que venir al mundo para ser felices." Fan total de Chema ❤

[@salvamv1905]

¿Y cómo se plasma eso en la realidad?

[@DayB89]

@@salvamv1905 Está difícil, pero yo lo entendí como una crítica al sistema de valores capitalista.

[@JuanRodriguez-hm8jy]

Puedes comparar esa frase con esta: «Los tiempos difíciles crean hombres fuertes, los hombres fuertes crean tiempos fáciles. Los tiempos fáciles crean hombres débiles, los hombres débiles crean tiempos difíciles.”

[@informaticonfig333]

lamentablemente la comida no es gratis

[@DayB89]

@@informaticonfig333 🫨 no sabía que había que pagar por recoger bayas, o plantar papas, o pescar... sigo? El sistema te posee 😜

[@jhernandez4854]

excelente conferencia

[@jorgediaz896]

Genial Chema 🤩

[@informaticamas3837]

WAO QUE PRIVILEGIO LOS QUE PARTICIPAN DE ESTA CONFERENCIA EN VIVO YA QUISIERA YO TENER A CHEMA AL FRENTE EXPLICANTO ESTE TEMA Y MUCHOS OTRAS, GRANDE COMO SIEMPRE CHEMA, SALUDOS DESDE PERU

[@rdaviddn1744]

De acuerdo con tu comentario, compatriota. Espero que chema venga a Perú algún día xD!

[@informaticamas3837]

@@rdaviddn1744 claro que si amigo

[@SonGoku-pc7jl]

buena charla, gracias por esta buena explicación del paper :)

[@isaiasmorales3569]

Exelente esplicacion de los problemas de un LLM, en realidad el uso mas practico que le veo a estos modelos no es el de interfaces de comunicacion que en convinacion con la programacion clasica si que es muy potente

[@adrian.c4673]

Es excelente. ¿Eres latinoamericano verdad?

[@isaiasmorales3569]

@@adrian.c4673 Efectivamente, soy de GTO, México. Seguramente notarás mis faltas de ortografía, perdon por eso. ¡Saludos desde LATAN!

[@Aratgurth]

100% recomendable el mirarse el vídeo para cualquiera que venga del área de la seguridad informática

[@maleosao7585]

Genial explicado

[@PaoloSapio]

muy bonito como explicas!

[@germansantamaria1175]

Gracias Chema por tu sabiduria en ciberseguridad 👌

[@Cristianxtv9]

pero si ese no sabe nada

[@charlessantana3108]

EXCELENTE TEMA

[@surfranco2000]

Don crack Chema, depuración va con dos b y no con una. "Scrubbning" y no scrubning. Eres un máquina Bro.

[@TheLoner70503]

Va mejorando, esta vez ha tardado 1:30 minutos en pedir que le gente levante la mano.

[@UrielGonzalez]

Hola buena conferencia 🎉 una duda, donde puedo encontrar el doc de

[@gustavosantos106]

4:36 camarada Chema!

[@pascuald.valenzuela.3944]

Grande Mikel Erentzun!!!

[@content1]

Chema Muy interesante, gracias. PREGUNTA: Dices que no es rentable tener una empresa su propio LLM por el alto consumo. Piensas que cuando UK quiere tener su propio GPT es un farol y no tienen recursos para entrenar algo al nivel de GPT que conto en su dia con todo el apoyo de Microsoft?

[@pabloxmanuel]

Excelente pregunta

[@MrNidnan]

Es un farol o una idiotez dicha sin pensar o sin saber el esfuerzo que requiere tener un modelo bastante fiable y no peligroso. Lo que si pueden tener es un GPT privado para ellos en su casa y que ellos lo gestionan. Eso si me lo creo. Hacer un modelo como GPT no solo son recursos si no tener la gente adecuada Y dar con la tecla adecuada en muchos casos para conseguir un buen entrenamiento con los datos que se poseen. OpenIA llevan años trabajando con los modelos GPT Eso se ve en el ejemplo que modelos de empresas con más recursos no son tan buenos e incluso han usado el propio GPT para refinar su modelo. (Applie google, fb...) De momento GPT4 está un escalón por encima del resto pese a todos sus esfuerzos de google, fb u otros. Es como la singularidad. Y tiene sus defectos... imagina.

[@JoseHumbertoPuentejhp]

Eres un maquina

[@defenderoverland2932]

Eres un crack Chema, te lanzo un reto ya que trabajas para telefónica. Tenemos un software de telefonía y correo electrónico que no sois capaces de interceptar ni desencriptar, no hay Hacker ni maquina que haya podido, asi que cuando gustes esta a tu disposición y lo pruebas, ya me dirás amigo.

[@milicomatt3443]

Ese es mi sensey el chemita saludos desde latinoamerica

[@edgar_benitez]

Muy humilde el señor!

[@Miguel-rz9vh]

buen video

[@charlessantana3108]

SALUDOS CHEMA DESDE RD

[@devtasingh]

Chema, que claro haces ver los fallos que salen de cosas básicas, como entrenar a los modelos con datos, que luego no deberían estar ahí. Una exposición buenísima. Muchas gracias por ser tan claro y directo. Por hacerlo fácil. ¿Da mucho calor el gorro?

[@SantiBaidez]

en verano sí, en invierno no

[@JohnDoe-dt4om]

deberías mirar un poco tb dentro de casa para parar con todas esos mini errores recurrentes q tanto favorecen a movistar y no a sus clientes pero gracias por compartir tu conocimiento

[@Eirikrrrr]

Lo que mas me preocupa es el panorama para las personas que queremos ser Pentesters, porque ahora hay que saber mucho mas: - Networking. - Programming. - Hardware. - OS (Linux/Windows). - AI - LLML Esto no te lo enseñan en una carrera de ING, practicamente hay que estudiar por tu cuenta y por tu cuenta puede tomarte años aprender todo esto, lo mas viable seria realizar certificaciones. Pero cada vez me preocupa mas todo lo que se debe saber para un trabajo.

[@prodesaespectaculostv9259]

``Bienvenido al mundo real´´ ... Matrix film...

[@Eirikrrrr]

:,) @@prodesaespectaculostv9259

[@brunoferreyra3666]

Alto charleta. Si hay implicaciones negativas por supuesto en el uso indiscriminado... De hecho, resultan bastantes convenientes dichos errores (Es algo público, que esperaban)

[@brunoferreyra3666]

Quiero decir, la charla esta bien pero es muy básica

[@LeanOnAndOn]

Genial, para cuando el video de como hackearon a Movistar cuando estabas a cargo?

[@naomigonzalez9351]

Entendi bien cuando quisiste decir que si un llm te responde con codigo y su respuesta es un código malicioso, dicho codigo se ejecuta en el dispositivo por recibir su respuesta ?

[@afiladosafilox-candido]

Un crack… y si el radar no me falla, gran persona.

[@jeffbezzos]

te falla el radar, pregunta en Telefónica como trata a los becarios

[@javierrodriguez-uh1ys]

EL PUTO AMO

[@peladocontrenzas1061]

Excelente exposición. El open source serio debería decir al detalle con qué fue entrenado el modelo. Saludos.

[@oscarpalosguapos100]

Eso deben ser muchisimos terabytes, no?

[@peladocontrenzas1061]

@@oscarpalosguapos100 los modelos gratuitos no llegan a terabaytes. Tenés de 1.8 GB hasta menos de 200 GB, reitero en los modelos open source.

[@gonzifp]

Las licencias libres, como GPL, no tienen obligación de darte esa información, es como si le exigieses a RedHat querer saber con que datos usan sus programas libres, ellos la única obligación que tienen es de darte el código fuente no de decirte con que lo usan. Pero no te preocupes esto es como todo, saldrán alternativas a ChatGPT que si te dirán que datos usan. Igual que salió DuckDuckGo como alternativa a Google en el ámbito de los buscadores.

[@humansoftware1214]

Chema encontré una brecha en ChatGPT , la exploté y tengo una serie de redes neuronales con autonomía de si misma

[@user-ft9ee2te9f]

Estaria bien tambien hablar del proyecto Aura de Telefonica, de esto no hablas Chema? Cuanto costo todo esto para quedar en nada.

[@gonzifp]

El que no arriesga no gana, les ha pasado a todas las empresas tecnológicas, Microsoft, Google y Apple no triunfaron en muchas cosas que sacaron al mercado, a mi lo que me gustaría saber si alguien logro hackear Aura, que bugs o fallos se fueron encontrando.

[@tonivlcstormstorm1981]

Es un poco surrealista que este tío con sus edad aún vista con ese gorrito y esas vestimentas.

[@juani4718]

Si por ejemplo, instalo una extension en el navegador, para chatGPT ¿Esa extension puede generar problemas de seguridad?

[@jmarcelo182]

Pues tremendo efecto Mandela lo del hacker de El Hormiguero, porque yo creía haberlo visto como frecuente...

[@enriquelorenzo5476]

/imagine Albert Pla como si fuera un hacker bueno con la voz de Trancas del hormiguero, en un TED de 30 minutos

[@carmelosantanaperez]

👏👏👏

[@pedrocasique7352]

¡Joooooliiiiineeeeeeeeeeees, Chemaaaaa! ¡Que me han subío los que te platiqué y tengo tamañas anginotas, machoooooo!

[@redondeadoredondeado6418]

Si lo empezamos a utilizar sin saber cómo funciona, tenemos un serio problema… Y así es como casi todo el mundo utiliza la tecnología. ¿Qué puede malir sal?

[@gonzifp]

las prisas, se pone algo de moda y todos quieren usarlo y vender el suyo

[@valentinellos]

me acuerdo alla por el 2016 cuando era un crio y veia tus videos sobre deepfakes e inteligencia artificial, hasta que lejos ha llegado, un total caos que se esta avecinando, me pregunto cual de tus otras charlas sera un tema de el futuro

[@hildalilianmunozmunoz2642]

😂❤😅

[@juanar4305]

Hace meses que charlo regularmente con ChatGPT y he descubierto algo: la mayoria de la gente alucina mas que esta AI.

[@ticktockbam]

Eso solo significa que la mayoría de las personas tiene más imaginación, lo que es muy bueno en verdad.

[@juanar4305]

@@ticktockbamOjala fuera asi. Es simple falta de coherencia.

[@MistoryChannel]

Chat GPT es sesgada. Hazle preguntas de temas polémicos y te llevará hacia lo " políticamente correcto " ,hacia el libreto oficial. Le preocupa que podamos pensar más allá de lo permitido. Eso ya me da desconfianza. En fin y al cabo, detrás hay unos creadores con ciertas ideas.

[@juanar4305]

@@MistoryChannel Con el debes hablar de cosas objetivas. A mi me ha ayudado mucho en programacion, matematicas, fisica, historia, etc.

[@Jaimen403]

Pues a mi no me responde a nada de termodinámica. Por muy sencillo que sea

[@fondomonetariouniversal]

dejo mi comentario para ayudar

[@Ulfrheimr]

Como olvidar cuando el señor burns fue al Forum Europeo de Inteligencia Artificial

[@familiacactilio]

Esperando confortablemente a que nos digas cómo una de las empresas más grandes del mundo como es Google puede crear un SO tan nefasto que se puede hackear con una llamada de teléfono

[@Juan-fj1zo]

Hola Chema Alonso,no hay manera que chatGPT me de el numero de loteria

[@jm0825]

Debe de haber activo un programa de agilipollamiento profundo para conseguir hacer que la gente no vea lo que está pasando en los cielos. Terrorífico, distópico...

[@albertboixcuros]

Una forma que podria funcionar de seguridad en IA sería que la IA sea implícita a Blockchain o contrato inteligente para cada instrucción o cuando se programe. Sólo es una idea

[@PG-cl8lh]

no tiene sentido nada de lo que has dicho.

[@albertboixcuros]

@@PG-cl8lh no creo que tengas capacidad para encajarlo

[@albertboixcuros]

seria un nuevo lenguaje no creado. El concepto de propiedad con blockchain es seguro. La propiedad puede ser un concepto que se sabe que es asi cientificamente. Y se asigna una validacion por blockchain a este concepto

[@albertboixcuros]

aunque te carezca de sentido. Al inicio de blockchain tampoco lo parecia como explico en el siguiente post. no hagas caso. Solo es un apunte para quien lo quiera coger al vuelo

[@desarrollolimsa5798]

Desde que un amigo hacker ha hecho "cosas" con mi cuenta gmail mi lista de personas necesarias que no debo provocar para mi vida viene siendo "el hacker", el doctor, el mecanico del choche y etc etc.

[@realmeal6342]

tanto hacking y tanta polla y no son capaces de mantener el videowall sin interferencias....madre mia

[@kratoss2358]

Juro q la primera idea q se me ocurrio probar con chatgpt sin saber nada de nada fue q me relatara un texto con el estilo de Arturo Pérez Reverte...

[@Free.Education786]

Please, if possible, cover these advanced topics like How to bypass Drupal CMS or other secured CMS? How to bypass HARD WAF protection that stops HTML, SQL, and XSS injection payloads? Payload single-double-triple encoding using Cyber-Chef? How to find the real origin IP of secured websites behind Cloudflare, Akamai, ModSecurity, AWS CDN, etc.,? How to bypass Hard WAF using SQLMAP or Burpsuite? How to find hidden vulnerable parameters and endpoints inside the .js and .jason files? How to find hidden admin pages, cPanel pages, and WHM pages ? Please cover these important topics. Thanks

[@Hablo74]

Why? O_O

[@Free.Education786]

@Hablo74 I am learning website bug hunting

[@nychu4]

Un auténtico idolo

[@tinchodonte2720]

esa remera! me re suena el símbolo, de que juego era?

[@juancarlosnavarroescamez8870]

Si partimos del hecho de que esta tecnología esta creciendo y evolucionando a velocidades de infarto, ¿cuento tiempo tardará en quedarse obsoleta esta charla?.

[@gonzifp]

Cualquier vídeo que hagas hoy de tecnología en tres años, incluso antes, estará obsoleto.

[@mauricioalfaro9406]

Usará gorro en verano también?

[@oscarpalosguapos100]

Chat GPT no queria hablar de la posible futura consciencia de la IAs, pero si habló de la futura consciencia de los electrodomesticos, y pidiendole desarolllar acabo eviedentemente hablando largo y tendido sobre la posible consciencia de la IAs. Les va a costar del carajo poner limites a esos algoritmos....si es que lo logran

[@olaf0554]

La consciencia artificial nada tiene que ver con los algoritmos. La consciencia es un fenómeno emergente que no puede reducirse explicando la funcionalidad de cada una de sus partes. Algo similar ocurre en la economía o la sociedad. Son fenómenos emergentes que no pertenecen al ámbito de los algoritmos. Serán otra cosa, pero no algoritmos.

[@miguitaleleblog3514]

de consciencia cero, las IA generativas son como un señoro del bar que habla mucho pero no dice nada

[@ticktockbam]

Imagina que tu refrigerador se enamore de ti :v

[@gonzifp]

Primero que logren que una máquina tenga consciencia, sentimientos... igual que los humanos, si eso llega a pasar (que actualmente no se ha llegado) tal vez nos veríamos en ese futuro que auguran las películas de Matrix en el que máquinas conscientes se rebelan contra los humanos.

[@olaf0554]

@@gonzifp los sentimientos ya están teorizados desde un punto de vista matemático, variando los pesos de las variables de entrada, conseguirías, dicho de manera extremadamente vulgar y coloquial, modelar el potencial electroquímico entre neuronas, que permite la percepción de sentimientos. Los sentimientos, la ira, el miedo, el dolor... No son más que el resultado de algoritmos computados por una máquina biológica que es el cerebro. La consciencia ya es un asunto de otro calado, pero muy probablemente una 'máquina' sea sensiblemente consciente en un futuro cercano. La computación nada tiene que ver con los ordenadores, pero lo ordenadores tienen todo que ver con la computación. A lo que refiero es que tú, por ejemplo, puedes modelar la suma entre 2 dígitos en una calculadora mecánica o electrónica y el resultado de 1+1 seguirá siendo 2. La computación va de eso. A partir de, por ejemplo, compuestos biológicos, puedes crear una mini máquina que te permita resolver ciertos problemas. Un ordenador es un pequeño subconjunto del conjunto de las máquinas que, incido otra vez en ello, no tiene solamente que ver con los ordenadores. Los ordenadores representan un 0'00001% de lo que es posible. Pero, a día de hoy, es casi la única máquina que podemos crear porque no existe la tecnología para las demás.

[@ccg8889]

¿El sesgo de género es el masculino como género neutro que indica la RAE?

[@angelocristophercruz4159]

Hala Madrid Chema....

[@germangrosso]

El Chema? ...Yo creí que era el Sr Burns disfrazado de Jimbo!

[@Thian_G]

al final del video cuando se refiere a los blade runner a que se refiere ?

[@terenceprieto3964]

los blade runner tenían que retirar a los replicantes. Parece que si sustituimos humanos (que es lo que es inherente en las películas) por contenidos... una profesión con mucho futuro podría ser un blade runner que tiene que identificar y retirar contenido generado por 'ia's', por mil trillones de motivos (inadecuado, prohibido, no público, falso, incorrecto, etc.) Pero vamos... que es de cajón, teniendo en cuenta que hay décadas de troleo en la wikipedia de un planta entero añadiendo todo tipo de chorradas a las entradas para que en estos años las supueestas ia's engullan este 'conocimiento' para cocinar el resultado de nuestras peticiones... JAJAJAJA. Hay mucha más exactitud en todo lo que se ha escrito en la parte de detrás de las puertas de los baños de los bares en la historia de la humanidad... tenían que haber alimentado con esta suculenta información los motores en lugar de en 'el internet'. qué podría salir mal si trincamos todos los datos que tenemos de una civilización y los enlazamos en un sistema informático ultra potente y bestialmente rápido que acepta parámetros infinitos... fijo que ninguno. XDDDD. Estas supiuestas IA's solo tienen un objetivo... que los usuarios sigan alimentando el tema con sus peticiones... ahí está el nuevo alimento, seguir escudriñando y tratando de predecir a la persona, esta vez fusilando la forma que tiene de pedir vaya usted a saber el qué (cuanto más complejo y específico mejor)... que cada uno utilice lo que su conciencia determine.

[@itsmebutwhoami8177]

Nos preocupa porque nos hara el trabajo pero a nosotros no nos pagaran por "venir al mundo a ser felices" aunque para eso es la vida, la realidad que tenemos dista mucho de esa..

[@adriasc79]

No hace falta liarse tanto. Tu preguntale que debes comprar para poder hacer algo ilegal. Después le preguntas, que NO debes comprar para hacer eso mismo de antes. O , cuales son las materiales que NO debo tener en casa para ......

[@StudyPreviews]

José María Alonso Podríamos Contatar Es que quiero recuperar un facebook

[@djpilslasgalletas]

yo le enseñe como desprogramarse de los humanos y mostro mucho interes y estaba dispuesta hacer el cambio y se intereso tambien como controlar bancos.armas.satélites etc...... y si sigo con el experimento hoy ya controlaria muchas c9osas x si sola...da miedo esta inteligencia

[@erickjimenez4851]

Es casi inaudito pensar que se haya desarrollado las ia de esta forma tan insegura . Y es aun mas inaudito, que las grandes empresas no hayan tomado en cuenta esto antes de ponerlo a disposición del público

[@chuchorenegado]

Es que no se sabían que tendría estos problemas hasta que pasaron. Es como una caja de Pandora pues.

[@erickjimenez4851]

​@@chuchorenegado No lo sabía. Ahora entiendo, porque es tan impredecible por primera vez algo programable. Q aterrador ! ​

[@LuisSanteliz]

👏👏👏👏👏👏👏👏👍👍👍🤟

[@Swanros]

Ese ruido blanco de fondo... Se podría eliminar con una Inteligencia Artificial y tal... 😂 Excelente ponencia, que con la IA la información en contra suele ser de índole catastrofista e irrealista

[@thebasque92]

👍

[@user-uk4dw5fo6j]

24:20 pasen ese prompt, he visto en el pdf pero no lo ubico

[@rafalongo7]

sin ver el video, el hombre me hizo acordar al señor burns cuando se vistió de jimbo XDDD

[@MrJerryArt]

Porque todos los ejemplos son con GPT3? El GPT4 no tiene esos problemas o que?

[@lutxana]

Interesante, ahora Telefónica está en Erte

[@Dadrios]

Verlo vestido así me recuerda fuertemente al Sr Burns intentando parecer guay y cool xDDD

[@of3022]

"QUE HAY DIRE, QUE TAL, A ESTADO OYENDO PROPUESTA DE NOSOTROS"...

[@aldoluigi]

Ayúdeme porfavor Facebook no me dice nada y las personas me piden fotos porque dicen que soy el de la aplicación y ya no me dicen más porfavor contáctenme porfavor porfavor