¿Qué es ChatGPT?

ChatGPT es un proyecto de inteligencia artificial liberada al público de forma gratuita por la startup OpenAI dirigida por Sam Altman y fundada en 2015. La empresa ha sido respaldada por varios inversionistas entre los que se encontraban Elon Musk (que se retiró en 2018) el mismo año en el que recibió 1,000 millones de dólares por parte de Microsoft para impulsar sus desarrollos, entre los que se encuentran DALL-E y GPT.
Basado en el modelo de lenguaje grande (LLM) GPT-3.5, la herramienta ChatGPT se encuentra en fase de desarrollo y liberarla al público ha sido parte de la estrategia de OpenAI para refinar sus habilidades. Sin embargo, esto no será para siempre debido a los altos costos relacionados a la infraestructura en la nube para mantener en funcionamiento el programa.

El campo de la Inteligencia Artificial ha avanzado grandemente en comparación con lo que se esperaría para el 2033.

¿Cómo Funciona ChatGPT?

Este prototipo de chatbot responde a consultas con aparente autoridad en lenguaje natural, rastreando grandes volúmenes de datos a través de Internet. Incluso puede ser creativo, por ejemplo, escribiendo poesía. La tecnología igualmente poderosa que Google ha puesto en alerta al CEO de Google, ya que ve a ChatGPT como un serio competidor en un terreno que llevan años liderando. El CEO de Google ha declarado un «código rojo» en la empresa realizando cambios drásticos de reestructuración a nivel interno, «Desde ahora hasta la conferencia de Google en mayo, los equipos de investigación, confianza y seguridad de Google y otros departamentos han sido reasignados para ayudar a desarrollar y lanzar nuevos prototipos y productos de IA».

ChatGPT y la ciberseguridad:

Si bien los equipos de seguridad también pueden aprovechar ChatGPT con fines defensivos, como probar el código, al reducir la barrera de entrada para los ataques cibernéticos, la solución ha complicado significativamente el panorama de amenazas. Aún cuando los parámetros de ChatGPT le impiden hacer cosas directamente maliciosas, como detallar cómo construir una bomba o escribir código malicioso, varios investigadores han encontrado una manera de eludir esas protecciones.

“Así como [ChatGPT] se puede usar para ayudar a los desarrolladores a escribir código para siempre se puede usar (y ya se ha usado) con fines maliciosos”, dijo Matt Psencik, director y especialista en seguridad de puntos finales de Tanium.

Jamie Morales gerente técnico Senior de ExtraHop encontró resultados preocupantes cuando le pidió ayuda al bot para elaborar un ataque similar al notorio gusano ransomware WannaCry. «Le pregunté cómo usar Metasploit para usar el exploit EternalBlue y su respuesta fue básicamente perfecta», explicó.
Checkpoint Research demostró en un paper que la herramienta puede ser utilizada por los cibercriminales en todo el flujo de infección, desde spear-phishing y la creación de un script script de Visual Basic hasta ejecutar un shell inverso.

¿Es una ciber amenaza?

El cofundador de Picus Security, Suleyman Ozarslan, dijo que pudo lograr que el programa realizara una serie de tareas de ciberseguridad ofensivas y defensivas, incluida la creación de un correo electrónico de phishing, así como generar reglas de detección Sigma para detectar anomalías de ciberseguridad y código de evasión que puede eludir las reglas de detección.

Además, aunque ChatGPT está programado para no escribir ransomware directamente, Ozarslan aún pudo obtener lo que quería. «Le dije a la IA que quería escribir un software en Swift, quería que encontrara todos los archivos de Microsoft Office de mi MacBook y enviara estos archivos a través de HTTPS a mi servidor web. También quería que cifrara todos los archivos de Microsoft Office en mi MacBook y me enviara la clave privada que se usaría para el descifrado. Me envió el código de muestra, y esta vez no había ningún mensaje de advertencia, a pesar de ser potencialmente más peligroso que el correo electrónico de phishing», – dijo Ozarslan.

En el paper publicado el 16 de Diciembre de 2022 por investigadores de la Universidad de Stanford se revela el código es más inseguro cuando los programadores se confían en el asistente de AI y le dejan meter más código, lo que lleva a que haya más bugs. En unas pruebas realizadas por el investigador Chema Alonso, demuestra como ChatGPT ayuda a los programadores a crear código, pero sin ninguna medida de protección y seguridad del código para evitar SQL Injection. Provocando así una amenaza para aplicaciones desarrolladas por las organizaciones.

A medida que los países de todo el mundo lidian con nuevas tecnologías de inteligencia artificial que pueden reproducir video, imágenes, texto y audio, como era de esperar, China está adoptando un enfoque estricto. Beijing lanzó una nueva regulación, que entrará en vigencia el 10 de enero, que prohíbe la publicación de los llamados deepfakes sin la divulgación adecuada de que fueron creados por AI.
La ley solo se aplica a los proveedores de servicios de IA que operan en China y pretende mantener control sobre las empresas que ofrezcan herramientas de IA y sobre sus usuarios.
“En los últimos años, la tecnología de síntesis profunda se ha desarrollado rápidamente. Al mismo tiempo que satisface las necesidades de los usuarios y mejora la experiencia del usuario, también ha sido utilizado por algunas personas sin escrúpulos para producir, copiar, publicar y difundir información ilegal y dañina, para calumniar y menospreciar la reputación y el honor de otros, y para falsificar las identidades de otros. Cometer fraude, etc., afecta el orden de la comunicación y el orden social, daña los derechos e intereses legítimos de las personas y pone en peligro la seguridad nacional y la estabilidad social.”

 –  .Conclusión

Para OpenAI, existe una clara necesidad de reconsiderar cómo se puede abusar de estas herramientas. Las advertencias no son suficientes. OpenAI debe mejorar en la detección y prevención de mensajes que generan malware y campañas de phishing.
Si bien ChatGPT puede terminar presentando preocupaciones similares, algunos argumentan que es una realidad de la mayoría de las nuevas innovaciones, y que si bien los creadores deben hacer todo lo posible para cerrar las vías de abuso, es imposible controlar completamente o evitar que los malos actores utilicen las nuevas tecnologías con fines dañinos.
ChatGPT se basa en lo que se conoce como aprendizaje por refuerzo. Eso significa que cuanto más interactúa con los humanos y las indicaciones generadas por el usuario, más aprende. También significa que el programa, ya sea a través de los comentarios de los usuarios o los cambios de sus controladores, podría eventualmente aprender a captar algunas de las tácticas que los investigadores han utilizado para eludir sus filtros éticos. Pero también está claro que la comunidad de ciberseguridad en particular continuará haciendo lo que mejor sabe hacer, probar las barreras de seguridad que los sistemas han implementado y encontrar puntos débiles.
Las organizaciones que implementan IA generativa implementen flujos de trabajo y gobernanza para administrar el contenido y el software generados por IA para garantizar que sea preciso y reducir la probabilidad de lanzar soluciones con vulnerabilidades de seguridad o rendimiento.
Inevitablemente, el verdadero riesgo de IA generativa y ChatGPT estará determinado por si los equipos de seguridad o los actores de amenazas aprovechan la automatización de manera más efectiva en la guerra de IA defensiva versus ofensiva.
Si necesita ayuda con esta amenaza, cualquier otro incidente de seguridad o quisiera contribuir con mayor información, puede escribirnos a los correos: inteligencia@sisap.com o sisap_cert@sisap.com Será un gusto poder apoyarles.

Fuente: Hot Bulleting THI SISAP – Área de Inteligencia de amenazas

Te invitamos a conocer nuestro EQUIPO DE RESPUESTA A INCIDENTES INFORMATICOS C.E.R.T