¿Cuánto sabe la inteligencia artificial sobre derecho colombiano?

Abstract

Este articulo evalúa la capacidad de tres modelos de lenguaje de gran tamaño (LLM) —ChatGPT 3.5, ChatGPT 4 y Gemini Pro— para responder consultas legales en el contexto colombiano. A través de un análisis exhaustivo de respuestas a preguntas en cinco áreas del derecho, se encontró que, si bien ChatGPT 4 obtuvo los mejores resultados generales, ninguno de los modelos logró alcanzar un nivel de precisión aceptable para su aplicación práctica en el ámbito jurídico. Los resultados sugieren que, aunque los LLM ofrecen un gran potencial para automatizar tareas legales, su uso en la práctica requiere de una supervisión humana rigurosa y de un desarrollo continuo de los modelos. Este estudio contribuye al debate sobre la ética y las implicaciones legales de la inteligencia artificial en el ámbito jurídico, destacando la necesidad de establecer marcos regulatorios adecuados para garantizar un uso responsable de estas tecnologías.

Keywords

• derecho
• ética profesional
• evaluación de conocimientos
• inteligencia artificial
• procesamiento de lenguaje natural