Etiqueta: AI Act gobernanza de IA

Crear un departamento de inteligencia artificial no garantiza que una empresa esté gobernando bien la IA.De hecho, puede ocurrir exactamente lo contrario: tener un equipo especializado en IA mientras Marketing utiliza herramientas generativas por su cuenta, Recursos Humanos prueba sistemas para selección de personal, Atención al Cliente incorpora un chatbot, Finanzas experimenta con copilotos y distintos empleados introducen información corporativa en aplicaciones que nadie ha evaluado.Hay departamento de IA. Pero no hay gobierno de la IA.Por eso, antes de decidir dónde colocar la inteligencia artificial en el organigrama, conviene hacerse una pregunta bastante más incómoda: ¿sabemos realmente qué IA estamos utilizando, para qué la utilizamos, quién responde de cada uso y qué controles aplicamos?Ahí empieza la gobernanza.Y también ahí debería empezar cualquier empresa que quiera utilizar la IA de forma estratégica, responsable y segura.Crear un departamento de IA no significa crear otro siloLa primera tentación al organizar la inteligencia artificial es buscarle una casilla en el organigrama.¿Tecnología? ¿Innovación? ¿Transformación Digital? ¿Dirección General? ¿Un Chief AI Officer?La respuesta no es idéntica para todas las organizaciones.El tamaño de la empresa, su sector, el número y la criticidad de los sistemas utilizados, el grado de desarrollo interno y su exposición al riesgo condicionarán la estructura adecuada.Pero hay un principio que considero más importante que el nombre del departamento: la IA debe tener coordinación central, pero la responsabilidad sobre sus usos debe permanecer allí donde se producen las decisiones y sus consecuencias.Pensemos en un ejemplo.Marketing quiere utilizar IA generativa para producir contenidos. Recursos Humanos estudia una herramienta que ayuda a filtrar candidaturas. Atención al Cliente incorpora un asistente conversacional y Finanzas prueba un copiloto para analizar documentación.Los cuatro casos utilizan IA, pero no plantean las mismas preguntas ni los mismos riesgos.Sería poco razonable que un departamento central de IA tuviera que conocer mejor que Recursos Humanos cómo afecta una herramienta al proceso de selección. Pero sería igualmente peligroso que cada departamento pudiera contratar e implantar sistemas de IA sin ningún criterio común.La solución no consiste en elegir entre centralizarlo todo o dejar libertad absoluta.Consiste en establecer una gobernanza común y distribuir correctamente las responsabilidades.Antes del organigrama: hay que saber qué estamos gobernandoNo empezaría creando un comité.Empezaría haciendo inventario.Puede parecer una tarea poco sofisticada para una estrategia de inteligencia artificial, pero una empresa difícilmente puede gobernar sistemas cuya existencia desconoce.Qué sistemas y herramientas de IA utiliza la empresaEl inventario no debería limitarse a los grandes proyectos tecnológicos.Conviene identificar, al menos:sistemas desarrollados internamente;herramientas contratadas a proveedores;aplicaciones SaaS que incorporan funcionalidades de IA;asistentes y herramientas de IA generativa utilizadas por empleados;automatizaciones que utilizan modelos de IA;sistemas que intervienen en procesos o decisiones relevantes.El objetivo no es coleccionar nombres de herramientas.El inventario tiene que permitir comprender qué hace cada sistema dentro de la organización.Una licencia de una herramienta de IA generativa utilizada para resumir documentos internos no plantea las mismas cuestiones que un sistema que interviene en selección de personal.La tecnología puede ser similar. El contexto empresarial no lo es.Para qué utilizamos cada sistemaCada elemento del inventario debería estar asociado, como mínimo, a una finalidad concreta.¿Qué proceso afecta? ¿Quién lo utiliza? ¿Qué información recibe? ¿Qué resultados genera? ¿Esos resultados sirven únicamente de apoyo o influyen directamente en una decisión? ¿Afectan a empleados, clientes, candidatos o terceros?Estas preguntas permiten pasar del inventario tecnológico al inventario de casos de uso.Y esa diferencia es importante.Gobernar la IA no consiste únicamente en gobernar herramientas. Consiste en gobernar para qué y cómo las utilizamos.Quién responde de cada usoAquí aparece una figura fundamental: el responsable de negocio del sistema o business owner.Si Recursos Humanos utiliza una herramienta de IA en contratación, Tecnología puede ocuparse de su integración y Seguridad de evaluar determinados riesgos técnicos. Pero Recursos Humanos debe seguir siendo responsable de justificar por qué se utiliza, qué función desempeña dentro del proceso y cómo debe intervenir una persona.Externalizar la tecnología no significa externalizar la responsabilidad empresarial.Tampoco debería producirse la curiosa situación en la que todo lo que contiene las palabras “inteligencia artificial” acaba automáticamente sobre la mesa del departamento de Tecnología. Cómo debería organizarse la función de IANo existe un organigrama universal.Lo que sí debería existir es una distribución clara de funciones.FunciónResponsabilidad principalDirecciónAprobar estrategia, gobernanza y criterios de riesgoResponsable o función de IACoordinar el modelo, los estándares y los procesosUnidades de negocioResponder de la finalidad y uso de cada sistemaTecnología y DatosArquitectura, integración, datos y operaciónLegal, Compliance, DPO y CISOAnalizar los riesgos correspondientes a sus ámbitosRecursos HumanosDesarrollar competencias y alfabetización en IAComité de IAResolver decisiones transversales, excepciones y casos relevantesAuditoríaRevisar de forma independiente si el sistema de gobierno funcionaLa clave está en que estas funciones no trabajen como compartimentos estancos.Dirección: establecer las reglas del juegoLa gobernanza de IA necesita respaldo de dirección.No significa que el CEO tenga que aprobar cada herramienta de IA generativa. Significa que la dirección debe determinar qué pretende conseguir la empresa con la IA, qué riesgos está dispuesta a asumir y cuáles son las reglas comunes.Entre otras cuestiones, debería aprobar el marco de gobernanza, asignar responsabilidades, exigir información sobre los riesgos relevantes y asegurarse de que existen recursos y competencias suficientes.Si la IA se considera estratégica pero nadie en dirección recibe información sobre cómo se está utilizando, probablemente todavía no sea tan estratégica como aparece en las presentaciones.Responsable o función de IA: coordinar, no gobernar en solitarioUna función central de IA puede mantener el inventario, establecer metodologías, coordinar evaluaciones, desarrollar estándares, acompañar proyectos y hacer seguimiento de la adopción.Pero no debería convertirse en una especie de policía corporativa de algoritmos.Su valor está en conseguir que diferentes departamentos trabajen con criterios comunes.Dependiendo del tamaño de la organización, esta función puede ser un departamento completo, una oficina de IA, un responsable específico o incluso una responsabilidad integrada en otra función.No todas las empresas necesitan un Chief AI Officer. Todas necesitan saber quién coordina su IA.Negocio: responsable de la finalidadLas unidades de negocio no deberían limitarse a solicitar herramientas y esperar la aprobación de otros departamentos.Deben explicar qué problema quieren resolver, qué resultados esperan, qué personas pueden verse afectadas y cómo comprobarán que el sistema sigue siendo adecuado.El propietario del caso de uso debería continuar siendo responsable durante todo su ciclo de vida.Tecnología y Datos: hacer posible un uso controladoTecnología y Datos tienen un papel fundamental en arquitectura, integraciones, acceso a información, calidad de los datos, monitorización y ciclo de vida de los sistemas.Pero el riesgo de IA no es exclusivamente tecnológico.Un sistema puede funcionar perfectamente desde el punto de vista técnico y utilizarse de una forma empresarialmente inadecuada.Legal, Compliance, DPO y CISO: intervenir donde aportan valorNo todos los casos necesitan pasar por todas las funciones de control.La gobernanza madura debería establecer criterios que determinen cuándo debe intervenir cada especialista.Si existe tratamiento de datos personales, puede ser necesaria la intervención del DPO. Si existen riesgos de seguridad, tendrá sentido involucrar al CISO. Legal y Compliance deberán intervenir cuando el caso plantee cuestiones de su competencia.La idea es escalar según el riesgo, no convertir cualquier prueba con IA en una procesión de aprobaciones.¿Departamento centralizado, modelo federado o comité de IA?Para organizaciones con múltiples unidades, suele tener sentido combinar una capacidad central con responsables distribuidos.El equipo central define metodologías, herramientas comunes y estándares. Las unidades de negocio desarrollan conocimiento especializado sobre sus casos de uso.Este modelo federado evita dos extremos.El primero es una IA completamente descentralizada, donde cada departamento compra herramientas, negocia proveedores y establece sus propias reglas.El segundo es una estructura tan centralizada que cualquier iniciativa necesita atravesar un embudo corporativo que termina frenando la adopción.Un comité de IA puede ayudar a resolver decisiones transversales o casos especialmente sensibles. Pero tampoco debería reunirse para decidir si un empleado puede utilizar IA para resumir las notas de una reunión.Un buen sistema de gobernanza consigue que las decisiones ordinarias tengan reglas ordinarias y las decisiones importantes lleguen a quien debe tomarlas.Los ocho procesos que convierten un organigrama en gobernanza realEl organigrama es solamente el principio.Una gobernanza efectiva necesita procesos que funcionen cuando alguien quiere comprar, desarrollar, modificar o utilizar un sistema.1. Descubrir e inventariarLa empresa necesita un mecanismo para identificar los sistemas y casos de uso existentes.Y el inventario debe mantenerse vivo.Una revisión realizada una vez al año difícilmente seguirá el ritmo al que los proveedores incorporan nuevas funcionalidades de IA a sus productos.2. Clasificar según finalidad, impacto y riesgoNo todos los usos requieren los mismos controles.Una empresa puede establecer categorías internas que tengan en cuenta cuestiones como las personas afectadas, los datos utilizados, el grado de autonomía, las consecuencias de posibles errores o el impacto sobre derechos.Además, deberá comprobar si el caso entra en alguna categoría regulatoria específica del AI Act u otra normativa aplicable.La clasificación interna de riesgos y la clasificación jurídica no son necesariamente lo mismo.3. Asignar un responsableCada caso de uso debería tener un propietario identificable.“Lo lleva Tecnología” no es una asignación de responsabilidad suficientemente precisa.Tiene que existir alguien que pueda responder preguntas tan sencillas como: ¿por qué utilizamos este sistema?, ¿qué ocurre si falla?, ¿quién supervisa sus resultados? y ¿quién puede decidir dejar de utilizarlo?4. Evaluar antes de implantarLos nuevos casos deberían pasar por una evaluación proporcional a su riesgo.Para usos sencillos puede bastar una comprobación breve.Los sistemas más sensibles requerirán análisis adicionales: datos, privacidad, seguridad, impacto sobre personas, supervisión humana, transparencia, calidad, dependencia del proveedor o requisitos regulatorios.5. Evaluar a los proveedoresUna parte considerable de la IA empresarial no se desarrolla internamente: se compra.Por eso la gobernanza debe llegar también a Compras y a la gestión de proveedores.Entre otras cuestiones, conviene conocer qué sistema se está adquiriendo, cómo utiliza la información, qué documentación proporciona el proveedor, qué limitaciones declara, qué medidas de seguridad ofrece, qué ocurre cuando modifica el producto y qué garantías contractuales existen.Comprar IA sin comprender estas cuestiones puede trasladar la tecnología al proveedor. El riesgo, en cambio, suele quedarse bastante más cerca de casa.6. Aprobar y documentarUna empresa necesita dejar evidencia suficiente de las decisiones relevantes.No para producir documentación por deporte, sino para poder explicar después qué se evaluó, quién decidió, qué condiciones se establecieron y qué controles se consideraron necesarios.La documentación debería ser proporcional al riesgo.7. Monitorizar e identificar incidentesAprobar un sistema no termina el proceso.Los modelos cambian, los proveedores actualizan servicios, aparecen nuevos usos, cambian los datos y los empleados encuentran formas bastante creativas de utilizar herramientas que inicialmente se compraron para otra cosa.Por eso deben existir mecanismos para detectar cambios, problemas e incidentes.8. Revisar, suspender o retirarToda organización debería saber también cuándo dejar de utilizar un sistema.La gobernanza no sirve de mucho si establece cómo aprobar una IA pero no quién puede detenerla cuando deja de ser adecuada.Qué documentos mínimos debería tener una empresa que utiliza IANo todas las organizaciones necesitarán el mismo nivel de formalización. Pero hay un conjunto de instrumentos que considero especialmente útiles.Un inventario de sistemas y casos de uso. Permite saber qué existe, dónde se utiliza, quién responde y qué nivel de riesgo tiene.Una política corporativa de IA. Debe explicar de manera comprensible qué usos están permitidos, cuáles requieren evaluación y cuáles no son aceptables.Una matriz de responsabilidades. Para evitar el clásico problema de que todos participan pero nadie responde.Un procedimiento de evaluación y aprobación. Debería establecer diferentes circuitos según el riesgo.Una ficha para evaluar proveedores. Especialmente importante cuando se utilizan soluciones externas.Un registro de las medidas de alfabetización y formación. No como colección de certificados, sino para poder demostrar qué capacidades se están desarrollando según funciones y usos.Un procedimiento de gestión de cambios e incidentes. Porque los sistemas no permanecen estáticos después de su aprobación.La finalidad de estos documentos no es crear burocracia. Es conseguir trazabilidad empresarial.Gobernanza de IA y AI Act: qué cambia para las empresasAquí conviene separar dos conceptos.Una cosa es lo que exige jurídicamente el Reglamento Europeo de Inteligencia Artificial y otra lo que una empresa debería hacer porque constituye una buena práctica de gestión.El AI Act no obliga con carácter general a crear un “departamento de IA”, ni establece que todas las empresas deban nombrar un Chief AI Officer.Lo que sí hace es establecer obligaciones diferentes dependiendo del sistema, del papel que desempeñe la organización y del riesgo correspondiente.Además, su aplicación es progresiva.A septiembre de 2026, el AI Act ya es aplicable con determinadas excepciones. Las reglas sobre prácticas prohibidas y alfabetización comenzaron a aplicarse en febrero de 2025; las obligaciones de transparencia del artículo 50 son aplicables desde el 2 de agosto de 2026. Tras la modificación introducida en 2026, las reglas para determinados sistemas de alto riesgo del anexo III se aplicarán desde el 2 de diciembre de 2027 y las correspondientes a sistemas de alto riesgo integrados en determinados productos regulados, desde el 2 de agosto de 2028.Por tanto, no es buena idea plantear la gobernanza como un proyecto que comenzará “cuando llegue el AI Act”.Ya ha llegado.La alfabetización en IA forma parte de la gobernanzaEste punto merece especial atención.Tras la reforma de 2026, el artículo 4 establece que proveedores y responsables del despliegue deben adoptar medidas para apoyar el desarrollo de la alfabetización en IA de su personal y de otras personas que operen o utilicen sistemas de IA en su nombre, teniendo en cuenta sus conocimientos, experiencia, formación, contexto de uso y personas afectadas. La norma aclara que esto no obliga a garantizar un nivel concreto de alfabetización de cada individuo.Esto es importante desde una perspectiva empresarial.Alfabetización no significa impartir a toda la plantilla el mismo curso de dos horas y archivar el certificado.Una persona de Marketing que utiliza IA generativa necesita competencias distintas de quien selecciona proveedores, desarrolla modelos, supervisa un sistema sensible o toma decisiones apoyándose en sus resultados.La formación debería responder al rol, al sistema utilizado y al riesgo.Transparencia: algunas obligaciones ya están en aplicaciónDesde el 2 de agosto de 2026 son aplicables las obligaciones de transparencia del artículo 50.Entre otros supuestos, el AI Act establece requisitos relacionados con sistemas destinados a interactuar directamente con personas y con determinados contenidos generados o manipulados mediante IA. La Comisión publicó en julio de 2026 directrices específicas para facilitar su aplicación.Esto tiene una consecuencia práctica para la gobernanza: alguien dentro de la empresa debe identificar qué casos están afectados, traducir la obligación a requisitos operativos y comprobar que se cumplen.Ese “alguien” rara vez será una sola persona.Los sistemas de alto riesgo requieren mayor preparaciónPara determinados sistemas considerados de alto riesgo, el AI Act contempla requisitos y obligaciones mucho más exigentes, incluyendo aspectos relacionados con gestión de riesgos, documentación, registros, información, supervisión humana, precisión, robustez y ciberseguridad. Su aplicabilidad depende de la categoría y del calendario correspondiente.Por eso una empresa no debería esperar a la fecha de aplicación para descubrir que utiliza un sistema afectado.La gobernanza permite precisamente identificar hoy qué tendremos que controlar mañana.La formación no puede ser la misma para todo el mundoUno de los errores habituales en alfabetización en IA es tratarla como una formación tecnológica general.“Curso de inteligencia artificial para empleados.”¿Para qué empleados? ¿Qué sistemas utilizan? ¿Qué decisiones toman? ¿Qué información manejan? ¿Qué responsabilidad tienen?La dirección necesita entender oportunidades, riesgos, responsabilidades y criterios para tomar decisiones.Compras necesita aprender a evaluar proveedores de IA y detectar qué información debe solicitar.Los usuarios necesitan conocer las capacidades y limitaciones de las herramientas que utilizan, las reglas internas, la gestión de información y cuándo deben supervisar o cuestionar un resultado.Los responsables de casos de uso necesitan competencias adicionales para evaluar funcionamiento, impacto y cambios.Los equipos técnicos necesitarán conocimientos mucho más profundos sobre modelos, datos, evaluación, seguridad y monitorización.Y quienes ejercen funciones de supervisión necesitan comprender suficientemente el sistema para que la supervisión sea real.Una persona no supervisa una IA simplemente porque haya una casilla en un procedimiento que diga “supervisión humana”.Tiene que saber qué está supervisando, qué puede fallar y qué debe hacer cuando ocurre.Una hoja de ruta práctica para los primeros 90 díasLos siguientes 90 días no son un plazo establecido por el AI Act. Son una propuesta práctica para una empresa que quiera pasar de usos dispersos a una gobernanza básica y funcional.Primer mes: descubrirEl primer objetivo sería construir el inventario.Identificar herramientas y casos de uso, localizar proveedores, detectar procesos especialmente sensibles y asignar responsables provisionales.También revisaría qué políticas existentes —seguridad, privacidad, compras, recursos humanos, desarrollo tecnológico— pueden aprovecharse.No hace falta construir todo desde cero.Segundo mes: establecer las reglasCon el mapa inicial, la empresa puede definir su modelo de gobernanza.Quién coordina.Quién decide.Qué casos pueden aprobarse dentro de cada departamento.Qué situaciones deben escalarse.Cuándo intervienen Legal, Compliance, DPO, CISO u otras funciones.Cómo se evalúan proveedores.Qué información debe documentarse.Y, especialmente, qué usos no están permitidos.Este es también un buen momento para aprobar una política de IA sencilla y utilizable. Una política que nadie entiende es una forma bastante cara de decorar la intranet.Tercer mes: llevarlo al trabajo cotidianoDespués hay que conseguir que el modelo funcione fuera del documento.Formación diferenciada por perfiles.Canal para registrar nuevos casos.Procedimiento de evaluación.Monitorización.Gestión de incidentes.Indicadores.Información a dirección.Y revisiones periódicas del inventario.La gobernanza empieza a funcionar cuando un empleado que quiere utilizar una nueva herramienta sabe qué puede hacer, cuándo debe pedir ayuda y a quién debe acudir.¿Y si somos una pyme?Probablemente esta sea una de las preguntas más importantes.Una pyme no necesita copiar el organigrama de una multinacional.Puede que no necesite departamento de IA, Chief AI Officer ni un comité con ocho personas.Pero eso no elimina la necesidad de gobernanza.Puede establecer un responsable interno, apoyarse en especialistas externos cuando sea necesario, mantener un inventario sencillo, definir una política proporcionada, incorporar criterios de IA a compras y seguridad y formar a las personas según los usos reales.La proporcionalidad importa.Gobernanza no significa construir más estructura. Significa que la estructura existente sea capaz de tomar buenas decisiones sobre IA.Preguntas frecuentes sobre departamentos y gobernanza de IA¿Es obligatorio crear un departamento de IA?No existe una obligación general en el AI Act de crear un departamento específico de inteligencia artificial. La estructura debe adaptarse al tamaño, actividad, sistemas utilizados y riesgos de cada organización.¿Es obligatorio nombrar un AI Officer?No existe una obligación general en el AI Act de nombrar un cargo denominado AI Officer. Una empresa puede decidir crearlo como parte de su modelo organizativo, pero no debe confundirse una decisión de gobernanza interna con una exigencia general de la norma.¿Quién debería ser responsable de la IA en una empresa?Conviene diferenciar coordinación y responsabilidad. Una función central puede coordinar la gobernanza, mientras que cada unidad de negocio mantiene la responsabilidad sobre la finalidad y utilización de sus casos de uso. Dirección debe establecer el marco general y las funciones especializadas intervienen según el riesgo.¿Qué debe incluir un inventario de IA?Como mínimo, debería permitir identificar el sistema, proveedor, finalidad, área responsable, usuarios, datos relevantes, personas potencialmente afectadas, nivel de riesgo, controles existentes y estado del sistema.El nivel de detalle deberá adaptarse a la complejidad y riesgo de cada caso.¿Qué función tiene un comité de IA?Debería centrarse en cuestiones transversales, excepciones, casos relevantes, riesgos significativos y decisiones que no puedan resolverse mediante los procedimientos ordinarios.No debería convertirse en la puerta de entrada obligatoria para cualquier utilización de IA.¿Cómo afecta el AI Act a la gobernanza interna?No establece un único modelo organizativo para todas las empresas, pero sus obligaciones hacen necesario identificar qué sistemas existen, qué papel tiene la organización respecto a ellos y qué requisitos resultan aplicables. En determinados casos habrá que garantizar, entre otras cuestiones, transparencia, supervisión, documentación, controles o capacidades adecuadas.¿Qué formación en IA necesita una empresa?No debería depender únicamente del puesto, sino también de los sistemas utilizados, el contexto, el conocimiento previo y las responsabilidades de cada persona. El artículo 4 del AI Act exige actualmente adoptar medidas para apoyar el desarrollo de la alfabetización en IA teniendo en cuenta precisamente esos factores.El verdadero objetivo no es controlar la IA, sino poder dirigirlaDurante los próximos años veremos empresas crear departamentos, comités, políticas, inventarios y procedimientos relacionados con inteligencia artificial.Eso no significa necesariamente que todas estén gobernando bien la IA.La prueba es mucho más sencilla.¿Sabemos qué IA utiliza nuestra organización?¿Sabemos para qué?¿Existe una persona responsable de cada caso relevante?¿Podemos distinguir un experimento de bajo riesgo de un uso que necesita controles adicionales?¿Sabemos qué hacen nuestros proveedores con los sistemas que compramos?¿Nuestros empleados tienen las competencias necesarias para utilizar y supervisar esas herramientas?¿Podemos explicar por qué aprobamos un determinado sistema?¿Y sabemos quién puede detenerlo si algo sale mal?Si la respuesta a estas preguntas es clara, probablemente estamos construyendo gobernanza.Si necesitamos convocar tres reuniones para averiguarlo, todavía tenemos trabajo por delante.La gobernanza de IA no debería convertirse en una capa de burocracia colocada encima de la innovación. Bien planteada, hace exactamente lo contrario: permite que la empresa utilice más IA allí donde aporta valor y establezca mayores controles allí donde realmente los necesita.Y eso exige tecnología, procesos y normas. Pero, sobre todo, exige personas capaces de entender qué están utilizando y de tomar buenas decisiones.Si quieres seguir profundizando en cómo aplicar la inteligencia artificial de forma responsable y segura en la empresa, puedes suscribirte a la Academia para recibir noticias y contenidos sobre IA responsable y segura.Y si tu empresa o tus profesionales necesitan pasar de “usar herramientas de IA” a comprender cómo utilizarlas con criterio, responsabilidad y seguridad, puedes contactar conmigo para diseñar formación en alfabetización en IA adaptada a los perfiles, herramientas y riesgos reales de la organización.

Etiqueta: AI Act gobernanza de IA

Cómo organizar un departamento de IA en una empresa: estructura, gobernanza y responsabilidades

Claude Fable 5: por qué Anthropic ha lanzado una IA con freno de mano (y qué te dice eso sobre dónde vamos)