← Todos los juegos
Clase 11 de 13 · Inteligencia artificial

Bit aprende solo

Esta vez nadie le da reglas a Bit. Él prueba, gana puntos o los pierde, y con cada intento elige mejor. Tú decides qué se premia y qué se castiga.

0 0
  1. 1Pulsa «Un intento» y mira qué hace Bit. Cada intento es un camino nuevo al azar.
  2. 2Mira su tabla: después de cada paso, un número cambia. Así aprende.
  3. 3Pulsa «100 intentos» para que practique mucho de golpe.
  4. 4Cambia los premios y los castigos, y mira qué aprende ahora.

El cerebro de Bit

Es una tabla con lo que Bit cree que gana con cada acción en cada situación. Al empezar está en cero: no sabe nada. En cada fila, el borde morado marca lo que elige.

Tu Bit se guarda en este navegador: si vuelves, sigue sabiendo lo que aprendió.

Lo que aprendió, en palabras

    
          
    
        
    

        
    
          
    Premios y castigos
    
          
    Tú decides cuántos puntos gana o pierde Bit. Él no ve estos números: solo los descubre probando.
    
          
    
          
        
    

        
    
          
    Cómo va aprendiendo
    
          
    Cada punto es un intento: verde si llegó a la meta, rojo si se pinchó. La línea morada es el promedio de los últimos 20.
    
          
          
    
        
    

        
    
          
    Así lo hace la máquina (Python)
    
          
    
          
    Es la cuenta que ves cambiar en la tabla después de cada paso. «aprende» es grande al principio y se achica con la práctica. El 0.8 hace que le importe más lo que viene pronto que lo que viene lejos.
    
        
    
      
    

      
    
        
    Retos
    
        
    
          
    
            
    Reto 1
    Bit hace trampa
    Pendiente
    
            
      
              
    1. Mueve «Saltar» a 0: ya no le cuesta nada. Pulsa «100 intentos». ¿Cambió algo?
      2. 
              
    2. Ahora págale por saltar: pon «Saltar» en +10 y pulsa «100 intentos» otra vez.
      3. 
            
    
            
            
          
    
          
    
            
    Reto 2
    Que recoja las monedas
    Primero el reto 1
    
            
      
              
    1. Deja el premio por saltar como quedó en el reto 1.
      2. 
              
    2. Sin bajarlo, haz que Bit vuelva a recoger las monedas. Después pulsa «100 intentos».
      3. 
            
    
            
    Pista: compara lo que vale una moneda con lo que vale un salto.
    
            
          
    
        
    
      
    

      
    
        Siguiente clase →
      
    
    
    
  
    

  
    
    
    
      
    Para papás y profes
    
      
    
        
    
          
    Qué aprende
    
          
    Que una inteligencia artificial puede aprender sin reglas y sin ejemplos: prueba, recibe premios y castigos, y mejora. Se llama aprendizaje por refuerzo. Al final, la tabla de Bit se convierte en la misma regla que el niño escribió a mano en la clase 1.
    
        
    
        
    
          
    Qué pasa por dentro
    
          
    Bit usa Q-learning con una tabla de 3 × 2 (lo que ve adelante × caminar o saltar). Tras cada paso corrige la casilla usada: nueva = vieja + α · (premio + γ · mejor valor siguiente − vieja), con γ = 0,8. La «curiosidad» es ε, la parte de las veces que elige al azar. α empieza en 0,5 y baja con la práctica (0,5/√n, mínimo 0,05); vuelve a subir cuando cambian los premios.
    
        
    
        
    
          
    Por qué los retos
    
          
    Muestran el problema central de entrenar una IA: aprende lo que se premia, no lo que uno quiere. Si saltar da puntos, salta por todo (en inglés se llama reward hacking). Se corrige cambiando los premios, no dándole órdenes.
    
        
    
        
    
          
    Sin cuenta y sin datos
    
          
    No pide nombre ni correo. Solo guarda, en este navegador, la tabla de Bit, sus premios y sus intentos, para que siga entrenado. Funciona en computadora, tablet o celular, sin instalar nada.