TLDR;

As duas falhas são que os modelos generativos não aprendem em tempo real (seus pesos são fixos após o treinamento) e não conseguem priorizar objetivos de forma confiável como humanos fazem. Isso importa porque, sem capacidade de aprender continuamente e priorizar, os AIs ficam desatualizados, falham em contextos longos e produzem muitos dos erros graves vistos na mídia, tornando-os inadequados para tarefas críticas de julgamento. A indústria sabe desses limites: evita aprendizagem ao vivo por causa de abusos constatados, já tentou mecanismos de aprendizado online que deram errado e mesmo assim promove a ideia de que AIs podem substituir trabalhadores enquanto lança versões atualizadas dos modelos.

Resumo

Neste vídeo, Carl (do canal Internet of Bugs) argumenta que as AIs generativas jamais poderão reproduzir duas capacidades humanas fundamentais: aprender de verdade e priorizar tarefas; isso explica muitos dos fracassos recentes divulgados pela mídia. Ele descreve como chatbots usam um “contexto” temporário que guarda a transcrição da conversa atual para cada resposta, mas não alteram seus pesos internos (o modelo treinado é “congelado”), logo não aprendem entre sessões — melhorias como caching só atenuam o problema, não o resolvem. Tentativas públicas de permitir aprendizado contínuo falharam porque usuários manipularam os sistemas, obrigando empresas a removê‑los. Sem um mecanismo robusto para aprender e decidir o que vale a pena assimilar, não chegaremos a AGI; além disso, respostas ficam desatualizadas à medida que normas, tecnologias e fatos mudam, exigindo sempre novas versões fornecidas pelas empresas. Carl critica também a hipocrisia das companhias que promovem AIs como substitutos de trabalhadores e indicadas para decisões críticas (por exemplo, psicoterapia), apesar das claras limitações. Por fim, ele enfatiza que o mau trato do contexto (quanto maior, pior) prejudica o seguimento de instruções e fornece referências científicas para aprofundamento.