Dois membros da comunidade extrapiana, os empresários da Internet Brian e Sabine Atkins – que se conheceram em uma lista de discussão extrapiana em 1998 e se casaram logo depois – foram levados por essa mensagem de que em 2000 eles bancaram um think tank para Yudkowsky, o Instituto de Singularidade de Inteligência Artificial. Aos 21 anos, Yudkowsky se mudou para Atlanta e começou a desenhar um salário sem fins lucrativos de cerca de US $ 20.000 por ano para pregar sua mensagem de superinteligência benevolente. “Eu pensei que coisas muito inteligentes seriam automaticamente boas”, disse ele. Dentro de oito meses, no entanto, ele começou a perceber que estava errado – vá errado. Ai, ele decidiu, poderia ser uma catástrofe.
“Eu estava levando O dinheiro de outra pessoa, e eu sou uma pessoa que sente um profundo senso de obrigação para aqueles que me ajudam “, explicou Yudkowsky.” Em algum momento, em vez de pensar: ‘Se as superinteligências não determinam automaticamente o que é a coisa certa e fazer isso que significa que não há certo ou errado, em que caso, quem se importa?’ Eu fiquei tipo, ‘Bem, mas Brian Atkins provavelmente preferiria não ser morto por uma superinteligência’. “Ele achou que Atkins poderia gostar de ter um” plano de fallback “, mas quando ele se sentou e tentou resolver um, ele percebeu com horror que era impossível.” Isso me levou a me envolver com os problemas subjacentes, e então percebi que estava completamente enganado sobre tudo “.
Os Atkinses eram compreensivos, e a missão do Instituto girou de fazer inteligência artificial para fazer inteligência artificial amigável. “A parte em que precisávamos resolver o problema amigável da IA colocou um obstáculo no caminho de cobrar para contratar pesquisadores de IA, mas também certamente não tivemos o financiamento para fazer isso”, disse Yudkowsky. Em vez disso, ele desenvolveu uma nova estrutura intelectual que apelidou de “racionalismo”. (While on its face, rationalism is the belief that humankind has the power to use reason to come to correct answers, over time it came to describe a movement that, in the words of writer Ozy Brennan, includes “reductionism, materialism, moral non-realism, utilitarianism, anti-deathism and transhumanism.” Scott Alexander, Yudkowsky’s intellectual heir, jokes that the movement’s true distinguishing trait is the belief that “Eliezer Yudkowsky é o direito da Califórnia.”)
Em um artigo de 2004, “Volição Extrapolada Coerente”, Yudkowsky argumentou que a IA amigável deveria ser desenvolvida com base não apenas no que achamos que queremos que a IA faça agora, mas o que realmente seria do nosso interesse. “O objetivo de engenharia é perguntar o que a humanidade ‘quer’, ou melhor, o que decidimos se soubéssemos mais, pensados mais rapidamente, eram mais as pessoas que desejávamos ser, haviam crescido mais juntos, etc.”, escreveu ele. No artigo, ele também usou uma metáfora memorável, originada por Bostrom, para como a IA poderia dar errado: se sua IA estiver programada para produzir clipes de papel, se você não tomar cuidado, pode acabar preenchendo o sistema solar com clipes de papel.
Em 2005, Yudkowsky participou de um jantar particular em um restaurante de São Francisco, realizado pelo Foresight Institute, um think tank de tecnologia fundado na década de 1980 para avançar a nanotecnologia. (Many of its original members came from the L5 Society, which was dedicated to pressing for the creation of a space colony hovering just behind the moon, and successfully lobbied to keep the United States from signing the United Nations Moon Agreement of 1979 due to its provision against terraforming celestial bodies.) Thiel was in attendance, regaling fellow guests about a friend who was a market bellwether, because every time he thought some potential investment was hot, it would tank soon depois. Yudkowsky, sem ter idéia de quem era Thiel, caminhou até ele depois do jantar. “Se o seu amigo fosse um sinal confiável sobre quando um ativo diminuiria, ele precisaria estar fazendo algum tipo de cognição que venceu o mercado eficiente, a fim de que eles se correlacionem de maneira confiável com o estoque que está descendo”, disse Yudkowsky, que não é necessário que o informação não seja que o mesmo que não seja necessário, o que não é necessário, que não é necessário que os magos não sejam presos em dinheiro. Thiel ficou encantado.
