Simplificando, porque Saruman não é seu inimigo. Quero dizer, sim, Saruman trai sua ordem e Gandalf o substitui. Mas Gandalf (assim como o resto dos magos) foram enviados à Terra Média especificamente para se opor a Sauron, ele é o propósito deles, ele é o inimigo de Gandalf.
Você notará que Gandalf acompanha Frodo, Sam, Merry e Pippin quase todo o caminho para casa, ele para nas fronteiras do Condado, anunciando que terá uma longa conversa com Tom Bombadil. Agora, por que ele não levaria seus amigos hobbits para casa? Será possível que ele simplesmente não soubesse que Saruman estava causando grandes conflitos no Condado? Ele sabia, mas não era mais da sua conta. Ele não estava lá para lutar contra todos os males mesquinhos, ele estava lá para lutar contra o inimigo, Sauron. Ele tinha feito isso e queria resolver mais um assunto pessoal antes de partir.
Arquivo Tolkien 