Fue uno de los hombres más cultos de su tiempo. Bien versado en matemáticas, astronomía y mecánica, se atribuye la invención del órgano hidráulico, reloj de péndulo, y la introducción de números árabes a Europa Occidental.
También escribió libros sobre matemáticas, ciencias naturales, música, teología y filosofía. El Papa Silvestre II fue el primer Papa francés y sin duda el más importante en el siglo 10. A su muerte, los rumores empezaron a volar de que su gran inteligencia – y, en consecuencia, su genio inventivo – fue el resultado de un pacto con el diablo. Esto fue probablemente debido a su contacto regular con grandes mentes científicas en el mundo árabe y sus intentos valientes para acabar con la simonía en la Iglesia.
Otra leyenda que se forma en torno a Silvestre II es la de que ejerció el pontificado rompiendo una de las caracterisiticas mas propias de los clérigos que es la del celibato. Se dice que Silvestre II al hacer un pacto con Satanas, quien a su vez le puso como guardiana a un demonio femenino, esta demonio se enamoró tan profundamente de sus conocimientos que renuncio a la inmortalidad y se hizo mujer y vivió en concubinato con el pontífice. La leyenda dice que una vez que muerieron los dos fueron enterrados en la misma tumba en la catedral de San Juan de Letrán y que de su tumba emana un fluído con poderes afrodísiacos.
Cautivaba a la aristocracia y a los sabios de su época con tantos conocimientos y talento, lo que le generó odio y envidia de todo tipo. La vida de Silvestre II está envuelta en un halo de misterio. Se sostiene, como parte de la leyenda en torno a él, que en el mismo instante en que él venía al mundo, un gallo cantó tres veces a miles de kilómetros de allí, en un valle de Jordania, y su sonido se escuchó incluso en Roma.
Un hecho parece haber marcado su infancia. Se dice que cerca de Aurillac, vivía un ermitaño, que había sido un antiguo clérigo. Éste era temido por todos, y se hacía llamar Andrade. Habitaba en una cueva y se autoproclamaba descendiente de los druidas que allí celebraron rituales y sacrificios a sus divinidades. El pequeño Gerbert, impulsado por la curiosidad, venció su miedo y fue a visitarle. El anciano, se dice, que le predijo un futuro magnífíco y, en contra de la voluntad de su padre, el pequeño Gerbert empezó a frecuentar la madriguera de Andrade. Según reza la leyenda, fue allí donde recibió sus conocimientos de magia celta.
