Las andanzas y el conocimiento que tenía de muchas ciencias hicieron que Agripa mantuviese contacto con no pocos sabios contemporáneos: Melanchton, Erasmo, el famoso cardenal Campeggi y Paracelso –del que se dice que fue maestro– forman parte de sus relaciones. Entre los personajes ocultistas con los que le unió una buena amistad, no debemos olvidarnos del ya mencionado abad Tritemo.
Con seguridad, una de las causas que le permitieron codearse con todos esos sabios fue su famosa y polémica obra Filosofía oculta. En ella, entre otras muchas cosas, afirma que la magia es una facultad poderosa, una ciencia que encierra, de forma velada, el conocimiento más profundo de las cosas, de su esencia y de sus efectos. El mago, al estudiar la naturaleza, conseguirá incrementar su sabiduría, pues descubrirá la relación y los vínculos que unen los distintos reinos que existen en el universo.
Los cuatro elementos básicos (aire, fuego, tierra y agua) constituyen los pilares de todo lo existente. Dichos elementos se presentan en tres tipos: puros en las estrellas; impuros aquí abajo, en la tierra, y, en tercer lugar, en una forma compuesta y variable. Siguiendo las teorías neoplatónicas, Agripa asegura que dichos elementos están presentes en todo cuanto existe: en las cosas fisicas, en el universo, en los espíritus e, incluso, en Dios.
El mago necesita conocer en profundidad las simpatías y antipatías existentes entre los seres y las cosas. Pero también le es indispensable conocer las ciencias matemáticas, ya que las virtudes naturales están regidas por los números, los pesos y las medidas. Las matemáticas son el origen de la luz, del movimiento y de la armonía del mundo; son necesarias para conocer la armonía musical, que no es otra cosa que el reflejo de la armonía universal.