La ciudad griega de Alejandría en Egipto era un centro de saber alquímico que retuvo su preeminencia durante la mayor parte de las eras griega y romana. Los griegos se apropiaron de las creencias herméticas egipcias y las unieron con las filosofías pitagórica, jonista y gnóstica. La filosofía pitagórica es, esencialmente, la creencia en que los números gobiernan el universo, surgida de las observaciones del sonido, las estrellas y formas geométricas como los triángulos o cualquiera de la que pueda derivarse una razón. El pensamiento jonista se basaba en la creencia en que el universo podía ser explicado mediante la concentración en los fenómenos naturales; se cree que esta filosofía fue iniciada por Tales de Mileto y su pupilo Anaximandro y posteriormente desarrollada por Platón y Aristóteles, cuyas obras llegaron a ser una parte integral de la alquimia. Según esta creencia, el universo puede ser descrito por unas pocas leyes unificadas que pueden determinarse sólo mediante cuidadosas, minuciosas y arduas exploraciones filosóficas. El tercer componente introducido a la filosofía hermética por los griegos fue el gnosticismo, una creencia, extendida en el Imperio romano cristiano, en que el mundo es imperfecto porque fue creado de manera imperfecta y que el aprendizaje sobre la naturaleza de la sustancia espiritual llevaría a la salvación. Incluso creían que Dios no «creó» el universo en el sentido clásico, sino que el universo fue creado «de» él pero se corrompió en el proceso (en lugar de corromperse por las transgresiones de Adán y Eva, es decir, por el pecado original). Según las creencias gnósticas, al adorar el cosmos, la naturaleza o las criaturas del mundo, uno adora al Dios Verdadero. Muchas sectas gnósticas sostenían incluso que la deidad bíblica sería mala y debía ser vista como una emanación caída del Elevado Dios a quien buscaban adorar y unirse. Sin embargo, el aspecto del dios abrahámico como ser malvado no jugó en realidad papel alguno en la alquimia, pero el aspecto del ascenso al Elevado Dios probablemente tuvo mucha influencia. Las teorías platónicas y neoplatónicas sobre los universales y la omnipotencia de Dios también fueron absorbidas (sus principales creencias ven el aspecto físico del mundo como imperfecto y creen en Dios como una mente cósmica trascendente).
Un concepto muy importante introducido en esta época, concebido por Empédocles y desarrollado por Aristóteles, fue que todas las cosas del universo estaban formadas por sólo cuatro elementos: tierra, aire, agua y fuego. Según Aristóteles, cada elemento tenía una esfera a la que pertenecía y a la que regresaría si se le dejaba intacto.
Los cuatro elementos de los griegos eran aspectos mayoritariamente cualitativos de la materia y no cuantitativos como lo son nuestros elementos modernos. «... La auténtica alquimia nunca trató la tierra, el aire, el agua y el fuego como sustancias corpóreas o químicas en el sentido actual de la palabra. Los cuatro elementos era simplemente las cualidades primarias y más generales por medio de las cuales la sustancia amorfa y puramente cuantitativa de todos los cuerpos se presentaba primero en una forma diferenciada.» (Hitchcock) Alquimistas posteriores desarrollaron extensivamente los aspectos místicos de este concepto.
