Hijo menor de ocho hermanos, estaba emparentado con el famoso poeta barroco culterano Luis de Góngora. Su padre fue tutor de la familia real en España y al emigrar al Nuevo Mundo se integró a la burocracia virreinal por el resto de su vida. Con un trabajo seguro y experiencia docente no tuvo dificultades en brindar él mismo la educación básica que necesitaban sus hijos.