Nacido en Córdoba en 1453, era hijo de una familia de la alta aristocracia castellana. Destacó por ser un excelso militar, estadista, diplomático, alcalde, caballero renacentista, almirante, capitán general, virrey de Nápoles y, sobre todo, por ser el precursor de los futuros Tercios.
Entró en la Corte a formar parte del séquito de Isabel I tras la prematura muerte de su hermano. Comenzó su formación militar observando de cerca las escaramuzas en la frontera con el Reino Nazarí de Granada mientras era alcalde de Santaella. Fue este hecho lo que despertó en él una voluntad de emprender su carrera al servicio del Estado.
En 1476 entró a formar parte de la Corte los Reyes Católicos, pensando que su parentesco con Fernando le sería de ayuda. Así fue, pues aprendió las obligaciones del nuevo cortesano y se le instruyó en administración y servicio público.
A su paso por Italia, bajo el mandato de defender las fronteras del Reino de Nápoles, llevó a cabo tres reformas: Ideó las «coronelias» que propiciaron la profesionalización del ejército para poder hacer frente a los ejércitos europeos; entendió la guerra como un trabajo en equipo con roles diferenciados e importantes; e ideó una nueva forma de organizar la caballería.

A la par que crecía su leyenda militar, así lo hacían también sus reclamos. De esta forma, el Papa Alejandro VI lo llamó para hacer frente a sus enemigos. Tras esta hazaña, sus tropas comenzaron a llamarle por el sobrenombre por el cual hoy es conocido. Por ello, el Rey de Nápoles le concedió los títulos de duque de Monte Santangelo y Terranova, con todos sus beneficios, y fue nombrado Virrey de Nápoles, para evitar enfrentamientos.
Su carrera le granjeó enemigos, entre ellos los Reyes Católicos (relatado en la obra de Lope de Vega «Las cuentas del Gran Capitán») que lo alejó de Nápoles. Su mala relación con Fernando el Católico no paró de crecer, hasta que una nueva coalición instada por el Papado, Venecia y España, lo requirieron al frente de la ofensiva frente al Rey francés (debido a la muerte del último nunca llegó a existir tal contienda).
Su vida destaca por su genio militar, su gran capacidad analítica y diplomática, y su contribución al ejército español (a día de hoy, el Tercio de la Legión Española afincado en Melilla, lleva su nombre).
Murió en 1515 en Granada, y se le permitió adquirir definitivamente el Título de Gran Capitán, así como la posibilidad de ser sepultado en el Monasterio de los Jerónimos (Granada).