Nacido en Medellín el 6 de octubre de 1946, Ospina se graduó como economista de la Universidad de Antioquia, después de hacer algunos semestres en la Universidad de Los Andes,  e hizo maestrías en Historia Económica y en Planeación y Desarrollo Agropecuario en el Instituto de Desarrollo Económico y Social en París.

Su familia es de fuerte tradición conservadora: es nieto de Pedro Nel Ospina y bisnieto de Mariano Ospina Rodríguez, ex presidentes de la República. Por su parte, Juan Manuel Ospina llegó al Senado por el Partido Conservador para el período 1998-2002 dentro del movimiento Poder Popular de Fabio Valencia Cossio y como segundo renglón de éste, quien ya había ensayado una fórmula similar en 1994 con Juan Camilo Restrepo como su segundo renglón. Esa, y su fallido intento de reelegirse en 2002 con el aval de Sí Colombia y acompañando la candidatura presidencial de Noemí Sanín, han sido sus únicas incursiones en la política electoral.

Pero no fue su primera apariciñon en la política; todo lo contrario. Gracias a las conexiones familaires siempre ha militado en el partido conserador, en el ala más de centro a la que siempre han pertenecido los Ospina.

Pero no fue su primera aparición en la política; todo lo contrario. Fue asesor presidencial para el montaje del Plan Nacional de Rehabilitación, subgerente cultural del Banco de la República, secretario general del Ministerio de Agricultura en 1982, consejero de Belisario Betancur en la Presidencia, director ejecutivo de la Corporación Resurgir y director de la fundación La Previsora entre 1988 y 1990, director de Colcultura de César Gaviria entre 1990 y 1991.

También había estado cerca de campañas, como cuando con otros importantes conservadores como José Felix Lafaurie y Juan Camilo Restrepo, hizo parte del estado mayor de la fallida campaña presidencial de Rodrigo Marín Bernal en 1993. Y cuando, en 2002, sonó fuertemente para ser candidato a vicepresidente de Luis Eduardo Garzón.

Además ha trabajado en la academia, pues fue profesor de economía y director de la Fundación Antioqueña para Estudios Sociales (FAES), un importante centro de estudios de Medellín.

Y tiene experiencia en los gremios: fue presidente de la Federación Antioqueña de Ganaderos (Fadegan) entre 1993 y 1995, fue presidente de la Sociedad de Agricultores (SAC) entre ese año y 1998, y miembro de la junta directiva de la Federación de Ganaderos (Fedegán). Esto también indica que conoce muy bien el campo y el sector agropecuario.

Estas posiciones gremiales también le dieron relevancia política nacional. Como presidente de la SAC fustigó duramente la apertura económica de Gaviria en el congreso gremial de fines de 1995, aunque luego se supo que su junta directiva había impulsado esas pullas y que él las había moderado.

Luego fue directivo de una Comisión Ciudadana que le hacía seguimiento al juicio contra el entonces presidente Samper por el llamado proceso 8.000, y duro crítico de ese gobierno, hasta el punto de que circuló una versión, que él desmintió enérgicamente, de que había sido uno de los dirigentes que conversó con el embajador de Estados Unidos sobre un golpe contra el presidente. Su perfil subió aún más cuando, en 1997, presidió el Consejo Gremial.

A pesar de ser conservador y de corte pastranista, siempre ha tenido buenas relaciones con los sectores de izquierda. La influencia de conservadores de mentalidad abierta, como su tío Luis Ospina Vásquez y Belisario Betancur, ayuda a explicar esto. Ospina también fue secretario de Gobierno de Luis Eduardo Garzón durante su paso por la Alcaldía de Bogotá, cargo desde el cual defendió temas progresistas.

Juan Manuel Ospina fue el director del Instituto Colombiano para el Desarrollo Rural (Incoder) desde 2010, nombrado por el presidente Juan Manuel Santos. Su buena relación con la izquierda ayudó a que ese nombramiento fuera bien recibido. 

Uno de sus mayores retos en el Incoder fue el de lograr aplicar la restitución de tierras a los desplazados, así como investigar a los funcionarios que hubieran favorecido la adjudicación irregular de títulos de tierras a testaferros de paramilitares y narcotraficantes. Pero como lo contó La Silla Vacía, las diferencias entre Ospina y el Ministro de Agricultura Juan Camilo Restrepo, se agudizaron luego de renuncias y nombramientos de funcionarios que fueron mal recibidos, además de desacuerdos sobre las funciones específicas del Incoder. 

Ospina optó por renunciar el 27 de marzo de 2012, alegando desacuerdos con el Ministro. En su reemplazo primero sonó con fuerza Alejandro Reyes, quien en entrevista con El Tiempo dijo que su nombramiento ya estaba convenido. Sin embargo, finalmente fue nombrada Miriam Villegas, quien ha trabajado por más de una década en temas de tierras y defensa de desplazados en la Corporación Desarrollo y Paz del Magdalena Medio.