Joe nació en Munchen-Glebach, una pequeña ciudad cerca de Düsseldorf Alemania en 1880.
Era un niño muy enfermizo que sufrió de asma, raquitismo y fiebre reumática. Su infancia fue no fue facil y tenia debilidades en su cuerpo y no mucha fuerza, por eso tenia situaciones otros niños y era incapaz de defenderse, todo esto fue lo que inspiró su viaje a la aptitud y la salud.
Joe pasó horas en el bosque estudiando el movimiento de los animales y la memorización de un libro de anatomía que su médico le había dado. A la edad de 14, él estaba modelando para láminas de anatomía y continuó desarrollando su aptitud física a través del boxeo, esquí, buceo, yoga y gimnasia.
En 1914 después de la Primera Guerra Mundial estalló, fue internado en un “enemigo campamento alienígena” en Lancaster. Fue aquí donde comenzó a desarrollar el Método Pilates de ejercicio conocido entonces como Contrology.
Luego fue trasladado a otro campamento en la Isla de Man. Mientras trabajaba aquí como enfermero, desarrolló su equipo de ejercicio utilizando resortes de la cama y otros aparatos.
En 1925, llegó a los Estados Unidos y al mismo tiempo en el barco conoció a su esposa, Clara. Al llegar a la ciudad de Nueva York, abrieron un estudio en 939 8th Avenue. Coreógrafos y bailarines famosos estudiados con Joe para su formación y trabajo de rehabilitación (George Balanchine, Jerome Robbins, Martha Graham). Además, muchas estrellas de cine estudiaron con él también (Vivien Leigh, Sir Lawrence Olivier, Katherine Hepburn).
En enero de 1966, se produjo un incendio en su edificio. Joe regresó a su estudio para combatir el fuego, pero se cayó a través de los tablones quemados, luego de algún tiempo fue rescatado por los bomberos. Más tarde murió en octubre de 1967, a la edad de 87 años, debido a complicaciones atribuidas a este incidente. Clara continuó dirigiendo el estudio para los próximos 10 años, hasta su muerte en 1976, un profesor y el estudiante de toda la vida, Romana Kryzanowska, se hizo cargo del negocio y dedicó su vida a enseñar el trabajo de Joe.