En 1940 comenzó un estudio de arquitectura de tres años con Walter Gropius y Marcel Breuer en Harvard y desde 1942 trabajó allí como arquitecto independiente. En 1946 volvió a hacerse cargo del departamento de Arquitectura del Museum of Modern Art de Nueva York y organizó, en 1947, una exposición dedicada a Mies van der Rohe, con el que mantenía estrechos contactos a raíz de su viaje a Alemania en 1930. Viendo su propia casa, la Glass House de New Canaan, en Connecticut, construida poco después de que Mies van der Rohe construyese la Farnsworth House, resultaba evidente cuál había sido su modelo. En New Canaan se erigieron también la Casa Hodgson (1951) y la Casa Wiley (1953), a las que siguió la lograda construcción del patio de esculturas del Museum of Modern Art de Nueva York. Durante la colaboración con Mies van der Rohe en la construcción del Seagram Building, Johnson abandonó la seriedad funcional y pasó a un conformado manierista-caprichoso. En la nave principal de la Sinagoga de Port Chester (1954-1956) empleó bóveda de yeso y aberturas policromadas para las ventanas, y en la galería de arte Sheldon de la Universidad de Nebraska (1963), series simétricas de arcos de medio punto. Bloques cerrados y pesados caracterizaron sus edificios de los años sesenta, como es el caso de la Kunsthalle de Bielefeld (1968).

Luego siguieron el IDS Center de Minneapolis (1973), el Pennzoil Place de Houston (1970-1976) y el impresionante American Telephone and Telegraph Building de Nueva York (1978-1982) –con entrada en arco y frontón abierto– o el Pittsburgh Plate Glass Building, con elementos que recuerdan al neogótico, todos ellos rascacielos acristalados con detalles arquitectónicos que tocan la fachada de unos edificios comerciales de interior completamente estandarizado. En edificios públicos, como la Biblioteca Municipal de Miami, Johnson echó mano de atrios y otros elementos arquitectónicos romanos, con el fin de dar personalidad propia a construcciones eminentemente funcionales.