韓国京城府(現・韓国ソウル)で生まれた昭和時代に活躍した日本の洋画家です。
日本の抽象絵画の先駆的な開拓者の一人と言われ、黒の地色の上に黄土色または赤茶色の絵の具がかなり厚塗りされた作品が多く、色数の限定と幾何学的な形の組み合わせが特徴的で、晩年ではより単純化された抽象画を確立しました。
父親は朝鮮に渡って一代で大地主となった人物で、山口長男が生まれた時代は朝鮮半島の独占支配をめぐって日露が激しく対立していた時期でした。
幼い頃は日本で暮らしていましたが中学校からは京城で暮らし、19歳で日本に帰国すると本郷洋画研究所で岡田三郎助に学びました。
その後、東京美術学校に入学して和田英作の教室で学んだ山口長男は同期生である猪熊弦一郎、牛島憲之、岡田謙三、荻須高徳らと上杜会を結成しました。
東京美術大学を卒業すると帰国していた佐伯祐三の制作姿勢に刺激を受け、フランスへ渡る事を決意します。
フランスではパブロ・ピカソ、ジョルジュ・ブラックからも刺激を受け、彫刻家オシップ・ザッキンのアトリエにも出入りし、立体的な造形も習得します。
日本経由で京城に戻ると自然を単純な形態と色面に還元し、フォーヴ的性格をもった抽象的な作品の制作を始めるようになり、京城から日本の二科展に出品を続け、二科会の前衛的傾向の作家を集めて九室会を結成するなど美術研究に没頭しながら制作活動を行っていました。
終戦後は二科展の再結成にあたり会員として参加し、京城を引き上げて日本に戻ると日本アブストラクト・アート・クラブの創立に参加し、会員としてニューヨークでのアメリカ抽象美術展に出品するなど海外での活動も見られるようになり、サンパウロ・ビエンナーレ、ヴェネツィア・ビエンナーレの日本代表として出品し、グッゲンハイム賞美術展やチューリッヒ市立美術館の「現代日本の絵画展」など次々と作品を発表していきました。
また、武蔵野美術大学教授となり、後に3代目の武蔵野美術学園の学園長にも就任しており、その実力は多方面から認められる存在でした。