ドイツ人の父とアルザス人の母を持ち、フランスのドイツ系住民居住地域であるアルザスに生まれたのでドイツ語、フランス語を母国語としており、家庭ではアルザス語も話して育ちました。
そのため、ドイツ語圏では「ハンス・アルプ」フランス語圏では「ジャン・アルプ」と呼ばれています。
幼い頃から絵を描く事が好きで、造形芸術と詩にも強い興味を持っていました。
両親からも後押しされ、シュトーラスブルクの美術工芸学校へと入学するが、伝統的な美術教育が肌に合わず、パリの美術館を巡りながら独学で活動を続け、ドイツ・ワイマールの美術学校へ通い、パリのアカデミー・ジュリアンへ通い、マティスやシニャックらと展示会を開きました。
スイスに移り住み、同世代の作家たちと「デア・モデルネ・プント」を結成し、展示会を開き、自分の芸術の方向性を模作するかのように同世代の芸術家たちと多くの交流を持ちます。
そんな中、ゾフィー・トイバーと知り合い、彼女との共同制作を行うようになると、自分の方向性を定めることができ、ゾフィーと結婚して多くのグループ展に夫婦そろって参加しました。
しかし、ゾフィーが就寝中に故障したストーブの事故で亡くなると深刻なうつ状態になってしまい、修道院へひきこもり昔から好きだった詩を書いて過ごすようになりました。
4年の歳月を経て、長年の友人で収集家のマルゲリーテ・ハーゲンバッハの支援により制作を開始するようになり、これがきっかけで彼女と再婚する事になりました。
その後は修道院で書いていた詩をモチーフの主題とし、彫刻作品をを精力的に発表し、エッセイなどの著作物も多く残しました。
また、ダダイズム運動にも参加し、更に多くの芸術家たちと交流し、その中心人物としても有名です。