幕末・維新期の政治家。勝海舟、高橋泥舟とともに幕末三舟の一人。剣・禅・書の達人。
旧姓、小野、通称は鉄太郎、鉄舟は号。
1836年6月10日、江戸本所で旗本・小野家の四男として生まれる。家が武芸を重んじり家系だったことから、北辰一刀流などの武術に励む。10歳の頃、飛騨郡代となった父に従い、幼年時を飛騨高山で過ごす。ここで書や剣術を学び、16歳の頃に江戸に戻る。20歳になった1855年に山岡家の養子となり、結婚する。
1862年、幕府によって新徴組みが結成され取締役になり、翌年、上洛する。1868年には精鋭隊頭となって将軍の警護に当たる。その頃、官軍が江戸城を目指して進軍していた時期で、将軍は朝廷に恭順する意を表しており、幕府軍の全権を委任されていた勝海舟はこうした状況を征討大総督府参謀の西郷隆盛に伝えるため鉄舟を派遣した。勝・西郷会談の下地を作ったわけである。官軍が警備する中、「朝敵徳川慶喜家来、山岡鉄太郎まかり通る」と堂々と進みでたという。
維新後、静岡県権大参事、茨城県参事、伊万里県権令などを歴任した。静岡では清水次郎長と意気投合したことで有名。1872年に明治天皇の侍従、教育係となり、10年間仕えた。また85年には一刀正伝無刀流を開いた。書は人から頼まれると断らずに書いたので、各地に数多く残っている。
1888年7月19日、胃がんで死去。享年52歳。当日は辞世「腹いたや苦しき中に明けがらす・・・」と口吟み、白衣を着て、皇居に向かって結跏趺坐のままの大往生だった。