岡山県出身の日本の洋画家です。
実家は旅館の仕出しなどを営んでおり、そこの次男として生まれました。
画家としてよりも大原美術館のコレクションの収集者としてよく知られています。
幼い頃から画才を認められ、岡山中学校の図画教師であった松原三五郎は、虎次郎の画才に驚き画家になることを勧めるが、祖母が強く反対しましたが、何とか説得して上京し、倉敷の実業家・大原家の奨学生となって東京美術学校に入学し、成績優秀であった為、二度にわたり一学年飛び越えて進級した為、在学期間は二年間と異例の早さの卒業となりました。
卒業後はヨーロッパへ留学し、アマンジャンに師事し、ベルギーのゲント美術学校に学び首席で卒業するなど、画才を発揮し、帰国後は制作の傍ら、大原孫三郎の依頼を受けて、絵画の買い付けの為にヨーロッパに渡り、モネ、エル・グレコ、ゴーギャン、ロダンなどの作品を購入しました。
この作品収集が後の大原美術館の礎となりました。
また、明治神宮奉賛会より依頼を受けて明治天皇を讃える壁画の制作に従事していたが、製作途中で病気にかかり作品を未完成のままでこの世を去りました。