天保2～3（1831～1832）年に建築され、坂越浦の廻船や港の事務を掌る会所として使用されました。また、赤穂藩主が坂越に来訪した際には、藩主の休憩場所の役割を担うなど、赤穂藩の茶屋的機能を併せ持った大規模な会所建築です。昭和5（1930）年には大きく改修されて坂越公会堂として使用されてきましたが、平成4（1992）年に赤穂市指定文化財となり、平成5～6（1993～1994）年にかけて解体修理が行われ、江戸時代の姿に復元されています。