Tuvo cuatro mujeres, Josefa, Joaquina, Clara y Rosa, de las que adoptó el seudónimo con que firmaba, José Joaquín de Clara Rosa. Su intención no era ocultar su verdadero nombre, sino provocar el escándalo. Era un ardiente revolucionario y atacaba a la Iglesia y sobre todo a la Inquisición. Sin embargo, no renegaba de la religión. Defendía las virtudes de los cristianos primitivos: libertad de interpretar la palabra de Cristo, igualdad sin jerarquías y fraternidad entre todos los cristianos, es decir, conjugaba los valores cristianos con los de la revolución Francesa: Liberté, Egalité, Fraternité. Tanto o más provocador que sus ideas era su estilo literario, lo que le acarreó numerosos enemigos incluso entre los liberales. 

De hecho, murió en 1822 en la liberal Cádiz, concretamente en la cárcel, ya que estaba acusado de conspirar contra el gobierno, demasiado moderado para su gusto. No está claro si fue de muerte natural o envenenado, y de ser así, si lo fue por sus enemigos o 
por sus aliados, temerosos de que los denunciara. 

Su entierro fue como su vida, un auténtico escándalo. En el lecho de muerte se negó a admitir a su lado fraile o cura y a incluir la habitual profesión de fe católica en su testamento, pidiendo que se dejaran de tonterías. No quiso ser enterrado con hábito, ni cruz, ni himnos religiosos, ni iglesia, que sustituyó por símbolos civiles: Es mi voluntad que, en falleciendo, se vista mi cuerpo con pantalón, botas, levita de lo que usodiariamente; que se me coloque en una caja con la Constitución abierta en las manos y se me ponga, dentro de la caja misma, un ejemplar de cada uno de mis escritos. (...) todos irán cantando, con la música que se llame para mi entierro, canciones patrióticas, hasta dejarme sepultado en un nicho, habiendo de pasar mi cadáver por delante de lalápida de la Constitución.

Éste es, por lo que sabemos, el primer vasco enterrado por lo civil, un fraile que quiso revolucionar la Iglesia. Nunca perdió su afán predicador, como demuestra que finalizara uno de sus escritos con la típica despedida que utilizaban los curas vascos en sus sermones: agur, nere adisquideac (adiós, amigos míos).