W Westfalii działał w polskich związkach zawodowych. Jako jeden z czołowych działaczy na Górnym Śląsku Józef Rymer uczestniczył w konferencji pokojowej w Paryżu, podczas której popierał starania o przyłączenie tego regionu do niepodległego państwa polskiego. W okresie powstań śląskich i plebiscytu był bliskim współpracownikiem Korfantego, m.in. udzielał się w pracach Naczelnej Rady Ludowej oraz Polskiego Komisariatu Plebiscytowego. Należał do inicjatorów utworzenia na Śląsku Polskiej Organizacji Wojskowej.
Był także zaangażowany w działalność plebiscytową jako jeden z trzech zastępców komisarza plebiscytowego, a po zakończeniu plebiscytu należał do organizatorów III powstania śląskiego. Podczas powstańczych walk Rymer uczestniczył w pracach Wydziału Wykonawczego Naczelnej Władzy na Górnym Śląsku, który powołał Korfanty. Był pierwszym wojewodą Śląska; za jego rządów region, na mocy Statutu Organicznego, cieszył się sporą autonomią w ramach niepodległego państwa polskiego. Tę funkcję pełnił Rymer zaledwie kilka miesięcy, do swojej przedwczesnej śmierci. Był jedynym Górnoślązakiem na tym urzędzie
