Nach dem Sekundarlehrerdiplom unterrichtete Merz, unterbrochen durch längere Auslandsaufenthalte, als Lehrbeauftragter für Sprache und Kultur an einer Höheren Fachschule. 1967 debütierte er mit dem Gedichtband Mit gesammelter Blindheit. Seither hat er über zwanzig weitere Publikationen mit Gedichten, Erzählungen, kurzen Romanen und Essays, vor allem zu Bildender Kunst, publiziert; daneben hat er auch Hörspiele, TV-Drehbücher, Theaterarbeiten und Kinderbücher verfasst. Seit 1994 erscheinen seine Werke vorwiegend im Innsbrucker Haymon Verlag, die Buchcovers sind von Heinz Egger gestaltet. 2003 hat er die gesammelten Werke seines behinderten Bruders Martin Merz (1950–1983) bei Haymon unter dem Titel Zwischenland herausgegeben. Klaus Merz war Mitglied der Gruppe Olten und von 1995 bis 1997 deren Präsident. Er lebt heute als freier Schriftsteller in Unterkulm. „Merz überzeugt als Lyriker und als Erzähler dank seiner Gabe, ebenso leicht wie knapp und präzise zu formulieren – eine Fähigkeit, die wir nur bei sehr wenigen Autoren antreffen“, hielt der Jury-Vorsitzende Jochen Hieber in der Pressemitteilung der Frankfurter Allgemeine FAZ zum Hölderlin-Preis 2012 fest.