Der Freiburger sitzt seit 2003 im Ständerat, zuvor war er von 1992 bis 2003 Staatsrat im Kanton Freiburg. 2005 wurde er zum Präsidenten der CVP-Fraktion gewählt. Im Januar 2014 übergab er dieses Amt an den Tessiner Filippo Lombardi.

Schwaller war mehrmals als möglicher Bundesratskandidat gehandelt worden. Bei den Bundesratswahlen 2009 wurde er von seiner Fraktion offiziell nominiert. Er unterlag aber dem FDP-Kandidaten Didier Burkhalter.