Der Ort Payerbach wird urkundlich erstmals im Jahre 1094 genannt. Damals schenkte Graf Ekbert von Formbach dem gleichnamigen bayerischen Kloster am Inn verschiedene Besitzungen im Schwarzatal.

Die Kirche St. Jakob der Ältere geht ebenfalls auf die Grafen von Formbach zurück und entstand Mitte des 12. Jahrhunderts als romanische, einschiffige, flachgedeckte Kirche mit Ostapsis.
Von diesem Bau sind noch die West- und die Nordmauer sowie ein romanischer Steinkopf erhalten.

 

1270 wird als erster nachweislicher Pfarrer von Payerbach der Benediktinermönch Pertholdus genannt. Die Pfarre wurde bis 1803 von Formbacher Benediktinermönchen betreut. 
Um 1330 entstand der hochgotische Polygonalchor, dabei wurden die östlichen Stützmauern errichtet. Nach den Ungarnkriegen 1447 - 1487, wurde die Kirche nach Plänen von Jörg Goldperger im spätgotischen Stil erweitert. 
Um 1510 entstand der spätgotische Turm, im Volksmund "Schwarzer Turm" genannt. Zur Zeit der Türkenkriege fungierte die Kirche als Wehrkirche.

1880 - 1884 Regotisierung, 1970 Innenrestaurierung und Wiederherstellung des ursprünglichen Raumeindruckes.
1973 Außenrestaurierung und Neugestaltung des Kirchenplatzes. 
An der Ostseite der Wehrmauer entstand 1922 das vom Architekten Leopold Simony gestaltete Kriegerdenkmal (2004 Umgestaltung zum "Mahnmal gegen den Krieg und Denkmal für den Frieden").  

Am Kirchenplatz befinden sich die Schubertlinde und der Schubertgedenkstein von 1928, vor dem Pfarrhof steht der zur Erinnerung an den Sommeraufenthalt von Kaiserin Elisabeth 1873 gepflanzte Mammutbaum.