Zusammen mit Ebingen, Laufen, Lautlingen und Pfeffingen wird Tailfingen erstmals im Jahr 793 in einer St. Gallener Urkunde erwähnt. Der Ort selbst ist älter; er dürfte wie alle auf -ingen endenden Siedlungen im Zuge der Landnahme durch die Alemannen nach der Vertreibung der Römer (260 n.Chr.) gegründet worden sein - wie aus dem Ortsnamen zu erschließen, von einem Sippenhäuptling namens Tagolf. Der älteste Ortsteil wird entlang der heutigen Ludwigstraße vermutet. Als wohl zum Ausgang des 8. Jahrhunderts die Peterskirche an dem Heerweg errichtet wurde, der durch den Talgang führte, entstand bei der Kirche ein weiterer Siedlungskern. Im Laufe des Mittelalters wachsen beide Ortsteile zusammen.

Als ältestes Bauwerk kann der frei stehende Turm der Peterskirche gelten, der mehr als tausend Jahre alt sein dürfte. Es handelt sich um einen der wenigen, unbeschadet aus dem Mittelalter erhaltenen Kirchtürmen im Bereich der Südwestalb, dessen einst wehrhafter Charakter heute noch deutlich erkennbar ist. Dies zeigt sich an mehreren bautechnischen Details: erstens durch die Tatsache, dass der Turm frei steht, zweitens durch das ausnehmend dicke Mauerwerk, und drittens durch den früheren und heute vermauerten Eingang in Stockwerkshöhe. Beim Herannahen eines Feindes stiegen die mittelalterlichen Tailfinger über eine Leiter durch eine Luke in den Turm, die mannshoch über dem Boden lag, und zogen dann die leiter zu sich hinauf. Der mittelalterliche Turm war etwas niedriger als der heutige und verfügte in früheren Zeiten wohl auch über einen Zinnenkranz; der heutige Fachwerkaufsatz kam erst im Spätmittelalter hinzu. Seitdem hat sich an der markanten Form nichts mehr geändert. Gerade dieses einprägsame, scharf umrissene Aussehen hat dazu geführt, dass der Turm der Peterskirche zum Wahrzeichen Tailfingens geworden ist.

Politisch teilte der Ort die Geschicke der Gemeinden seiner näheren Umgebung; zusammen mit ihnen kam er 1403 von der Schalksburg-Herrschaft an das Herzogtum Württemberg und wurde dem Amtsbezirk Balingen zugeschlagen. 1534 führte Herzog Ulrich hier wie auch anderswo in seinem Herrschaftsgebiet die Reformation ein. Der Dreißigjährige Krieg wirkte sich so verheerend aus, dass sich der Ort bis 1660 keinen eigenen Pfarrer mehr leisten konnte, außerdem ging das älteste Kirchenbuch verloren.

Im 18. Jahrhundert hatte sich der Ort von den Kriegsfolgen endgültig erholt, die Bevölkerungszahl stieg stetig an (1744: 512 Einwohner, 1820: 1449 Einwohner). Die karge Landwirtschaft konnte diese Menschen nicht mehr alle ernähren, deshalb entwickelte sich als handwerklicher Nebenerwerb die Strumpfwirkerei, die wiederum die Grundlage bildete für die Industrialisierung.

1853 wurden die ersten (damals noch handbetriebenen) Rundwirkmaschinen (so genannte "Rundstühle") aufgestellt. Auf ihnen produzierten die Tailfinger zunächst im Auftrag von Hechinger und Ebinger Unternehmern hauptsächlich gefütterte Unterbekleidung, erst ab etwa 1870 begannen sie, sich selbständig zu machen. Bis 1880 wuchs die Trikotwarenherstellung noch verhältnismäßig langsam, dann aber ging es rapide aufwärts: befanden sich 1880 noch 180 Rundstühle am Ort, so waren es zehn Jahre später bereits 600 und am Vorabend des Ersten Weltkrieg sogar 1800.

Dieses extrem rasche Wirtschaftswachstum führte innerhalb kürzester Zeit zu einer grundlegenden Veränderung der Bevölkerung und vor allem auch des Ortsbilds. Hatte Tailfingen 1871 noch 2193 Einwohner, so waren es 1910 schon 5412, also mehr als das Doppelte. Entsprechend stieg die Zahl der Häuser von 377 im Jahr 1871 auf 1685 im Jahr 1930. Die bebaute Fläche dürfte sich in diesem Zeitraum vervierfacht haben.

Nun wurden Schulen gebaut (1891/92 Christophschule, 1904 Bismarckschule, 1911 Lutherschule), Kirchen errichtet (1903 St. Bonifatius für die neu zugezogenen Katholiken, 1907 Pauluskirche), die Straßenbeleuchtung eingeführt (1888), ein Wasserleitungsnetz verlegt (1896/97), ein Gaswerk erstellt (1905), die Elektrizitätsversorgung eingerichtet (1911), und im Verlauf der Jahre nach dem Ersten Weltkrieg verlor Tailfingen mehr und mehr sein dörfliches Gepräge. So kam es, dass der Ort 1930 zur Stadt erhoben wurde; 1934 erfolgte unter nationalsozialistischem Druck die Eingemeindung von Truchtelfingen. Gerade hier, im politisch eher links orientierten und vom Arbeitermilieu geprägten, "roten" Tailfingen, war der Widerstand gegen den Nationalsozialismus zunächst besonders groß. Gegen Kriegsende kam der Atom-Forscher Otto Hahn mit einem Teil seines Forschungsinstituts in die "Trikotstadt", wo ihn ein amerikanisches Kommando am 25. April 1945 gefangen nahm.

Der Zuzug von Heimatvertriebenen wie auch der wirtschaftliche Aufschwung der Fünfzigerjahre brachten einen weiteren, rasanten Bevölkerungszuwachs (1954: 14.073; 1972: 17.278 - jeweils einschließlich Truchtelfingen), was einen erneuten Ausbau der kommunalen Infrastruktur nach sich zog: 1953 Bau der Erlöserkirche, 1954 der Lammerbergschule, 1955 des Hallenbads, 1960 des Krankenhauses (heute Sana-Klinik), 1961 der Langenwandschule, 1963 der Aussegnungshalle Friedhof Markenhalde, 1966 der Volksschule in Truchtelfingen, 1967 der Zollern-Alb-Halle, 1969 St.-Franziskus-Kirche, 1971 des Progymnasiums. Heute ist die "Trikotstadt" zweitgrößter Ortsteil Albstadts mit knapp 12.000 Einwohnern.