Thijs Swart kreeg zijn opleiding als bakker bij Sijbrand Schagen. Daar begon hij op 20-jarige leeftijd in 1891 *  .
In 1904 startte Thijs Swart zelf een banketbakkerij in de Prinsenstraat in Zaandam. De bakkerij heette De Twee Trommels, verwijzend naar hoe koek werd verkocht: ventend langs de deur met een houten juk met aan weerszijden een koekblik. Na vijftien jaar ging hij met zijn neef een vennootschap onder firma aan.
In 1934 werd de vof gewijzigd in een nv.
De stichter en zijn zoon, die inmiddels ook in de zaak werkzaam was, overleden in de Tweede Wereldoorlog. Een procuratiehouder werd benoemd om de leiding te waarborgen en de bevriende familie Schoemaker-Roem nam het aandelenpakket over.
In 1956 kwam de familie Schoemaker ook in bezit van het bedrijf Vicomte uit Westzaan. Dit bedrijf was gevestigd aan de Overtoom in Westzaan en maakte ijs- en gevulde wafels. Martinus Hildering startte in 1903 in een 18e-eeuws pakhuis De Dekker aan de Overtoom in Westzaan een koek- en wafelfabriek. In 1925 kwam de 2e generatie in het bedrijf en werd een grootschalige modernisering doorgevoerd. Ook kwam toen een nieuwe gevel voor het oude pakhuis *  . De familie Oostbree nam later de Vicomtefabriek van de familie Hildering over.
De heer Heineman werd in 1956 directeur van Vicomte en van de fabriek van Swart, in het vervolg aangeduid als Swart Vicomte BV. In de jaren '60 werd de productie van ijswafels gewijzigd in die van lange vingers. In 1974 werd de koekfabriek van Swart getroffen door brand. Deze werd herbouwd en tevens werd het bedrijf gereorganiseerd. Vicomte te Westzaan werd gesloten (het oude pakhuis is uiterlijk gereconstrueerd naar de oorspronkelijke situatie en ingericht als woningen) maar de naam bleef ongewijzigd.
In 1986 fuseerde Swart Vicomte BV met de Enkhuizer Banket Fabriek, in 1998 overgenomen door Lotus Bakeries *  .