Hardinxveld is een van de oudste dorpen van de Alblasserwaard waar al in 1105 een pastoor, dus ook een kerk, was. Deze kerk zal gestaan hebben op de Boven-Hardinxveldse Buurt.
Hardinxveld was sinds 1282 -na erkenning door Floris V- een zogenaamde hoge heerlijkheid, die het halsrecht (rechtspraak, waarbij de doodstraf kon worden uitgesproken) had. De heerlijkheid was eigendom van de heren van Brederode, die in de buurt een huis bezaten dat als voorganger kan worden gezien van het latere kasteel De Giessenburg. In 1399 verleende Albrecht van Beieren Hardinxveld een belangrijke tolvrijheid voor de handel en scheepvaart. In 1412 waren de kosten van het aan de heerlijkheid verbonden dijkonderhoud zo hoog geworden dat de toenmalige eigenaar Walraven van Brederode ze niet meer kon betalen. De enige mogelijkheid om dan van het eigendom af te komen was 'de spade in de dijk steken'. Oorspronkelijk gebeurde dit door op het moment dat de dijkgraaf en de (hoog)heemraden ter schouwing van de dijk langskwamen, barrevoets en gekleed in een hemd een spade in de dijk te steken. In de praktijk kwam het er op neer dat men alle bezittingen verloor en tevens werd verbannen.

Samen met veel andere plaatsen werd Hardinxveld door de graaf in leen gegeven aan Arent van Gent, die aan zijn eigendommen een aantal voorrechten verstrekte. De rechtszittingen vonden sindsdien op zondag plaats en ze werden de zondag ervoor in de kerk afgekondigd. Zo kon men in de kerk horen wie er nog geld schuldig was aan de tappers. Als de schuld voor dinsdag betaald was, kreeg men geen boete.
In 1454 kwam Hardinxveld aan de schildknaap Bruisten de Jeude, die de heerlijkheid opdroeg aan Philips de Goede ten behoeve van diens zoon, de latere Karel de Stoute. Hierbij werd bepaald dat de stad Gorkum Hardinxveld nooit zou mogen belasten tegen de wil van de inwoners.

Hardinxveld heeft ook geleden onder de verschillende oorlogen. Toen de Spanjaarden in 1572 Gorkum belegerden bouwden ze in Hardinxveld een schans op de dijk. Een jaar later werd de dijk doorgestoken om de Spanjaarden te verdrijven. Het heeft echter zes jaar geduurd alvorens het zover was.
Rond 1605 was het Jan de Jeude die het onderhoud van de dijk niet meer kon betalen en overging tot 'spadesteking'. Er was toen niemand die de heerlijkheid wilde overnemen, zodat de hoogheemraden het aan zich hielden.
In 1625 werd de heerlijkheid in het openbaar verkocht aan de Dordtse schout Pompejus de Roovere. Diens nazaten bezaten de heerlijkheid tot in de 18e eeuw. De Franse Tijd is over het algemeen vrij rustig verlopen. Alleen aan het einde ervan had Hardinxveld te lijden van het beleg van Gorkum. Voorts valt nog te vermelden dat er vóór 1572 een latijnse school was. Hardinxveld had ook een graanmolen die stond op de plaats waar zich thans het raadhuis van de gemeente Hardinxveld-Giessendam bevindt.