Byen ligger vakkert og beskyttet til mellom Grisefjorden og Flekkefjorden, med gammel, idyllisk trehusbebyggelse som tildels er fredet. De rike sildefiskeriene i 1820-30 årene fikk byen til å blomstre og Flekkefjord var en viktig utskipningshavn for tømmer til Nederland. Den eldste trehusbebyggelsen har navnet "Hollenderbyen", med fredede hus og spesiell historie. Utenfor Flekkefjord ligger en vakker skjærgård og den største øya er Hidra hvor vi bl.annet finner museet "Fedrenes Minne", som viser en enestående samling gjenstander fra øyas historie.