Τον καιρό του Πλούταρχου και του Πτολεμαίου, η Πάργα ονομαζόταν Τορύνη και βρισκόταν στο σημείο που σήμερα είναι η παλαιά πόλη. Στην αρχαιότητα αποτελούσε το λιμάνι της Ηπείρου με την ονομασία Ελαία και γνώρισε οικονομική και πολιτιστική ευημερία.

Λόγω της ιδιαίτερης τοποθεσίας της, η Πάργα ήταν διαρκώς υπό ξένη κυριαρχία, από τη μυκηναϊκή εποχή έως την ένταξή της στο ελληνικό κράτος. Η ύπαρξή της αναφέρεται για πρώτη φορά το 1320, στις συναλλαγές μεταξύ των Ενετών και του Δεσποτάτου της Ρωμανίας.  

Η πόλη και το φρούριό της τελούσε κάποτε υπό την προστασία των Νορμανδών. Ωστόσο όταν εκείνοι την εγκατέλειψαν, αποτέλεσε στόχο συνεχών επιδρομών με αποτέλεσμα οι Παργινοί να αναγκαστούν να ζητήσουν τη βοήθεια των Ενετών. Έτσι, το 1401 στην Κέρκυρα, υπογράφηκε συνθήκη μεταξύ του Baylo Azarino και επιτροπής πολιτών της Πάργας, μια συνθήκη η οποία διήρκησε τετρακόσια χρόνια και η οποία αποδείχτηκε ιδιαίτερα επωφελής. Βάσει της συνθήκης, η πόλη τελούσε υπό την προστασία των Ενετών και υπό τη διοίκηση της Γενικής Συνέλευσης των Πατρικίων και ενός κυβερνήτη-διοικητή. Στη διάρκεια αυτών των τεσσάρων αιώνων η πόλη έγινε μάρτυρας πολλών, αλλά μικρής διάρκειας ανακατατάξεων. Πολιορκήθηκε, κατακτήθηκε και λεηλατήθηκε πολλές φορές, το δε φρούριό της καταστράφηκε.

Το 1571, οι Ενετοί αφού κατέλαβαν για άλλη μια φορά την Πάργα, την ανέδειξαν στο σημαντικότερο λιμάνι της Ηπείρου. Από τότε έως το 1819 η πόλη άνθισε και άκμασε, χάρη στο ναυτεμπόριο που ανέπτυξε στην περιοχή αλλά και σε άλλες πόλεις, κατάφερε δε να παραμείνει ελεύθερη παρά τις αλλεπάλληλες οθωμανικές επιδρομές.

Το 1718, με τη συνθήκη του Πασάροβιτς, η Πάργα τέθηκε για άλλη μια φορά υπό την προστασία των Ενετών και έγινε καταφύγιο και κέντρο εφοδιασμού για τους Έλληνες της επανάστασης που αντιστάθηκαν στους Τούρκους κατακτητές, κάτι που εξόργισε τον Αλή Πασά ο οποίος προσπάθησε με κάθε τρόπο να κατακτήσει την πόλη, χωρίς όμως επιτυχία. Αργότερα, το 1797 με τη συνθήκη του Κάμπο Φόρμιο, η Γαλλία, η ισχυρότερη χώρα της εποχής, έγινε ο νέος προστάτης της Πάργας. Οι Παργινοί δεχόμενοι νέα επίθεση από τον Αλή Πασά ζήτησαν τη βοήθεια του Ρωσικού στόλου και η πόλη περιήλθε στην προστασία της Ρωσοτουρκικής φρουράς.

Το 1800, με τη συνθήκη Ρωσίας-Τουρκίας, τα Ιόνια νησιά κηρύσσονται ελεύθερα και η Πάργα ελεύθερο κράτος. Η εν λόγω συνθήκη αναγνωρίστηκε από τη συνθήκη της Αμιένης το 1802, καθώς και από την Αγγλία, η οποία επικύρωσε την ισχύ της. Από την πλευρά του, ο Αλή Πασάς συμφώνησε να υπογράψει, υπό την προϋπόθεση να του παραχωρηθεί η Πάργα, όρος όμως που απορρίφθηκε.

Το 1806, στη διάρκεια του Ρωσοτουρκικού πολέμου, προσπάθησε να συσπειρώσει τους κατοίκους γύρω του με δελεαστικούς όρους, αλλά η απάντησή τους ήταν αρνητική.Αποφάσισε τότε να πολιορκήσει την πόλη, αλλά τα σχέδιά του ανατράπηκαν από τη συνθήκη του Τιλσίτ, η οποία έθεσε τα Ιόνια νησιά και την Πάργα υπό την προστασία της Γαλλίας. Ωστόσο, ο Αλή Πασάς δεν το έβαλε κάτω και ζήτησε τη συγκατάθεση του διοικητή της Κέρκυρας, του γάλλου στρατηγού Μπερτιέ, που μεταβίβασε το συγκεκριμένο αίτημα στον Ναπολέοντα Ι. Η απάντηση του τελευταίου ήταν αρνητική και μάλιστα βρίσκεται σε μια επιγραφή στο Μικρό Καστράκι: «Défense de la patrie». Μετά την ήττα του Ναπολέοντα Ι στη Ρωσία, ο Αλή Πασάς αποφάσισε να στείλει τον γιο του Μουχτάρ και 6.000 Αλβανούς να πολιορκήσουν την Αγιά ώστε να τη χρησιμοποιήσει ως ορμητήριο κατά της Πάργας. Οι δυνάμεις πολιόρκησαν και κατέστρεψαν την περιοχή και έχτισαν φρούριο στο ύψωμά της.

Ο Αλή Πασάς πίστεψε τότε ότι ήταν έτοιμος για επίθεση και πολιόρκησε την Πάργα από στεριά και θάλασσα. Οι Παργινοί όμως συνέτριψαν τον εισβολέα αμαυρώνοντας τη φήμη του. Το 1815, μετά την παραίτηση του Ναπολέοντα του Ι, οι Γάλλοι έχασαν τα Ιόνια νησιά και την Ήπειρο, εκτός της Κέρκυρας, και ο Αλή Πασάς δεσμεύτηκε να βοηθήσει τους Άγγλους με αντάλλαγμα τη Λευκάδα και την Πάργα. Αργότερα, το 1816, σύμφωνα με συνθήκη που υπογράφηκε μεταξύ Αγγλίας και Ρωσίας, τα Ιόνια νησιά παραχωρήθηκαν στην Αγγλία. Ο Αλή Πασάς προειδοποίησε τότε τον Σουλτάνο και τους Άγγλους ότι η Πάργα ήταν φωλιά κακοποιών. Τον Μάιο του 1817, μεταξύ Άγγλων και Τούρκων υπογράφηκε συνθήκη στα Ιωάννινα σύμφωνα με την οποία η Πάργα παραχωρήθηκε στην Τουρκία παραιτούμενη από τις όποιες αξιώσεις της στα Ιόνια νησιά. Ο Αλή Πασάς εγγυήθηκε τη ζωή, την ασφάλεια και την περιουσία των Παργινών.

Όποιος Παργινός εγκατέλειπε την πατρίδα του θα λάμβανε 150.000 λίρες Αγγλίας ως αποζημίωση. Την 1η Απριλίου 1819, οι Παργινοί έβαλαν πλώρη για νέα πατρίδα, αλλά ο Άγγλος κυβερνήτης της Κέρκυρας στον οποίο δόθηκαν τα χρήματα δεν παρέδωσε ποτέ την αποζημίωση στους Παργινούς. «Ήταν έγκλημα να πωληθούν οι Παργινοί στους Τούρκους», κατήγγειλαν τότε στρατηγοί, ποιητές, η λαϊκή μούσα, ακόμα και ορισμένοι Άγγλοι. Μετά τον αποκεφαλισμό του Αλή Πασά το 1822, μια ομάδα 250 Παργινών αποβιβάστηκε στην Παγωνιά και εισήλθε μυστικά στην Πάργα χωρίς αντίσταση. Οι Τούρκοι πολιόρκησαν την πόλη και θα είχαν κατασφάξει τους Παργινούς εάν δεν υπήρχε η συμβολή 200 Σουλιωτών που τους βοήθησαν να διαφύγουν στην Κέρκυρα. Οι Μανιάτες, συγκινημένοι από τον απεγνωσμένο αγώνα των ολιγάριθμων Παργινών, αποβιβάστηκαν στη Σπλάντζα με στόχο να ενώσουν τις δυνάμεις τους με τους Σουλιώτες και να επιτεθούν στους Τούρκους μετόπισθεν, αλλά η προσπάθειά τους απέτυχε.

Το 1831, ο Ρεσίτ Μεχμέτ Πασάς απηύθυνε πρόσκληση τους Παργινούς να επιστρέψουν στην πατρίδα τους, στην οποία όμως πρόσκληση ανταποκρίθηκαν μόνο περί τις 100 οικογένειες. Το 1847, η Πάργα πουλήθηκε στους Ρεσίτ Πασά και Ρεφάτ Πασά που μίσθωναν τη γη πολύ ακριβά στους Παργινούς. Το 1913, ο Τούρκος διοικητής της Πάργας παρέδωσε την πόλη στον υπολοχαγό Φέτση. Το 1930, συνοδεία ολόκληρου του ελληνικού στόλου, επαναπατρίστηκαν από την Κέρκυρα τα ιερά κειμήλια, τα οστά των προγόνων και το λάβαρο της Πάργας. Τέλος, στις 19 Νοεμβρίου 1963, η Πάργα ανακηρύχθηκε τουριστική περιοχή με προεδρικό διάταγμα.