現代意義上的小提琴最早出現於16世紀早期的義大利北部威尼斯,熱那亞等港口。它在義大利文中稱為「violino」,意為「小的中提琴」。最早期的小提琴,除了一些文藝作品中有所反映之外,沒有保存至今的實物。早期很多小提琴只有三條弦,由此推斷,小提琴最初的製作者可能借鑒了其它早於小提琴的樂器,比如中世紀三弦琴(Rebec),這種琴自10世紀開始出現並被使用,它自身源於阿拉伯的雷貝琴(Rebab)。
目前對小提琴最早的明確記載是 Jambe de Fer 於1556年出版於里昂的《音樂摘要》(Epitome musical)。此時小提琴已經傳遍歐洲。
最古老的4弦小提琴是由著名的安德雷亞·阿瑪蒂(Andrea Amati)應美第奇家族之請製作於1555年。阿瑪蒂是當時著名的撥弦樂器製作師,他有一套嚴格的製作流程來保證他作品的精緻優雅。不僅如此,他還率先將拱形結構引入撥弦樂器的製作中,據他所知,拱形結構能明顯提升撥弦樂器的音色與聽感。
小提琴迅速流行起來,不論是街頭藝人還是貴族都對它青睞有加。法國國王查理九世在十六世紀下半葉命令阿瑪蒂組建了一隻完整的弦樂隊,這便足以說明當時小提琴的熱度。
據琴身所標明的日期來看,現存最早的小提琴是一把「查理九世」(Charles IX),由安德雷亞·阿瑪蒂在1560年製作於義大利北部城市克雷莫納(Cremona)。而至今為止最有名的小提琴,應該是安東尼奧·斯特拉迪瓦里(Antonio Stradivari)1716年製作的「彌賽亞」(Le Messie),也作「Salabue」,這把琴現藏於英國牛津的Ashmolean博物館。