Trong làng nhạc chuyên nghiệp, hầu hết các nghệ sĩ biết sáng tác, trước khi trở nên nổi tiếng, đều phải trải qua nhiều năm trau dồi tay nghề. Trường hợp của Jean-Jacques Goldman cũng không phải là ngoại lệ. Trước khi thực sự thành danh vào năm 1982, anh đã có một thời gian sáng tác cho nhiều ca sĩ khác. Giai điệu « Tout, tout doucement », lời Việt là « Người yêu thứ nhất »  nằm trong giai đoạn đầu đời của tác giả Goldman.

Các nguồn tin trên mạng cung cấp không nhiều thông tin về những năm tác giả Jean-Jacques Goldman mới vào nghề. Sau hơn 4 năm tham gia ban nhạc rock Tài Phong, do hai nghệ sĩ gốc Việt Khánh Mai và Tài Sinh sáng lập, Jean-Jacques Goldman khởi nghiệp solo lúc anh gần 30 tuổi, nhưng chủ yếu sáng tác nhạc cho người khác, chứ anh không có ý định làm ca sĩ. Những bản ghi âm của anh trước năm 1979 chủ yếu là những bản nhạc rock bị nhóm Tài Phong từ chối, chẳng hạn như Les nuits de solitude (Những đêm cô đơn).

Đây cũng là giai đoạn Jean-Jacques Goldman chuyển dần lối sáng tác từ tiếng Anh sang tiếng Pháp, sau các nhạc phẩm như « Highfly » hay « Tell me why » dưới bút danh First Prayer, anh sáng tác các giai điệu như « Gros câlin blues » và « Fais moi des sourires » cho nữ ca sĩ Anne-Marie Batailler, nhạc phẩm « Nous, on y va », được Elli Medeiros ghi âm với nghệ danh Jocko.

Trong giai đoạn những năm 1978-1981, Goldman đã viết khoảng 20 bài hát bằng tiếng Pháp dưới nhiều bút danh khác nhau, ngoài First Prayer (Lời nguyện cầu đầu tiên), còn có Sweet Memories (Những kỷ niệm ngọt ngào). Jean-Jacques Goldman sáng tác một số bài hát cho nữ ca sĩ trẻ tuổi Jane Surrey. Sinh trưởng tại Anh, Jane có một khuôn mặt thùy mị dễ thương, chất giọng tuy không mạnh nhưng nụ cười có duyên và lối diễn đạt nhí nhảnh. Jane đến với nghề ca hát một cách khá tình cờ.

Sau một thời gian đi du học ở Pháp, Jane Surrey chọn ở lại Paris và bắt đầu làm thư ký trong một hãng đĩa độc lập, nơi cô gặp khá nhiều nghệ sĩ Anh-Mỹ (như Stray Cats, Alan Parson, Joe Jackson) nhưng Jane không nghĩ rằng cô cơ hội thành danh. Cho đến một ngày kia, một trong những nhà sản xuất Pháp quyết định thực hiện đĩa nhạc đầu tiên (45 vòng) của Jane. Nhờ vậy, cô được giới thiệu với tác giả Jean-Jacques Goldman và ghi âm một số sáng tác đầu tay của anh, trong đó có giai điệu ngọt ngào, lãng mạn « Tout, tout doucement ». Cho dù Jane Surrey sau đó không thành công với nghề sân khấu, nhưng Paris lại trở thành quê hương thứ hai của cô ca sĩ người Anh.

Trong tiếng Việt, nhạc phẩm « Tout, tout doucement » có nhiều lời phóng tác khác nhau. Lời đầu tiên là của tác giả Phạm Duy, mang tựa đề « Người yêu thứ nhất » do các danh ca Ngọc Lan, Ngọc Huệ, Kiều Nga trình bày. Lời thứ nhì là giai điệu « Chuyện tình của em » của tác giả Khúc Lan, do nữ ca sĩ Kỳ Phương Uyên ghi âm.

Những giai điệu mà Jean-Jacques Goldman từng viết cho Anne Marie, Émilie Bonnet hay Jane Surrey đều không thành công như dự kiến. Thế nhưng, đó sẽ là lần cuối cùng Jean-Jacques Goldman gặp thất bại. Tuy không ăn khách, nhưng những bài hát đầu tay của anh lọt vào tai nhà sản xuất trẻ tuổi Marc Lumbroso, lúc bấy giờ đang tìm kiếm những tài năng mới. Nhà sản xuất người Pháp tin tưởng vào tiềm năng của Jean-Jacques Goldman, thuyết phục anh sáng tác và tự trình bày nhiều bài hát của mình, rồi sau đó giới thiệu các bản ghi âm thử cho các hãng đĩa thời bấy giờ. Sau những bước đầu không mấy thành công vớiWarner, Jean-Jacques Goldman nhờ vào sự khuyến khích của Marc Lumbroso giành lấy được hợp đồng ghi âm 5 album, cho hãng đĩa Epic, một chi nhánh của tập đoàn CBS.

Giai đoạn khởi nghiệp không phải lúc nào cũng thuận buồm xuôi gió. Album đầu tay của Jean-Jacques Goldman bao gồm 11 sáng tác mới, lúc đầu anh muốn đặt tựa là « Démodé » (Lỗi thời). Nhưng ban tiếp thị của CBS không đồng ý với tựa đề này, cho nên khi album được phát hành vào mùa thu năm 1981, lại không hề có ghi tựa đề nào. Dù vậy, Jean-Jacques Goldman gặt hái thành công đầu tiên với hơn nửa triệu bản của nhạc phẩm « Il suffira d'un signe ».

Có lẽ những bản nhạc đầu tay chưa đủ sâu sắc, tài năng của anh chưa chín muồi để thành công, nhưng cũng từ đó mà tác giả Jean-Jacques Goldman rút kinh nghiệm sáng tác trong thể loại pop rock, để chọn đúng hướng đi sau đó cho bản thân. Sự nghiệp của anh cất cánh từ năm 1982 trở đi, trong vòng hai thập niên liền, Jean-Jacques Goldman ngự trị trong làng nhạc Pháp, thành công nhờ chất giọng cũng như ngòi bút sáng tác.

Từ đầu những năm 1990 trở đi, hầu hết các nghệ sĩ trứ danh nhất đều nhờ đến cái tài soạn nhạc của anh : Céline Dion, Patricia Kaas, Florent Pagny hay Patrick Fiori. Và cho dù anh đã giải nghệ từ hơn một thập niên qua, nhưng Jean-Jacques Goldman vẫn luôn đứng đầu danh sách những nhân vật nổi tiếng yêu thích nhất của người Pháp, có lẽ cũng vì rất nhiều bài hát của anh vẫn làm cho hàng triệu con tim say đắm ngất ngây, những giai điệu này đã thực sự đi vào lòng người, từ lúc nào không hay.