Khi Cao Văn Lầu vừa tròn bốn tuổi (năm 1896), cha là Chín Giỏi (tên thật là Cao Văn Giỏi, 1860-1938) vì nghèo, vì bị áp bức nên đã cùng vợ và sáu đứa con nhỏ xuống ghe, tìm đất khác sinh sống.
Buổi đầu, ông Chín Giỏi đến tá túc trên đất của một người bà con ở Gia Hội (Bạc Liêu). Sau 9 tháng đi làm mướn cật lực mà không đủ ăn, gia đình ông lại phải dời sang Xà Phiên (nay thuộc Long Mỹ, tỉnh Hậu Giang), khẩn hoang làm ruộng.
Khoảng một năm sau, hơn 40 công đất, nhờ khó nhọc mới có được, bị địa chủ chiếm lấy. Nhờ người giới thiệu, gia đình ông Chín Giỏi dọn về Họng Chàng Bè (Giá Rai, Bạc Liêu) để tiếp tục khẩn hoang, nhưng rồi số đất này về sau cũng về tay người khác.
Xót cảnh trắng tay của ông Giỏi, hương sư Chơn ở làng Vĩnh Lợi tổng Thạnh Hòa, cho ông cất một căn chòi lá ở trên đất công điền gần chùa Vĩnh Phước An (nay thuộc phường 2, thị xã Bạc Liêu). Ở đó, vợ chồng ông và các con phải đi làm thuê, đi câu để chạy ăn từng bữa.
Hòa thượng Minh Bảo (? - 1912), trụ trì chùa Vĩnh Phước An, thấy gia đình ông Chín Giỏi vất vả quá mà không đủ ăn, nên đề nghị cho Cao Văn Lầu, lúc đó mới 8 tuổi, vào chùa ở để chia sẻ gánh nặng. Kể từ đó chú bé Lầu, vừa kinh kệ, vừa được nhà sư dạy chữ Nho.
Năm 1903, nhờ cha đến xin, Cao Văn Lầu được phép trở về nhà để học chữ Quốc ngữ. Nhưng chỉ học đến "lớp nhì năm thứ hai" (Cours moyen 2e année) tức lớp 4 ngày nay, thì ông Lầu phải thôi học vì nhà gặp thêm cảnh khó: anh đi ở rể, chị lấy chồng, cha già yếu... Vậy là, năm 17 tuổi, Cao Văn Lầu phải thay cha và anh chị đi làm những việc nặng nhọc để nuôi gia đình.
Lúc bấy giờ tại xóm Rạch Ông Bổn có một thầy đàn nổi tiếng tên Lê Tài Khí, tục gọi Hai Khị hay Nhạc Khị. Ông thầy này bị mù cả hai mắt thêm có tật ở chân, nhưng ngón đàn của ông thật điêu luyện.
Năm 1908, Cao Văn Lầu nhờ cha dẫn đến thầy Hai Khị để xin học đàn mỗi đêm. Nhờ yêu thích và siêng năng, ông mau chóng sử dụng thành thạo các loại nhạc cụ như đàn tranh, cò, kìm, trống lễ; và trở thành một nhạc sĩ nồng cốt trong ban cổ nhạc của thầy.
Năm 1912, ông bắt đầu đi hát với Sáu Thìn và cô Phấn với bài Tứ đại oán Bùi Kiệm thi rớt.
Năm 23 tuổi (1913), Cao Văn Lầu vâng lệnh cha mẹ đi cưới vợ, đó là cô Trần Thị Tấn (1899-1967), một cô gái nết na ở điền Tư Ô (Chung Bá Khánh).
Khoảng thời gian này, ông sáng tác được một bản ngắn mang tên Bá điểu, sau đổi lại Thu phong, gồm tám câu nhịp bốn. Sau nữa, bản nhạc này được soạn giả Trịnh Thiên Tư đặt thêm lời ca và có tên mới là Mừng khi gặp bạn.
Vợ ông đã ba năm mà vẫn chưa có dấu hiệu thai nghén, theo tục xưa, cha mẹ buộc ông phải trả vợ về nhà cha mẹ ruột.
Không thể trái lời, ông đành trả vợ về bên ngoại nhưng hễ có dịp chơi đờn ở đám tiệc là ông ghé về thăm vợ, có bao nhiêu tiền ông đưa cho bà hết. Tiễn ông về, bà phải nhìn cho đến khi bóng ông khuất dạng mới thôi. Thời gian đó, mỗi đêm người ta lại thấy ông Sáu Lầu ngồi ôm đờn thẫn thờ và không lâu sau Dạ cổ hoài lang ra đời.
Do quá nhớ thương, thi thoảng vợ chồng ông vẫn lén lút gặp nhau. Sau, vợ ông thụ thai, hai người lại được xum họp. Sau đó hai ông bà sinh được 7 người con (5 trai, 2 gái).
Năm 1917, ông sáng tác thêm một khúc gồm 22 câu, theo một chủ đề của thầy Nhạc Khị đề xướng là "Chinh phụ vọng chinh phu" (chủ đề được rút ra từ bản Nam ai "Tô Huệ chức cẩm hồi văn") nhưng chưa kịp sửa chữa và trình thầy thì gặp nghịch cảnh đau lòng.
Khoảng một năm sau, trong tâm trạng nhớ thương vợ, bản nhạc trên được đem ra soạn lại. Nghe bạn đồng môn tên Ba Chột góp ý, ông bỏ bớt 2 câu trùng lắp, bài nhạc còn chẵn 20 câu nhịp đôi.
Bàn thờ Cao Văn Lầu trong khu lưu niệm trên
Tết Trung thu năm Mậu Ngọ (15 tháng 8 âm lịch, nhằm ngày 19 tháng 9 năm 1918), ông cùng các bạn đến thăm thầy, luôn tiện trình bày bản nhạc chưa có tên trên. Nghe xong, thầy Nhạc Khị hết sức khen ngợi.
Đêm đó có nhà sư Nguyệt Chiếu cùng tham dự, thầy Nhạc Khị liền nhờ nhà sư đặt tên cho bản nhạc. Nhà sư nói:"... tuy nhạc và lời ca còn vài điểm bất nhất, nhưng cái chung vẫn diễn tả được tâm tư của nàng Tô Huệ. Vậy cứ theo tích này mà đặt tên cho bài là "Dạ cổ hoài lang" (Nghe tiếng trống đêm nhớ chồng). Kể từ đêm đó, bài ca này được loan truyền nhanh chóng.
Năm 1919, ông Lầu làm nhạc công trong gánh hát cải lương của Ba Xú (Bạc Liêu).
Cách mạng tháng Tám thành công, ông tham gia Mặt trận Liên Việt ở ấp Vĩnh Phước, xã Vĩnh Lợi, tỉnh Bạc Liêu.
Năm 1947, ông nhận nhiệm vụ đặc biệt là cứu một số cán bộ bị thực dân Pháp bắt, và đã cứu được.
Từ 1918 đến năm 1974, ngoài bản "Dạ cổ hoài lang", mà sau này phát triển thành bản "vọng cổ", làm thay đổi một phần bộ mặt cải lương; ông Cao Văn Lầu còn sáng tác thêm 10 bản nữa, nhưng đa phần chỉ lưu hành ở Bạc Liêu.
Ông mất lúc 13 giờ ngày 13 tháng 8 năm 1976 tại Thành phố Hồ Chí Minh.