GS Hoàng Tụy quê ở xã Điện Quang, huyện Điện Bàn, tỉnh Quảng Nam. Lúc nhỏ ông học tiểu học ở trường làng, sau đó học trung học phổ thông ở Huế. Khi đang học, ông bị ốm nặng, phải về nhà chữa bệnh và tự học tiếp. Trở lại trường, ông “nhảy cóc” 2 lớp và thi đỗ đầu tú tài ban toán năm 1946.
Những năm đầu kháng chiến chống Pháp, ông dạy học ở trường Lê Khiết tại Quảng Ngãi, ngôi trường dành cho học sinh trung học ở Khu 5. Nghe tin GS Lê Văn Thiêm từ châu Âu về nước tham gia kháng chiến, xây dựng trường Khoa học Cơ bản tại chiến khu Việt Bắc, GS Hoàng Tuỵ xin thi vào học. Đề thi được gửi từ Việt Bắc vào theo đường giao liên mất cả tháng mà ở Khu 5 chỉ có một thí sinh dự thi duy nhất là GS Hoàng Tuỵ. Sau đó bài thi lại được gửi ra Việt Bắc để chấm. GS Hoàng Tuỵ thi đỗ, nhưng khi đến Việt Bắc, người ta thấy trình độ ông đã vượt quá chương trình học nên phân công ông dạy trung cấp sư phạm. Có lẽ ông đã tự học thêm kiến thức đại học khi dạy học ở Quảng Ngãi.
Hoà bình lập lại, ông dạy toán ở Trường Đại học Tổng hợp mà chưa có bằng tốt nghiệp đại học. Năm 1959, ông là một trong vài người được cử sang Liên Xô thực tập với mục đích bồi dưỡng thêm kiến thức. Ông đã chọn làm việc với một trong những giáo sư đầu ngành Giải tích của Nga lúc bấy giờ. Chỉ sau một năm ông đã đạt được nhiều kết quả nghiên cứu xuất sắc và được đề nghị ở lại thêm một thời gian để bảo vệ luận án tiến sĩ.
Nhiều người có thể tự hỏi một người chỉ có bằng tốt nghiệp trung học mà lại ở trong “rừng” lâu như vậy thì làm thế nào có thể biết tiếng Nga và những kiến thức toán học tân tiến. Những ai biết con người ông sẽ thấy những chuyện ấy không có gì là lạ vì cuộc đời khoa học của ông toàn những chuyện “nhảy cóc” như vậy.
Trở về nước, GS Hoàng Tuỵ làm chủ nhiệm khoa Toán của trường Đại học tổng hợp. Ông tham gia giảng dạy rất nhiều chuyên ngành Toán không đúng chuyên môn và bài giảng của ông luôn thu hút sinh viên vì vốn kiến thức uyên bác của mình. Chắc là ông đã đọc rất nhiều và sự đọc của ông không chỉ để biết mà phải suy ngẫm rất nhiều để có thể hiểu được cái “hồn” của những chuyên ngành khác.
Đầu những năm 60 cũng là những năm ra đời chuyên ngành tối ưu. Nhận thấy rằng đây là một chuyên ngành có nhiều ứng dụng trong thực tiễn, ông quyết định tự mình tìm hiểu chuyên ngành này. Nhờ thói quen tự học nên chỉ sau một thời gian ngắn ông đã giải quyết được một bài toán khó và cơ bản của chuyên ngành tối ưu, đánh dấu sự ra đời của lý tuyết tối ưu toàn cục. Phương pháp ông đưa ra được giới chuyên môn quốc tế sau này gọi là “nhát cắt Tuỵ”. Đây có lẽ là khái niệm khoa học đầu tiên mang tên một người Việt Nam. Sự nghiệp khoa học của GS Hoàng Tuỵ từ đó trở đi gắn liền với chuyên ngành tối ưu. Đã có hai trường đại học quốc tế phong ông bằng tiến sĩ danh dự vì những đóng góp của ông cho ngành tối ưu toàn cục.
Đầu những năm 80 GS Hoàng Tuỵ quan tâm nghiên cứu lý thuyết hệ thống cũng là một lý thuyết toán học mới lúc bấy giờ. Ông thuyết phục chính phủ cần phải đưa lý thuyết hệ thống vào trong việc điều hành đất nước. Nhà nước đã thành lập Trung tâm phân tích hệ thống tại Viện nghiên cứu quản lý kinh tế trung ương do ông kiêm nhiệm điều hành. Tuy Trung tâm đã không thúc đẩy được việc đưa lý thuyết hệ thống vào trong thực tiễn do nền kinh tế bao cấp nhưng nó đã góp phần cho xã hội thấy tầm quan trọng của toán học trong đời sống.
Cuộc đời của ông là một sự phấn đấu không ngừng nghỉ đi tìm những hướng phát triển mới. Cho đến nay, ông đã viết 4 cuốn sách chuyên khảo đều do các nhà xuất bản hàng đầu thế giới phát hành. Ông thường xuyên là một trong những người có số công bố khoa học nhiều nhất hàng năm ở Viện Toán học, kể cả khi đang làm Viện trưởng và ngay cả khi đã trên 80 tuổi. Bài báo cuối cùng của ông công bố năm 2018, lúc ông 91 tuổi.