Cụ thân sinh ra Xuân Oanh là người con thứ hai. Ông cũng chạy theo cha nhưng bị lạc ở ngay vùng mỏ than Hòn Gai. Lúc đầu ông xin làm phu mỏ cát ở Móng Cái, đến đầu những năm 1920 thì về Quảng Yên làm thợ may, lấy vợ, sinh con. Xuân Oanh là con thứ hai cũng là con trai đầu của ông. Khi Xuân Oanh được hơn 5 tuổi, mẹ ông sinh người con thứ ba thì bị hậu sản, mất luôn cùng người con mới sinh. Túng bấn cùng quẫn, Cha Xuân Oanh buộc phải gửi ông sang người cậu ruột làm nghề câu cá nuôi giúp cho tới khi ông đến tuổi đi học. Vậy nhưng, dù học rất giỏi, cái nghèo đã buộc ông phải nghỉ học sớm để đi làm. Đời làm công đưa ông tới với nhiều nghề, từ đúc kẽm, phu mỏ tới dạy học, đàn hát thuê. Chính điều này cũng giúp nuôi dưỡng chí phản kháng trong ông. Vì thế, khi gặp được những người đồng trang lứa có tư tưởng cấp tiến ở Hải Phòng như Nguyễn Đình Thi, Văn Cao, ông tìm ngay được sự "đồng cảm đầy lôi cuốn". Khi gặp lại Nguyễn Đình Thi ở Hà Nội ít năm sau, Xuân Oanh đã là một chàng trai sắp tuổi 20. Được bạn giác ngộ, cung cấp tài liệu nghiên cứu, năm 1944 Xuân Oanh chính thức gia nhập Mặt trận Việt Minh, được phân công làm công tác tuyên truyền cho mặt trận. Tháng 3/1947, ông được Chi bộ Mặt trận phía Nam Hà Nội kết nạp vào Đảng Lao động Việt Nam, 4 tháng trước khi người yêu và là vợ ông sau này cũng được Chi bộ Công an Quận 6 (Hà Nội) kết nạp vào Đảng.

Với Xuân Oanh, vào Đảng tức là ông có thêm điều kiện phục vụ Cách mạng tốt hơn. Lúc này, hoạt động Cách mạng liên tục đã dần biến Xuân Oanh từ một chàng thanh niên phản kháng hồn nhiên, vừa đi biểu tình giành chính quyền vừa viết và phổ biến để mọi người cùng đồng thanh hát vang bài "Mười chín tháng Tám" hừng hực khí thế thành một chiến sỹ chín chắn, hiểu rõ việc làm của mình và luôn tự học với ý thức cao nhất mọi kiến thức, kinh nghiệm để phục vụ Cách mạng. Có thể nói Xuân Oanh đã đến với Cách mạng với tất cả sự cuồng nhiệt, say mê, trong trẻo của một người yêu nước chân thành, một nghệ sỹ và một nhà khoa học bẩm sinh. Và, chính phẩm chất đó đã đưa ông vượt qua mọi thử thách, đôi lúc thực sự khắc nghiệt, ở mọi nơi, mọi lúc, nhất là những tháng năm hoạt động một mình giữa thủ đô các nước tư bản, để đến những ngày cuối đời vẫn có thể tự hào khẳng định lòng trung thành của mình với Đảng, với tổ chức qua việc từ chối viết hồi ký về gần 70 năm hoạt động cách mạng của mình, bất chấp lời mời hậu hĩnh từ nhiều nhà xuất bản nước ngoài và cả mong muốn của bạn bè, con cháu muốn lưu lại những kỷ niệm về cuộc đời sôi nổi, phong phú và đầy trải nghiệm của ông. Hơn thế nữa, ông còn luôn dõi theo bước chân của các con trai, con dâu mà ông rất đỗi yêu quý, mong mỗi đứa đều vững vàng bước chân trong đời và kiên định tiếp bước ông, bà. Ông luôn dặn các con: "Điều quan trọng là làm chủ được bản thân, không tham vọng và không hề ngạc nhiên trước những biến đổi, sống và làm việc vô tư, không ích kỷ, không bon chen, ganh tị, không nhìn người bằng con mắt thiếu thiện chí, như vậy sẽ luôn có hoà bình, yên ổn trong tư tưởng và cuộc sống".

Đó thực sự là cách sống, làm việc của Xuân Oanh trong suốt cuộc đời đi theo Cách mạng. Thuở nhỏ, ông sớm phải bỏ học để đi làm. Khi đã trưởng thành, trong suốt nhiều thập kỷ theo Cách mạng, ông cũng hầu như không được tạo điều kiện để đi học nâng cao trình độ bao giờ. Thường là ông nhường cơ hội đi học cho anh em cán bộ trẻ, nhưng hầu hết các dịp là vì ông phải có mặt để giải quyết công việc cơ quan. Chính vì hoàn cảnh đấy, Xuân Oanh phải luôn tự trau dồi bản thân thông qua nghe, đọc, trao đổi, tiếp xúc. Sức đọc của ông thật phi thường. Mỗi ngày ông có thể đọc hàng trăm trang sách, tài liệu bằng nhiều thứ tiếng. Và ông giữ thói quen này cho đến tận những năm tháng cuối đời. Thú vui tuổi già của ông không phải là trồng cây, nuôi chim, nuôi cá mà là đầu tuần ra các nhà sách ở Tràng Tiền mua hàng túi sách, băng, đĩa nhạc, phim về đọc, xem, nghe suốt tuần. Tiền lương hưu, tiền dịch sách, tiền con cháu biếu ông hầu như chỉ dành mua sách báo, văn hoá phẩm và thiết bị nghe, nhìn. Bạn bè quốc tế hễ có dịp cũng chỉ gửi sách các loại sang cho ông. Đọc đến đâu, ông lại chuyển cho bạn bè và các con đọc tiếp. Vì thế, dù cao tuổi nhất, ông thường lại là người "trẻ nhất" trong mọi cuộc đàm đạo về đời sống văn hoá, nghệ thuật, công nghệ thế giới, thậm chí cả về những bộ "chưởng" mới nhất, hay nhất...