Tổng đốc Phương tên thật Đỗ Hữu Phương, từng được xem là tỷ phú giàu thứ hai trong tứ đại phú Sài Gòn xưa. Ông nhiều lần sang Pháp du ngoạn, đi thăm thú thủ đô không ít nước châu Âu và đi vòng quanh thế giới. Ông ở trong tòa nhà được xem là to nhất nhì Sài Gòn, nằm trên bờ kênh Xếp và sau này con đường ấy được đặt tên Tổng đốc Phương.
Gia sản của tỷ phú giàu thứ 2 Sài Gòn phải thuê gia nhân chuyên đếm tiền
Có một ngôi từ đường cổ hơn 100 tuổi ở quận 3, TP.HCM mà người ta gọi đó là Đỗ Hữu Từ đường. Đây chính là nơi thờ tự dòng họ Đỗ Hữu, còn gọi là đền Tổng đốc Phương hay đền Bà Lớn (tên vợ Tổng đốc Phương).
Biết tiếng Hán và tiếng Pháp, Đỗ Hữu Phương tìm cách ra làm việc với Pháp vì rất chuộng văn hóa hiện đại. Sau khi chiếm được thành Chí Hòa năm 1861, Pháp mở cửa thương mại và mở rộng mối quan hệ với người Hoa trong vùng để phát triển buôn bán vì thế ông Phương được tuyển dụng nhờ người quen giới thiệu.

Dù làm việc cho Pháp nhưng chủ trương của ông Phương là không gây thù chuốc oán, cho nên ngay cả trong trường hợp không dụ hàng được mà phải đưa quân đánh dẹp, sau đó Đỗ Hữu Phương lại đứng ra che chở và xin chính phủ Pháp ân xá cho những người Việt tham gia khởi nghĩa.
Nhờ cách hành xử như vậy cho nên dù bị ghét vì theo Pháp nhưng nhiều người vẫn cho rằng Đỗ Hữu Phương là người hiền.
Trong quá trình làm việc, Đỗ Hữu Phương được thăng làm đốc phủ sứ Vĩnh Long, tổng đốc danh dự, rồi làm phụ tá Xã Tây Chợ Lớn, dân gian quen gọi là Tổng đốc Phương. Năm 25 tuổi, ông được phong làm hộ trưởng ở Chợ Lớn.
Dù chức vụ không quá lớn nhưng thiên hạ đồn rằng chức vụ này giúp ông Phương trở thành trung gian cho các thương gia Hoa kiều hối lộ viên chức Pháp, nhờ vậy thu rất nhiều tiền của trong các phi vụ làm ăn
Nhiều người lại kể lại rằng, nhờ giao thiệp rộng, lại nhanh nhạy với việc làm ăn buôn bán nên ông Phương đã gây dựng, mở mang các mối làm ăn thông qua các chuỗi cửa hiệu trong vùng Chợ Lớn.
Ông Phương có người vợ họ Trần (không rõ tên) là con của một viên tri phủ miền Trung. Bà là người rất giỏi giang trong việc quán xuyến nhà cửa và buôn bán. Mình bà cai quản hơn 2.000 mẫu ruộng do Toàn quyền Doumer cho khẩn trưng ruộng đất. Bà còn điều hành hệ thống buôn bán, phân phối hàng hóa cả ngàn cửa hiệu trong vùng. Hai vợ chồng ông Phương phất lên đến nỗi thiên hạ đồn gia đình có gia nhân chuyên đếm tiền vì tiền thu vào nhiều quá, bà vợ không thể đếm xuể.
Ông Phương cong xây dựng nên Nghĩa Nhuận hội quán trên đường Gò Công, Trường Collège de Jeunes Filles Indigènes tức Trường nữ Trung học Sài Gòn, sau này gọi là Trường Áo Tím, Gia Long, nay là Trường THPT Nguyễn Thị Minh Khai. Ngoài ra ông ta cũng bỏ nhiều tiền tu bổ rất nhiều chùa chiền miếu mạo quanh vùng.
Cuộc sống phong lưu du lịch khắp thế giới
Danh vọng và tiền bạc đều có đủ, Đỗ Hữu Phương sống phong lưu, thụ hưởng bằng nhiều chuyến du ngoạn đây đó khắp thế giới. Ông nhiều lần đặt chân đến Pháp, đi thăm thú thủ đô nhiều nước châu Âu và du ngoạn vòng quanh thế giới.
Trong danh sách các hành khách đi tàu Anadyr từ Sài Gòn đến Marseille ngày 29/4/1889 có tên ông cùng với hai người con. Trong chuyến đi này, ông tham gia Hội chợ kỷ niệm 100 năm cách mạng Pháp và sau này góp phần tổ chức khu triển lãm Đông Dương ở Hội chợ quốc tế Paris năm 1900.
Căn nhà Đỗ Hữu Phương sống được xem là to nhất nhì Sài Gòn, nằm trên bờ kênh Xếp (sau này lấp thành đường gọi là đường Tổng đốc Phương, nay là Châu Văn Liêm). Bề ngoài nhà kiểu Tây nhưng bên trong nội thất theo kiểu Việt và Trung Hoa.

Trong nhà mình, ông Phương có xây cả một rạp hát để chiêu đãi khách khứa. Nơi ông giao lưu với bạn bè Pháp- Việt cũng phỉa là các nhà hàng, khách sạn sang trọng như: khách sạn Continental ở Sài Gòn và Café de la Paix,…

Bá tước Pierre Barthélemy kể lại về ngôi nhà này sau 1 chuyến viếng thăm: “Nhà ông là một sự pha trộn lạ kỳ giữa Âu và Á. Sân trong thiết kế theo kiểu Trung Hoa, chung quanh sân là các phòng kiểu An Nam mà một phòng salon ở tận trong rất đáng chú ý.
Đối diện với salon này là một biệt thự kiểu Âu. Bàn thờ trong phòng salon An Nam này là một công trình tuyệt diệu nổi tiếng, bàn thờ được cẩn xà cừ. Những cột nhà làm bằng gỗ teck rất quý, trụ mái nhà của phòng salon này trông rất thanh tao và trên một bàn làm bằng gỗ quý là những chai rượu absinthe, amer Picon và những sản phẩm của Pháp khác.
Ông Phủ thích đãi khách các đồ ăn đặc biệt và ông ta cũng biết thưởng thức các loại rượu của chúng ta. Nếu phải diễn tả hết tất cả sự giàu sang của nội thất An Nam này thì phải viết rất nhiều trang giấy…”.
Đỗ Hữu Phương còn được biết đến như một người giao thiệp rộng, hiếu khách, hào phóng và sành điệu mà chính Toàn quyền Paul Doumer cũng phải kể lại trong hồi ký: “Ông Phủ ở Chợ Lớn tiếp khách người Âu trong nhà ông, mời uống rượu Champagne và bánh petits beurres de Nantes, cho khách xem một vài sản phẩm đặc thù lạ kỳ của người An Nam và tổ chức theo sự đòi hỏi, ước muốn của khách, xem một tuồng hát của người bản xứ (hát bội)…”.