Sau thất bại trong nỗ lực chiến đấu chống lại quân đội Pháp xâm lược Nam Kỳ, ngày 5/6/1862 Phan Thanh Giản và Lâm Duy Hiệp đã ký hòa ước Nhâm Tuất nằm tạm hoãn cuộc chiến. Đây chính là hòa ước bất bình đẳng đầu tiên của Việt Nam ký với Pháp, mở đầu cho thời đại thuộc địa từ nửa đầu thế kỷ 19 đến nửa đầu thế kỷ 20 trong lịch sử Việt Nam.
Điều 3 của Hòa ước quy định:
“Ba tỉnh miền đông là Biên Hòa, Gia Định, Định Tường, và đảo Côn Lôn sẽ nhượng cho nước Pháp. Hơn nữa không được làm trở ngại tàu nhỏ và tàu lớn của Pháp từ ngoài biên vào mượn đường thủy của Đại Nam để buôn bán với Cao Miên; cũng phải để cho pháo thuyền và hạm đội Pháp được tự do chạy vào các con sông của Đại Nam đang thám hiểm”. Lễ kí kết Hòa ước Nhâm Tuất năm 1862
Mặc dù đã mất các tỉnh, tuy nhiên, vì Nam Kỳ vốn là nơi mà các chúa Nguyễn đã khai nghiệp nên họ vẫn muốn chuộc lại chúng.
Tháng 2/1863, Thiếu tướng Bonard đã về Pháp. Thiếu tướng De la Grandière sang thay, vua Tự Đức bèn nghĩ tới việc phải sang nước Pháp để thương thuyết mới mong có kết quả. Nghĩ vậy, vua Tự Đức cho Thiếu tướng De la Grandière biết ý định sẽ phái sứ bộ sang Pháp, nhưng lại nói rằng là để đi đáp lễ vua Napoléon III. Dẫn đầu sứ bộ là Toàn quyền Chánh sứ Phan Thanh Giản.
Trước khi đi, vua Tự Đức có hỏi: “Nếu như khanh vẫn bị bắt buộc phải nhượng ba tỉnh, khanh sẽ xử trí làm sao?” Phan Thanh Giản tâu: “Thần sẽ cân nhắc từng sự lợi hại. Chừng ấy, nếu như cuộc thương thuyết thất bại, thần sẽ liệu đòi được quyền lợi nào thì đòi. Kết quả của cuộc thương thuyết tại Pháp tùy theo ý định của chính phủ Pháp. Thần không dám hứa trước, miễn là cố sức làm tròn sứ mạng của hoàng thượng trao phó cho thần”.
Sứ bộ Phan Thanh Giản gồm có 60 người, dẫn đầu là Chánh sứ Phan Thanh Giản, Phó sứ Phạm Phú Thứ và Bồi sứ Ngụy Khắc Đản xuống tàu “Européen” ngày 4 tháng 7 năm 1863. Nhưng khi đến Alexandria (Ai Cập), họ phải chuyển qua chiếc “Labrador” trước khi đến cảng Toulon (miền Nam Pháp).
Sử chép lại rằng: Thời bấy giờ, Hải quân Pháp chào mừng Sứ bộ Phan Thanh Giản bằng 17 phát thần công. Các chiến thuyền đậu tại hải cảng Toulon, đều có treo cờ Đại Nam. Đại tá Aubaret, ở Bộ Ngoại giao, biết tiếng Việt, đứng ra làm phiên dịch khi nhà cầm quyền Pháp xuống tàu tiếp rước Sứ bộ. Rồi chiều hôm ấy, Sứ bộ tới Marseille cũng do tàu “Labrador” đưa đến. Ngụy Khắc Đản, Phan Thanh Giản và Phạm Phú Thứ
Sứ bộ tạm nghỉ ở Marseille một đêm, qua ngày sau mới lên Paris. Khi lên Paris, Phan Thanh Giản mới biết là Hoàng đế Napoleon III còn ở Biarritz, tháng sau mới về Paris. Ông quyết định tranh thủ thời gian này để đàm phán với Bộ Ngoại giao Pháp. Đầu tiên, ông nói về sự vui mừng của mình khi được tới nước Pháp, sau đó ông bàn về việc chuộc lại ba tỉnh miền Đông Nam Kỳ.
Ngày hôm sau, báo chí Pháp đưa tin: “Vua Tự Đức bằng lòng mua lại ba tỉnh miền Đông Nam kỳ với một số bạc 85 triệu và bằng lòng nhượng luôn thành Sài Gòn cho Pháp”. Tờ “Indépendance Belge” của Bỉ cũng khẳng định điều này.
Đó là dư luận ở Pháp. Còn ở Việt Nam?
Các tài liệu ở Việt Nam ghi chép: Sứ thần Phan Thanh Giản rất cẩn thận từ hành vi tới ngôn ngữ khi đàm phán tại Bộ Ngoại giao. Ông chẳng hề nói gì về sự chuộc ba tỉnh miền Đông với giá 85 triệu, nói gì việc giao thành Sài Gòn cho Pháp?
Theo suy luận của Huỳnh Thúc Kháng, sự hiểu lầm ấy xảy ra là do người phiên dịch của Sứ bộ đã diễn đạt sai lời nói của Phan Thanh Giản. Sau này chính phiên dịch viên ấy lại diễn đạt không hết phản hồi của Hoàng đế Napoleon III, khiến cho cuộc đàm phán thất bại hoàn toàn.
Phiên dịch viên ấy là ai? Đó là Trương Vĩnh Ký - một nhân vật còn nhiều tranh cãi.Trương Vĩnh Ký
Năm 1867, lợi dụng tình hình hỗn loạn, người Pháp đã chiếm nốt ba tỉnh miền Tây Nam Kỳ, chính thức biến khu vực này thành thuộc địa.