El paralelo de Punta Gorda es considerado el kilómetro cero del Río de la Plata, de acuerdo al Tratado del Río de la Plata de 1973. Allí desembocan el Río Uruguay y Paraná.
Son impresionantes los atardeceres reflejados en las aguas de ambos ríos. Y es un excelente pesquero, con buen pique de tarariras, pejerreyes y surubíes. Su historia se remonta a 1516 cuando arriba el primero europeo, el navegante español Juan Díaz de Solís, buscando un paso que comunicara el Océano Atlántico con el Océano Pacífico. Al desembarcar en el paraje hoy conocido como Punta Gorda con algunos de sus tripulantes, Solís y los suyos fueron atacados por un grupo de aborígenes, posiblemente de etnia charrúa o guaraní, que los asesinaron ante la mirada horrorizada del resto de los marinos. Un joven grumete, Francisco del Puerto, se quedó en la zona conviviendo con grupos originarios del lugar. El Monumento a los Descubridores, conocido como "Pirámide de Solís", recuerda a estos navegantes españoles descubridores del Río de la Plata.Durante la Guerra del Brasil (1825-1828), el Almirante Guillermo Brown instaló en Punta Gorda una batería de cañones con cuatro piezas sobre la barranca, siendo el inicio de las operaciones que culminarían en la gran victoria republicana el 8 y 9 de febrero de 1827 en el combate naval conocido como Batalla de Juncal, desarrollada en las inmediaciones de la isla Juncal frente a estas costas.
En 1833, como parte de su viaje en el barco de reconocimiento HMS Beagle (27 de diciembre de 1831 a 2 de octubre de 1836), Charles Darwin visitó Punta Gorda y encontró gran cantidad de fósiles en sus barrancas, destacándose las formaciones de Fray Bentos y de Camacho. En homenaje a Darwin se construyó una escalera en forma de caracol, conocida como la "Escalera de Darwin", donde se pueden apreciar las diferentes capas de la tierra estudiadas por el científico. En la parte norte de la barranca de Punta Gorda, a unos 25m de altura, se encuentra la "Batería de Rivera", una de las pocas fortificaciones artilladas que se conservan en Uruguay. Fue declarada monumento histórico nacional en 1976. Para los estrategas militares del siglo XIX instalar una batería en ese punto significaba controlar buena parte de la navegación fluvial de toda la región, ya que es allí donde el Río Uruguay forma una especie de garganta, por lo que el canal de navegación se acerca a la costa.La Batería está formada por un parapeto (muralla) con tres troneras de unos 15m de largo en total, alrededor de 1.5m de altura por casi 2m de ancho, construida en piedra. En la tronera del centro se conserva un cañón de hierro del tipo de 18 libras (como se lo conocía en la artillería del siglo XIX). Estos cañones podían llegar a disparar hasta más de 3km su bala de hierro. Las balas de cañón pesaban unos 8kg y tenían un diámetro de 15cm. En el Museo Municipal Prof. Lucas Roselli de Nueva Palmira se encuentran dos ejemplares de ese calibre halladas en Punta Gorda.Ver mapa más grande