W latach 1849-50 w ramach przebudowy Cytadeli, po jej północnej stronie, nad Wisłą, wybudowano nieistniejącą już Baterię Nadbrzeżną. Było to początkowo dzieło zimne, które doczekało się modernizacji budowlami ceglanymi.

Bateria powstała jako dzieło ziemne. W latach 1864-74 doczekała się modernizacji elementami ceglanymi. Strona zachodnia powstała jak typowe czoło ówczesnych fortów wokół cytadeli, czyli fosa z centralnym kojcem skarpowym - dokładnie takim samym jak istniejący jeszcze na forcie Traugutta. Strona północno-wschodnia powstała jako ceglana działobitnia, a służąco do ostrzału na północ i w stronę Wisły. Całość otoczona została suchą fosą a od strony szyjowej murem z pojedynczą bramą

Bateria nie podlegała rozkazowi z 1909 roku o likwidacji twierdzy w Warszawie. Przetrwała więc I Wojnę Światową bez zniszczeń.

W 1921 roku Bateria Nadbrzeżna otrzymała imię gen. Franciszka Rymkiewicza, obrońcy Warszawy z okresu powstania kościuszkowskiego oraz dowódcy II legii we Włoszech. Niestety nie na długo gdyż w latach międzywojennych obiekt został rozebrany przygotowując miejsce na zabudowę mieszkaniową Żoliborza. Bateria istniała jeszcze w 1935 roku - widoczna jest na planie lotniczym Warszawy. Po II wojnie obszar baterii został do końca oczyszczony i zniwelowany. Na uzyskanym w ten sposób terenie przystąpiono do budowy osiedla "Kępa Potocka". Dzisiaj po baterii nadbrzeżnej nie ma już żadnego śladu.