W latach 1849-50 w ramach przebudowy Cytadeli, po jej północnej stronie, nad Wisłą, wybudowano nieistniejącą już Baterię Nadbrzeżną. Nazywano ją Fortem Norberta. Było to początkowo dzieło zimne, które doczekało się modernizacji budowlami ceglanymi.

Bateria powstała jako dzieło ziemne. W latach 1864-74 doczekała się modernizacji elementami ceglanymi. Strona zachodnia powstała jak typowe czoło ówczesnych fortów wokół cytadeli, czyli fosa z centralnym kojcem skarpowym - dokładnie takim samym jak istniejący jeszcze na forcie Traugutta. Strona północno-wschodnia powstała jako ceglana działobitnia, a służąca do ostrzału na północ i w stronę Wisły. Całość otoczona została suchą fosą a od strony szyjowej murem z pojedynczą bramą

Bateria nie podlegała rozkazowi z 1909 roku o likwidacji twierdzy w Warszawie. Przetrwała więc I Wojnę Światową bez zniszczeń.

W okresie międzywojennym w forcie planowano umieścić muzeum wojskowe, roboczo nazywane "muzeum w fosie". Na planach z roku 1926 kazamaty fortu opisane są jako Warsztat Rozbrajania Amunicji i połączone są linią kolejki wąskotorowej z magazynami wewnątrz cytadeli.

W 1921 roku Bateria Nadbrzeżna otrzymała imię gen. Franciszka Rymkiewicza, obrońcy Warszawy z okresu powstania kościuszkowskiego oraz dowódcy II legii we Włoszech. Niestety nie na długo gdyż w latach międzywojennych obiekt został rozebrany przygotowując miejsce na zabudowę mieszkaniową Żoliborza. Bateria istniała jeszcze w 1935 roku - widoczna jest na planie lotniczym Warszawy.

Po II wojnie obszar baterii został do końca oczyszczony i zniwelowany. Na uzyskanym w ten sposób terenie przystąpiono do budowy osiedla "Kępa Potocka". Dzisiaj po baterii nadbrzeżnej nie ma już żadnego śladu.