V době Karlově ve 14. století zasáhlo město, tehdy ležící v těsné blízkosti řeky, několik povodní. Proto bylo jeho centrum přestěhováno o kus výše, přibližně do úrovně dnešního Masarykova náměstí v Děčíně. Tehdy mělo město právo obchodu, říční dopravy a rybolovu.