Setelah turun ke dunia ini, para dewa telah menciptakan serikat di mana para petualang dapat menguji keberanian mereka. Serikat ini, yang dikenal sebagai “familia”, memberikan kesempatan kepada para petualang untuk menjelajah, berkumpul, berburu, atau sekadar bersenang-senang.
Dungeon ni Deai wo Motomeru no wa Machigatteiru Darou ka Gaiden: Sword Oratoria dimulai di Orario, kota petualangan yang hidup. Putri Pedang, Ais Wallenstein, dan penyihir pemula, Lefiya Viridis, adalah anggota Loki Familia, yang ahli dalam berburu monster. Bersama anggota kelompoknya, mereka melakukan perjalanan ke Menara Babel dengan harapan dapat menjelajahi ruang bawah tanah di bawahnya. Rumah bagi monster-monster yang kuat, penjara bawah tanah ini akan memenuhi keinginan Ais untuk menguasai keterampilan pedangnya, sekaligus membawa Lefiya lebih dekat dengan mimpinya untuk menggantikan Riveria Ljos Alf, wakil kapten Loki Familia, sebagai penyihir terkuat di negeri itu.