Při prodeji houseckého panství v roce 1432 je uvedeno, že k hradu Houska náleží na Nedvězí (na Medvěziem) poplužní dvůr. Roku 1615 odkupuje Berka z Dubé zpět rodové državy a ve výčtu majetku je zmíněna i ves Nedvězí (Nedvěstka).
Nedvězí velmi utrpělo za 30leté války, ale již roku 1790 stálo v osadě 24 domů. Nejvíce obyvatel zde žilo v roce 1843, a to 165. Důležitým zdrojem obživy bylo pěstování ovoce, na které upomínají dvě skalní sušárny pod Nedvězím, jedna datovaná rokem 1815, ale především se zde, jako na celém Dubsku, pěstoval chmel - Dubský zelenáč.
V 19. století se správní obcí pro Nedvězí, Heřmánky u Dražejova, Kluk a Švihov stal Dražejov, kde byla škola a posléze obecní úřad. Spolu s Osinalicemi, Zakšínem a Bukovcem tyto vsi náleží pod farní správu farnosti Deštná. Ve 30. letech 20. století na základě sčítání je zaznamenáno na Nedvězí 18 domů a 84 obyvatel, všichni německé národnosti. Po II. světové válce po odsunu německého obyvatelstva se dosídlení nezdařilo a z Nedvězí se stala převážně rekreační osada. Teprve v posledních letech přibývají trvale bydlící obyvatelé.
K Nedvězí náleží domy samoty Ludvíkův Hřeben. Nedaleká samota Kukačka, pojmenovaná podle původního majitele jménem Kukuck, a lokalita zvaná Vernerovka (Wernerovka) s bývalou hájovnou a vysekanou prostorou ve skalním bloku již leží za hranicí Libereckého kraje a jsou historicky součástí Osinalic.
Nedvězí má jediný přirozený veřejný pramen vody na východním úpatí kopce, některé domy jsou zásobovány vodou ze soukromých vrtů, a to z hloubky okolo 150 m. Z mnoha dobře zachovalých objektů lidové architektury jsou památkově chráněná čp. 8, 12, 14 a 22, dokládající krásu roubených podstávkových domů. U čp. 24 roste památná lípa malolistá, 300 let starý strom dosáhl výšky 30 m s obvodem kmene 440 cm.
V 19. století stával v centru obce velký dřevěný kříž s Kristem, malovaným na plechu, který se nedochoval.
Ke zděné kapličce se zvoničkou bývala přistavěna malá požární zbrojnice, odstraněná v roce 2015 při opravě kapličky. Výklenková kaplička ve skalní stěně u silnice, vybudované v 80. letech 19. století, je zasvěcená Panně Marii. U původní staré cesty se nachází výklenková kaplička se starodávnými letopočty, na počátku obce stojí kaplička z roku 1925 a při cestě k Ludvíkovu Hřebeni půvabná Boží muka. Nedaleko pramene střeží cestu kříž na kamenném podstavci, původně zde, podle F. Bernaua, stával malý pomník císaře Josefa. Z Nedvězí pocházel jeden z významných českolipských puškařů Peter Wenzel Mattauch, narodil se v domě čp. 4 v roce 1816.
Osada Nedvězí, která se rozkládá na úpatí stejnojmenného vrchu (458 m), spadá spolu s okolní krajinou do CHKO Kokořínsko-Máchův kraj. Z vrchu Nedvězí, tvořeném trachytovým sukem, jsou mimořádné dálkové rozhledy. Na tomto vrcholku stával až do 30. let 20. století dřevěný kříž s plechovým Kristem, v tu dobu vznikl plán na výstavbu rozhledny, který se ale neuskutečnil. Na vrcholu také stávaly od 19. století různé stožáry, triangulační věž, za II. světové války protiletecká hláska a posléze pod vrcholem kovový stožár telekomunikací, odstraněný v 90. letech 20. století. Dřevěná budova hlásky vyhořela v roce 1960. Stožár na vrcholku hrál také v 19. století důležitou roli v tak zvané „modré loterii“, kdy tažená čísla byla vysílána z kopce na kopec mezi Prahou a Žitavou.
Kruhový rozhled z vrcholu Nedvězí se řadí k nejkrásnějším v Čechách, dohlédnout lze na Ještěd, Jizerské a Lužické hory, Krkonoše, na České středohoří a dokonce i na část Krušných hor. V blízkém okolí Nedvězí nalezneme různé skalní útvary, z nichž nejvýraznější je Věž u Nedvězí nedaleko Ludvíkova Hřebene. Skalní útvar tvoří pískovec, zpevněný železitým tmelem, nedaleko byl vytvořen pietní památník horolezců.
Půvabná stará skalní cesta od Dražejova, které odbočuje ze současné silničky, vede přes vřesový porost mezi borovicemi ke kamenné plošině, nazývané Řipská vyhlídka.
Krása tohoto koutu Čech odedávna láká romantiky a milovníky přírody, a rozmanitá krajina vybízí své obdivovatele k návratům.
První informační cedule byla vyrobena v roce 2016 a byla vzorem pro projekt Dubské Švýcarsko. Kvůli opotřebení a prasklině byla v roce 2024 aktualizována a vyrobena nová.