למרות תנאי הקיום הקשים בו, מעולם לא היה מדבר יהודה ריק מיישוב. משמעות המונח "מדבר" (שמקורו באכדית) היא אזור שבו רועים את הצאן ולא אזור צחיח וחסר מקורות מחיה. ואכן, למרות תנאי הקיום, בכל התקופות, בין אם התנהלו החיים במדבר יהודה על פי צרכי היישוב והאינטרסים המדיניים, היה המדבר אזור מקלט לנרדפים ולפליטי החברה אשר נמלטו בשל חילוקי דעות דתיים או פוליטיים וחברתיים.

בתקופה הביזנטית היו אלה הנרדפים בשל דתם או אלה שבחרו להתנזר ממנעמי החברה ולהתרחק מהמולת העיר הגדולה.מדבר יהודה היווה מוקד משיכה רב . בו הקימו מנזרים רבים, רובם במערבו של המדבר. הידועים ביותר: קסר אבו לימון, חירבת תינה סמוך למעלה עמוס, מנזר תיאודוסיוס (סמוך לאל-עוביידיה – ליד בית לחם), מנזר רואבי ודיר מוכליך (מנזר תיאוקטיסטוס) בנחל אוג, מנזר פרן בנחל פרת, מנזר סוקה בנחל תקוע (את שני האחרונים הקים הנזיר חריטון), מנזר סן פירמין בנחל מכמש, הקפלה עליליאת א-סיק בואדי מכוך, הקפלה של סוזכים (אל קוסיר) – גם היא בנחל תקוע, מנזר אבטימוס (עליו יש שרידי חאן מהתקופה הערבית) באזור התעשייה מישור אדומים ,ואת מנזר המרסבא של סבאס תלמידו של אבטימיוס.  והלאורה הענקית בהר כנוב (סמוך לסעיר), המזוהה עם ה"נאו לאורה" המוזכרת במקורות עתיקים רבים.