Максимальное количество файлов в папке Linux и Windows
Вопрос не из простых Сколько можно сохранить картинок в папке в Linux т.е. допустим у меня 9 000 000 000 000 000 000 картинок я создаю древовидную иерархию из папок у меня допустим 5 ветвей, ограничение на число файлов и папок в ветви 6179 тогда общее количество возможно загружаемых файлов равно 6179 в 5 степени и равно 9 007 224 264 576 426 899 т.е. BIGINT (почти из за округления) Теперь сам вопрос Как определить максимальное возможное число файлов в папке или папок в папке в Linux и тоже самое в windows для сравнения? Моя иерархия будет нормально работать? Что думаете по этому поводу?
Отслеживать
14k 33 33 серебряных знака 46 46 бронзовых знаков
задан 20 сен 2013 в 11:36
179 1 1 золотой знак 2 2 серебряных знака 13 13 бронзовых знаков
К чему вопрос вообще? причем тут SSH и SERVER? Почему сравниваются window и linux? Что было прочитано по поводу файловых систем?
20 сен 2013 в 11:48
— Мне почему-то кажется, что, если у вас 9 000 000 000 000 000 000 картинок и на сервере хватает места, чтобы хранить их, то нужно запихнуть их все в 1 pack-файл, построить индекс и добавлять новые элементы с конца. — Если вам при этом нужна возможность удаления существующих элементов, то осуществляйте отложенное удаление. Например, раз в месяц вы находите все картинки, которые точно можно удалить и атомарно перезаписываете весь pack-файл и индекс, удалив их. — И да, используйте любое готовое решение для этого, например, GridFS.
20 сен 2013 в 13:19
поменяй метод хранения, так, чтобы в папке хранилось не более N папок + файлов
20 сен 2013 в 13:22
м, я отстал от жизни и диски на эскабайты уже есть?
20 сен 2013 в 13:23
Теоретически ему нужно просто перейти на LVM, размещенную на нормальной СХД, но на практике, видимо ТС не может себе это позволить.
20 сен 2013 в 13:29
2 ответа 2
Сортировка: Сброс на вариант по умолчанию
В FAT32 максимальное количество файлов на логическом диске 4,194,304.
В NTFS максимальное количество файлов на логическом диске 4,294,967,295.
В ext4 максимальное количество файлов на логическом диске до 4,294,967,295 (указывается при создании ФС).
Отслеживать
ответ дан 20 сен 2013 в 11:53
23.4k 3 3 золотых знака 49 49 серебряных знаков 70 70 бронзовых знаков
8 миллионов терабайт (это 8 эксабайт), если только один файл — один байт.
Согласно википедии, общий объём цифровой информации, имеющейся на земном шаре в 2006 году, составил 161 эксабайт),
Но вот только большинство файловых систем выделяет как минимум 4 килобайта на файл, а это 32 тысячи эксабайт — немножко больше, чем существует во всем интернете :). Поэтому — «нет, не будет такая система работать».
С другой стороны, в линуксе (да и в видне) все сильно зависит от файловой системы, но по своему опыту могу сказать, что после 10000 файлов к каталоге независимо от файловой системы, начинаются тормоза.
Но в линуксе есть ещё такое понятие как inode (формально — номерки к файлам). Если они закончатся, то больше файлов не запишете, даже если ещё есть свободное место.
Вывод. Спуститесь с небес. Не будет у Вас сколько картинок. А если и будет — на одном компе их не сохранить (ну по крайней мере в следующие лет 5). Вон даже у инстаграмма статистика говорит о
В июле 2011 года было достигнуто число в 100 миллионов загруженных в сервис Instagram фотографий, а к августу таких фотографий стало уже 150 миллионов.
Сколько файлов может быть в одной папке
4 294 967 295 Это, как я понимаю, на раздел в целом. для нтфс, само собой.
https://ru.wikipedia.org/wiki/NTFS
(1) скорей всего на одну папошку, в целом. А то так то фалов могет быть и поболее 4Г/шт 🙂
(3) Жесть. Всего 4 Г/файлов. И как быть, если из нужно разместить больше? 🙁
(4)На разных разделах храни.
Попробуйте скопировать 4 294 967 295 файлов по 1 байту каждый и 1 файл 4 294 967 295 байт.
Не могу придумать задачу, чтобы нужно было хранить такое количество фалов
(7) Злой вирус который создаст в скрытой папке 4 294 960 000 файлов по 1 байту.
(8) не создаст. Места на диске не хватит.
(9) Было бы желание )
при наличии в папке 10 000 файлов вы получаете довольно жесткие тормоза .
по этому предел в практическом смысле не достижим
(8) файл размером 1 байт будет занимать на месте не менее 1 кластера, по этому даже теоретически нельзя.
(12) Мелкие файлы хранятся в MFT, там 1 кБ они занимают, если прав доступа немного.
(11) Что значит «довольно жесткие»? У меня есть папка и с миллионом файлов — тормоза только если надо полный список содержимого получить, а просто добавить/найти конкретный файл совсем не тормозит.
(14) в проводнике открой эту папочку
(5) Не приемлемо, это еще нуна отследить 🙂
(7) Поверь, есть такое дело 🙂
(8) Тоже план 🙂
(15) А зачем ее открывть в проводнике?
(11) В том то и дело, что можно разместить все по папкам. По 10 000 шт. Проблема в том, что вообще на весь Диск всего 4 Г/Файлов 🙂
+(20) Диск — Раздел, у кого и один раздел на диск 🙂
(20) Проблема в том, что на таком диске только MFT будет 4 терабайта занимать.
(17) не поверю
(23) Досье на каждого жителя Земли 😉
(24) можно как минимум по континетам разложить
(25) Это папки. Они только уменьшают количество доступных файлов.
4 294 967 295 файлов наклепать не реально )))
Если написать программу по созданию 100 файлов в секунду.
То это будет занимать время: 42949672 секунд или 715827 минут или 11930 часов или 497 суток или 1,36 года.
(22) 4 Тера, вы чет слишком загнули. Неужели для заголовка фала нужно использовать целый мегобайт информации?
Есть ли ограничение на количество файлов в одной папке?
Добрый день, у меня такой вопрос: есть ли у хостеров (или у OS ими используемых) ограничения на количество файлов-картинок лежащих в одной папке? Например в Mac OS X такого ограничения я не встречал, но где-то читал что в Linux есть ограничение на 30,000 файлов в одной папке. В любом случае как лучше спроектировать web-приложение чтобы всем было хорошо?
- Совместная работа с Яндекс.Диском
- Вышел клиент Яндекс.Диска для Linux
- В Google Drive стал доступен быстрый просмотр файлов
На сайте с 24.10.2006
22 мая 2011, 12:10
никаких ограничений нет. Но при разработке приложения имейте ввиду, что чем больше файлов в дире, тем дольше происходит их поиск, и как следствие остальные операции, открытие, получение атрибутов и т.д.
На сайте с 29.08.2008
22 мая 2011, 12:19
ДА есть такое ограничение
впрочем это можно и твикать.
или использовать zfs, с 2^48 записей в папке 🙂 и забыть об этих мамонтах.
С Уважением, ServerAstra.ru (https://serverastra.com) — VPS и выделенные сервера в Будапеште по выгодным ценам!
На сайте с 19.06.2008
22 мая 2011, 12:19
Igoron:
никаких ограничений нет. Но при разработке приложения имейте ввиду, что чем больше файлов в дире, тем дольше происходит их поиск, и как следствие остальные операции, открытие, получение атрибутов и т.д.
спасибо за быстрый ответ. А много файлов, это сколько примерно? Какое количество файлов можно считать оптимальным?
На сайте с 31.08.2009
22 мая 2011, 13:11
Нет такого понятия, как «оптимальное кол-во файлов».
Я думаю в пределах 100-300. Потом пойдут тормоза и задержки при чтении файлов в папке.
Потому что Drupal — это круто.
На сайте с 25.04.2008
22 мая 2011, 13:35
еще может быть лимит на число файлов (всех на пользователя или группу) на уровне файловых квот.
На сайте с 16.01.2007
22 мая 2011, 14:51
Может кто подскажет, как максимально быстро можно удалить более 7`000`000 файлов в одной директории?
На сайте с 25.04.2008
22 мая 2011, 15:07
если срочно нужна пустая директория, то лучше старую переименовать, создать новую с такими же правами. неспешно удалять через rm -rf /path/to/renamed_dir
На сайте с 01.02.2010
22 мая 2011, 15:21
KinMAN, при помощи xargs
Максимальное кол-во папок в одной папке (ext4)?
Нет ограничения.
Есть ограничение на общее количество файлов в одной файловой системе — 2^32, их все можно свалить в один каталог.
Ответ написан более трёх лет назад
Нравится 2 4 комментария
Но тут быстрее inode’ы закончатся у него)
Saboteur @saboteur_kiev Куратор тега Linux
SagePtr, так 2^32 это и есть максимально возможное кол-во iNode в ext4, 4 байта на уникальный номер и дает примерно 4 млрд айнод.
так а будут ли тормоза если 1 млн папок в одной папке, при заходе в каталог по ssh или при запрашивании файлов из папок через nginx? При каких будут тормоза?
Ясно, что групповые операции над этими папками будут тормозить