Почему так долго распаковывается архив весом всего 36мб?
Скачал архив с magento 2.
Всего 36 мегабайт.
Извлекаются и удаляются эти файлы очень долго, понятно что там тысячи файлов, но у меня папка на 40 гигов быстрее удалилась чем папка с magento.
Залили на сервер с ubuntu и архив распаковался за пару секунд.
У меня с компом(win10) что-то не то или это из-за количества файлов?
- Вопрос задан более трёх лет назад
- 10615 просмотров
2 комментария
Оценить 2 комментария
Чем распаковываете?
Ivan Petrov @bitande Автор вопроса
Решения вопроса 1
Системный программист ^_^
На каждый распаковываемый файл система должна завести новую запись в файловой системе. В результате жесткий диск вынужден мотать головкой чтения/записи туда-сюда на каждый мелкий файл, из-за чего очень сильно падает скорость. Если вы хоть раз копировали 10000 файлов в папке на медленную USB флешку, вы должны были заметить, что много мелких файлов копируются в сотни раз медленнее, чем один большой
Система начинает тормозить при распаковке больших файлов.
Сабж, стоит начать распаковывать архив размером от 5 гб, так система сразу начинает тормозить, есть ли универсальное решение для данной проблемы?
playX ★★
23.03.18 14:51:01 MSK
anonymous
( 23.03.18 14:51:26 MSK )
Ламер, когда ж ты уже надрочишся?
anonymous
( 23.03.18 15:22:54 MSK )
универсальное решение для данной проблемы
ПРИШЛО ВРЕМЯ ПЕРЕУСТАНАВЛИВАТЬ…
IchBinFertig
( 23.03.18 15:36:05 MSK )
система на одном диске(физическом), /home на другом диске, архив и папка для распаковки на 3-м, и не будет тормозить
а если все на одном диске-тормозить будет везде независимо от ОС (в винде повиснет експлорер и просто все проги подвиснут пока не распакуется(да в винде мышка не будет лагать и часть менюшек будет работать))
anonymous
( 23.03.18 15:42:33 MSK )
Ты уверен, что это 12309? Может просто загрузка всех ядер процессора?
Kron4ek ★★★★★
( 23.03.18 15:44:40 MSK )
Ответ на: комментарий от Kron4ek 23.03.18 15:44:40 MSK
Ядра вроде не загружаются все, система на ext4 и home так же на ext4, когда именно распаковываю архивы большие то даже распаковка rpm архива во время установки какого либо пакета занимает длительное время
playX ★★
( 23.03.18 15:59:13 MSK ) автор топика
Ответ на: комментарий от playX 23.03.18 15:59:13 MSK
Жесткий диск и шедулер CFQ?
$ cat /sys/block/sd*/queue/scheduler
Kron4ek ★★★★★
( 23.03.18 16:07:52 MSK )
Последнее исправление: Kron4ek 23.03.18 16:08:00 MSK (всего исправлений: 1)
Ответ на: комментарий от Kron4ek 23.03.18 16:07:52 MSK
У меня внешний HDD, scheduler:
noop deadline [cfq] noop deadline [cfq] noop deadline [cfq]
playX ★★
( 23.03.18 16:12:25 MSK ) автор топика
Ответ на: комментарий от playX 23.03.18 16:12:25 MSK
У меня на CFQ тоже бывает такое. При интенсивном I/O (распаковка архива с кучей файлов, например), остальные операции с вводом выводом занимают гораздо больше времени (на жеском диске, с ssd такой проблемы нет). Но я сомневаюсь, что это 12309. Попробуй deadline или bfq, а также посмотрим включен ли у тебя writeback throttling в ядре (zcat /proc/config.gz | grep BLK_WBT).
Kron4ek ★★★★★
( 23.03.18 16:16:42 MSK )
Ответ на: комментарий от Kron4ek 23.03.18 16:16:42 MSK
Я так понимаю без пересборки ядра не обойтись?
playX ★★
( 23.03.18 16:24:06 MSK ) автор топика
Ответ на: комментарий от playX 23.03.18 16:24:06 MSK
Не обойтись, если у тебя в ядре не включен WBT. Сначала проверь конфиг.
Kron4ek ★★★★★
( 23.03.18 17:00:22 MSK )
Смешно конечно читать такое подробное описание проблемы. (Отсутвует описание железа и куда смотрел во время проблемы.) У меня вот что-то подобное происходило без видимых причин. Оказалось проблема в прошивке диска Intel ssd 520s.
lebfr
( 23.03.18 17:20:49 MSK )
Есть! Архив в 5 ГБ распаковать — однозначно комп будет долго думать и тормозить! Решение, пока распаковывает пойти попить пивка и покурить! Сам то понял, что затеял?
piwww ★★★★
( 23.03.18 19:13:21 MSK )
в последних ядрах работа типа распаковки архивов (куча мелких файлов и много процессорного времени) стала занимать значительно больше времени и ресурсов из-за патчей против всяких мелтдаунов. я тестировала и получила неудовлетворительные результаты: распаковка архивов реально стала тормозить очень существенно. это не вешает систему, но сжирает изрядную часть ресурсов. и если комп слабый, то может и подтормаживать.
Iron_Bug ★★★★★
( 23.03.18 19:21:28 MSK )
Ответ на: комментарий от Iron_Bug 23.03.18 19:21:28 MSK
У меня распаковка архива размеров в 8гб на ядре 4.15.0-12 заняло час примерно, но компьютер вроде не слабый(процессор: Intel Core i5-4460 @ 4x 3.4GHz, а сам жесткий диск внешний: Samsung G20 Portable)
playX ★★
( 23.03.18 19:39:05 MSK ) автор топика
Ответ на: комментарий от playX 23.03.18 19:39:05 MSK
ну так внешний диск! а ты чего хотел? если хочешь быстро — распаковывай на виртуальный диск в раме. а на внешник у тебя обращения идут через пень-колоду. естественно, оно будет тормозить.
Iron_Bug ★★★★★
( 23.03.18 19:56:50 MSK )
Недавно распаковывал пачку tar.bz2 5-10ГБ на одноядренной системе 866МГц — ничего не тормозило, отзывчивость не страдала.
Double Commander
в чем причина слишком долгой распаковки архивов tar.gz средствами дабл коммандера? Выбираю из контекстного меню «распаковать здесь» после чего приходится ждать туеву кучу времени пока отобразится окошко с информацией о распаковке при этом переходить в другие каталоги или выполнять еще какие либо действия в коммандере абсолютно не возможно, (хотя если запустить еще одно окно коммандера, то в нем можно работать). Через сколько то минут появляется окно с информацией о распаковке и долго проценты стоят на 0%, через несколько минут начинается распаковка. Если же эти архивы распаковывать штатным проводником, то таких проблем не наблюдается, распаковка начинается сразу, окно с информацией о распаковке так же появляется сразу и с проводником можно спокойно работать.
ОС линукс минт 18
Double Commander 0.7.3
Почему распаковка архивов длится так долго
Хотя если бы была битая оперативка, то сама система работала бы наверное тоже не стабильно? окошки у меня довольно стабильны, синего экрана еще никогда (тфу.тфу ) не было.
иду проверять ОЗУ мемтестом, посмотрим, что покажет.
в диспетчере устройств, в разделе IDE ATA/ATAPI-Controller стоит:
1. Intel 82801G (ICH7Family) Ultra ATA Storage Controllers 27DF
2. Intel 82801GB/GR/GH (ICH7Family) Serial ATA Storage Controller 27C0
3. главный IDE-канал, в свойствах которого стоит:
Прибор#0 — тип передачи UDMA5
Прибор#1 — тип передачи UDMA5
4. главный IDE-канал, в свойствах которого стоит:
Прибор#0 — тип передачи UDMA5
Прибор#1 — тип передачи UDMA5
5. второстепенный IDE-канал, в свойствах которого стоит:
Прибор#0 — тип передачи UDMA5
Прибор#1 — тип передачи: не используется
6. второстепенный IDE-канал, в свойствах которого стоит:
Прибор#0 — тип передачи UDMA5
Прибор#1 — тип передачи: не используетс
Сообщения: 52912
Благодарности: 15351
Конфигурация компьютера | ![]() |
Процессор: AMD Ryzen 7 7800X3D | |
Материнская плата: Gigabyte B650E Aorus Master | |
Память: Kingston Fury Renegade DDR5-6000 32GB (2×16) | |
HDD: Samsung SSD 850 PRO 256GB, 980 PRO 1TB | |
Видеокарта: Gainward GeForce RTX 3080 追风 | |
Блок питания: be quiet! Straight Power 11 650W | |
Монитор: ASUS VG248QE 24″ | |
ОС: Windows 10 Pro x64 | |
Прочее: корпус Fractal Design Define R4 |
_ib_, при наличии ошибок в журнале событий приведите их в соответствии с этими инструкциями.
Сообщения: 27
Благодарности: 0
стандартная проверка memtest_v3.5 ошибок не показала.
@Petya V4sechkin. система у меня на немецком языке, поэтому постараюсь перевести.
в журнале ошибок последняя запись
Тип: Ошибка Источник: DCOM Категория: нет Код: 10005 Дата: 07.06.2009 Время: 01:20:59 Пользователь: KOMP\den Компьютер: KOMP Описание: В сервисе DCOM произошла ошибка «Данная служба не может быт запущена. Она не активирована или не подключена к активированному прибору.» когда сервис «StiSvc» был запущен с аргументом «» чтобы использовать следующий сервер:
-эта ошибка появляется каждый день по несколько раз.
Тип: Ошибка Ereignisquelle: Service Control Manager Источник: Keine Код: 7001 Дата: 04.06.2009 Время: 14:14:27 Пользователь: Nicht zutreffend Компьютер: KOMP Описание: Сервис "Universeller Plug & Play-Gerätehost" зависим от сервиса "SSDP-Suchdienst", который из-за следующей ошибки не был запущен: Данная служба не может быт запущена. Она не активирована или не подключена к активированному прибору. Weitere Informationen über die Hilfe- und Supportdienste erhalten Sie unter http://go.microsoft.com/fwlink/events.asp.
-эта ошибка появляется намного реже первой, но также ежедневно.
один раз была такая ошибка:
Тип: Ошибка Источник: sr Категория: нет код: 1 Дата: 26.05.2009 Время: 15:59:04 Пользователь: Nicht zutreffend Компьютер: KOMP Описание: При изменении файла "KH6DSNCFI7" на носителе "HarddiskVolume1" произошла неожиданная ошибка "0xC0000368" при резервном восстановлении системы. Мониторинг носителя был остановлен. Weitere Informationen über die Hilfe- und Supportdienste erhalten Sie unter http://go.microsoft.com/fwlink/events.asp. Daten: 0000: 06 00 00 00 04 00 4e 00 . N. 0008: 00 00 00 00 01 00 00 c0 . À 0010: 00 00 00 00 00 00 00 00 . 0018: 00 00 00 00 00 00 00 00 . 0020: 00 00 00 00 00 00 00 00 .
без перевода прочие ошибки.
Ereignistyp: Fehler Ereignisquelle: SideBySide Ereigniskategorie: Keine Ereigniskennung: 59 Datum: 26.05.2009 Zeit: 15:35:22 Benutzer: Nicht zutreffend Computer: KOMP Beschreibung: Generate Activation Context ist für C:\Programme\Logitech\SetPoint\SetPointCOMMM9.dll fehlgeschlagen. Referenzfehlermeldung: Der Vorgang wurde erfolgreich beendet. . Weitere Informationen über die Hilfe- und Supportdienste erhalten Sie unter http://go.microsoft.com/fwlink/events.asp. Ereignistyp: Fehler Ereignisquelle: ipnathlp Ereigniskategorie: Keine Ereigniskennung: 32003 Datum: 26.05.2009 Zeit: 16:36:05 Benutzer: Nicht zutreffend Computer: KOMP Beschreibung: Der Übersetzer für Netzwerkadressen (NAT) konnte keine Anfrage des Übersetzungsmoduls des Kernelmodus stellen. Möglicherweise liegen eine falsche Konfiguration, unzureichende Ressourcen oder ein interner Fehler vor. Die Daten enthalten den Fehlercode. Weitere Informationen über die Hilfe- und Supportdienste erhalten Sie unter http://go.microsoft.com/fwlink/events.asp. Daten: 0000: 1f 00 00 00 .