Как ускорить распаковку файлов
Перейти к содержимому

Как ускорить распаковку файлов

  • автор:

Можно ли ускорить архивацию/разархивацию за счет распараллеливания ??

Насколько я знаю архивация/разархивация часто может упираться в HDD/SSD, поэтому задался вопросом вырастет ли производительность, если в стандартный алгоритм для zip изменить так чтобы архивация/разархивация могли производиться парралельно?

  • Вопрос задан более двух лет назад
  • 1943 просмотра

Комментировать
Решения вопроса 0
Ответы на вопрос 5

Adamos

7z еще лет десять назад начал поддерживать многопроцессорную обработку архивов. Его собственный алгоритм потяжелее zip, но распаковывать zip-ы он тоже умеет.
7z -mmt=

Ответ написан более двух лет назад
Нравится 4 2 комментария
12rbah @12rbah Автор вопроса
А для парралельной обработки zip не знаете средства?

Adamos

У 7-zip есть опция для управления многопоточностью. Можете потестить или даже исходники посмотреть.
Ответ написан более двух лет назад
Комментировать
Нравится 2 Комментировать
Backend developer
Параллельные вычисления ускоряют CPU bound задачи.
Ответ написан более двух лет назад
Комментировать
Нравится 1 Комментировать
Saboteur @saboteur_kiev
software engineer
pigz — многопоточный архиватор для gzip алгоритма.
winrar и 7zip тоже умеют в многопоточность
Ответ написан более двух лет назад
Комментировать
Нравится 1 Комментировать
Программист на «си с крестами» и не только

Если использовать стандартную библиотеку сжатия (например, ZLIB), будет проблематично. Нужно как минимум писать своё сжатие с блэкджеком и многопоточностью.
Однако можно распараллелить разархивацию и интерпретацию того, что разархивировалось, и это помогает. Проверено (писал сохранение в простой блочный формат, запаковываемый в ZIP).
Архивация на ZLIB с высшей степенью сжатия упирается не в SSD, а в процессор. Тоже проверено. Для баланса между сжатием и остальной функциональностью установил степень сжатия в четвёрку.

Ответ написан более двух лет назад
Комментировать
Нравится 1 Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

wordpress

  • WordPress
  • +2 ещё

Как разбить архив сайта на WordPress сделанный через Duplicator на тома?

  • 1 подписчик
  • 08 окт.
  • 57 просмотров

Самый быстрый метод разархивации файла

Встала задача, что нужно разархивировать огромное количество (>4тб) архивов, в которых очень много маленьких файлов. Перепробовал и 7z, и zipFile, peaZip (запускал через среду программирования через консоль по сути) и д.р. Но скорость совсем не радует. Как можно ускорить процесс? Какие есть аналоги и альтернативы?

Отслеживать

задан 21 авг 2018 в 13:11

Vladimir Afanasyev Vladimir Afanasyev

2,344 2 2 золотых знака 8 8 серебряных знаков 23 23 бронзовых знака

Узкое место — чтение? распаковка? запись на диск?

21 авг 2018 в 13:22

Прикинул: при среднем коэффициенте сжатия 2 и средней скорости записи на одиночный винчестер 50 мегабайт в секунду (что в общем-то довольно оптимистично при большом количестве файлов, особенно при большом количестве файлов в каталогах) процесс записи 8 тб на HDD займёт не менее двух суток при условии, что читаем архив с другого локального диска. Не спешите. Быстро не выйдет. Это не скорость маленькая, это данных много. Варианты решения, скорее всего, будут неприемлемы и по стоимости, и по сроку поставки.

21 авг 2018 в 13:35

А что насчет gzip и tar? Может они побыстрее будут?

Как ускорить загрузку игр на компьютере без разгона и прочего геморроя

Если качество графики и скорость работы игр после загрузки уровней или подключения к серверам вас в целом устраивают, но за время загрузки можно сходить и заварить себе кофе, менять в компьютере нужно не процессор или видеокарту, а постоянную память (накопитель). После того, как извращения с гибридными жёсткими дисками (SSHD) отошли в историю, для всё ещё тянущих новые игры компов остался единственный рецепт – покупать SSD, только современный, а не SATA-коробчонки, недорогой и с нормальным количеством гигабайт. Мы такой нашли и сейчас протестируем.

Для, извините мой французский, миллениалов и прочих неповторимых индивидуальностей «быть проще» – позор и погибель, но вот производителям SSD такое качество идёт только в плюс. Потому что в твердотельных накопителях дешевле 7-10 тысяч рублей по-прежнему больше всего ценится соотношение количества гигабайт на потраченный рубль, а у престижных брендов за него придётся серьёзно переплатить. Например, современный SSD стандарта NVMe M.2 объёмом 500-512 Гбайт сегодня стоит от 5 до 6 тысяч рублей – Silicon Power P34A80, который мы будем сейчас тестировать, влетит вам примерно в 5600 рублей. А вот SSD аналогичного стандарта от «крутого» бренда обойдётся на 2-3 тысячи дороже.

Иногда это оправдано, если мы говорим о каком-нибудь Samsung 970 EVO Plus с его «придворными» контроллерами и памятью да соответствующе прокачанными характеристиками. А иногда вы просто попадаете на наценку за абсолютно такой же (или даже медленнее) по характеристикам SSD с престижной этикеткой – WD Black SN750 за 7500-8000 рублей это прекрасно доказывает. В общем, даже если вы давненько ничего не слышали о Silicon Power с эпохи, когда USB-флешки этой компании мелькали в каждом офисе и во многих домашних компьютерах, нет смысла переплачивать за шильдики Intel или Western Digital, если замеры скорости показывают, что вы можете получить настолько же хороший накопитель дешевле.

© Скорость загрузки игр: жёсткий диск против SATA-III SSD и M.2 NVMe SSD

Почему мы берём в качестве примера именно M.2. NVMe SSD? Потому что в компьютере на современных платформах (см. системные требования новейших игр) такой накопитель будет нормально использовать скоростной потенциал шины PCIe 3.0 и без проблем встанет загрузочным (то есть с него можно будет стартовать Windows). Это актуально для систем на процессорах Intel Core i3/i5/i7 от серий 4xxx до новейших. Проблемы возникнут разве что на старых платформах Sandy Bridge и Ivy Bridge (2xxx и 3xxx), но там и ограничения в скорости упрутся в PCIe 2.0, и биос нужно модифицировать, чтобы NVMe SSD вообще завелись… А если вы умеете патчить BIOS, вы и без нас знаете, какой SSD вам нужен.

Почему мы не взяли за образец SATA-III SSD? Потому что они, хоть и немного, но медленнее в играх уже сейчас. То ли ещё будет. Почему 512 Гбайт? Потому что в России живём – 10 тысяч за терабайтник при зарплатах трудящихся и бюджете в 40-50 тысяч на весь компьютер уже кусаются. На 256 Гбайт толком ничего не влепишь, кроме Windows и софта. А полтерабайта – хороший компромисс для того, чтобы записать на него несколько самых критичных для вас по времени загрузки игр + вместить всё ту же Windows и софт туда же.

Ху из мистер Silicon Power P34A80?

Вообще, официально накопитель называется SP512GBP34A80M28, но без пол-литра такое не выговоришь, поэтому мы будем называть его просто Silicon Power P34A80.

Упаковка симпатичная но без люксовых «понтов» наподобие шкатулок из накрахмаленного картона. Картонная коробка, в ней SSD в блистере (22×80 мм, согласно форм-фактору), список основных характеристик.

В отличие от терабайтной версии 512-гигабайтная модель односторонняя: все чипы расположены на одной стороне печатной платы. И это круто, если вы собираетесь ставить SSD в какой-нибудь тонкий ноутбук без запаса места – например, в Xiaomi Mi Notebook Air 13.3 нормально устанавливаются только односторонние SSD, тогда как двусторонние выгибаются дугой (с одной стороны разъём, с другой – винт) и рано или поздно из-за этого «крякнут».

От любопытных глаз чипы на SSD скрыты наклейкой со штрих-кодом, которую можно безболезненно удалить. после истечения гарантийного срока. В общем, не пытайтесь повторить дома то, чем мы сейчас здесь будем заниматься! В комплектации нет никаких аксессуаров (например, радиатор). Ни одной информационной брошюры к накопителю также не прилагается. Ничего, кроме самого «привода». Понятное дело, что наличие дополнительного «обвеса» повлияло бы на увеличение цены, но какому ПК-боярину не хотелось бы большего?

Технические характеристики

Silicon Power P34A80 построен на базе двухъядерного контроллера Phison PS5012-E12 (на нём ещё выпускают SSD Seаgate, Gigabyte и Corsair, например). Восьмиканальный, с пропускной способностью до 667 Мбайт/с на канал. При нём – 64-слойная флеш-память Toshiba BiCS3 TLC 3D NAND (фигурирует также в накопителях Gigabyte и OCZ).

Начинка вполне солидная, предельная производительность контроллера – до 600 000 IOPS при чтении и записи блоков по 4 Кбайт, а сам Silicon Power обещает до 450 000 IOPS при чтении и до 390 000 IOPS при записи соответственно. Но это в теории, а на практике всё нужно проверять бенчмарками, ради чего мы с вами здесь и собрались.

Вообще, 64-слойная память с BiCS3-компоновкой уже далеко не последний писк моды – с тех пор вышла более новая 96-слойная BiCS4, которая ещё и немного быстрее. Только вот она серьёзно нагревается и требует хорошего охлаждения. Для владельцев компьютеров в компактных корпусах, или ноутбуков, это ненужная возня – либо SSD просто не будет работать в полную мощность. А если учесть, что к памяти BiCS3 у нас прилагается один из самых крутых контроллеров, Phison PS5012-E12, разница в скорости, скорее, теоретическая. Тут как со смартфонами, как если бы в одном был более мощный процессор и 3 Гбайт оперативной памяти, а в другом – менее мощный, но 6 Гбайт «оперативки».

Накопитель Silicon Power PCIe Gen3x4 P34A80
Форм-фактор M.2 2280
Подключение PCI Express 3.0 ×4, NVMe 1.3
Емкость, Гбайт 256, 512, 1000, 2000
Чипы памяти Toshiba 64L TLC 3D NAND (BiCS3)
Контроллер Phison PS5012-E12
Скорость последовательного чтения до 3400 Мбайт/с
Скорость последовательной записи до 3000 Мбайт/с
Макс. кол-во IOPS при чтении до 450 000
Макс. кол-во IOPS при записи до 390 000
Версия прошивки ECFM12.3
Гарантийный срок 5 лет
Габариты/вес 22×80×3,5 мм/8 грамм

Из того, что не вошло в табличку с характеристиками: поддержка (само собой) атрибутов SMART, технологии уничтожения данных NVMe Secure Erase, коррекция ошибок на основе LDPC-кодирования, шифрование на базе криптографического алгоритма AES-265 и Pyrite, а вот поддержку TCG OPAL или Windows BitLocker не завезли, потому что SSD не корпоративного класса (да и шут с ним).

Для работы с SSD предусмотрена официальная софтина SP Toolbox, которую нужно скачивать с официального сайта производителя. В ней есть немного настроек, мониторинг состояния и производительности, и безопасное стирание данных без возможности их последующего восстановления.

Что касается ресурса: Silicon Power в вопросах заявленной износостойкости перестраховывается и заявляет, что SSD гарантированно переварит суммарный объём данных на уровне 250 Тбайт. Зная емкость накопителя (512 Гбайт) и его гарантийный срок (5 лет), можно рассчитать допустимое количество перезаписей всего объема накопителя в день – получаем 0,2 DWPD (200 гигабайт в день).

И кстати, да: пять лет гарантии на недорогой SSD, как в нашем случае – это круто. Конкуренты Silicon Power частенько заворачивают всего три года гарантии.

Как мы тестируем

Все замеры мы проводили на компьютере с 64-битной “Windows 10 Домашней” версии 17.763, которая адекватно работает с новыми NVMe-SSD. И, не забывайте, из-за сраных округлений в файловых системах, как и в случае с любыми другими жёсткими дисками/SSD/флешками вы получаете меньше гигабайт, чем заявлено на этикетке. В нашем случае – 476,9 Гбайт. Сейчас проверим, насколько быстрых гигабайт. Тестовый стенд:

Процессор Intel Core i7-7700K (4533 МГц)
Материнская плата ASUS Maximus IX Code rev.1.xx
Основной накопитель GOODRAM Iridium Pro SSD 480GB
Видеокарта PNY GeForce GTX 1060 6GB GDDR5 Twin Fan
Оперативная память ADATA XPG Spectrix D41 DDR4 RGB 2×16GB (3200 МГц)
Блок питания be quiet! Straight Power 10 800W СM
Система охлаждения be quiet! DARK ROCK TF

ATTO Disk Benchmark

ATTO – это простой замер характеристик SSD в самых «тепличных» условиях при последовательной записи (как если бы вы копировали файлы с одного SSD на другой целой папкой в Windows). Обычно цифры, которые производители указывают на упаковке, берутся именно из результатов этого бенчмарка. Ну и ещё его все любят за то, что в нём удобно поглядывать, как изменяется скорость работы SSD в зависимости от того, насколько крупные файлы вы будете перебрасывать.

С настройками по умолчанию P34A80 от Silicon Power всё-таки не вывозит обещанные 3,4 Гбайт/с при чтении и 3 Гбайт/с при записи. Максимальные скорости составляют 1,56 Гбайт/с и 1,65 Гбайт/с соответственно. «Ну и что же здесь криминального?» – спросит Ирина Аллегрова, и вы вместе с ней. Ну, в общем-то, ничего – WD Blue SN500, например, обещает 1700/1450 Мбайт/с, а по факту «едет» на 1040/810 Мбайт/с; Intel 760p заявляет 3230/1625 Мбайт/с, а на деле выдаёт 2070/650 Мбайт/с. Важнее то, что Silicon Power P34A80 оказывается не медленнее или даже быстрее близких по цене Intel 660p или WD Blue SN500.

А мораль – не верьте маркетинговой фигне на этикетках.

CrystalDiskMark 5.2.1

Еще один очень удобный инструмент для сравнения производительности твердотельных и магнитных накопителей. Его показания чуть повыше, чем у предыдущего синтетического бенчмарка. Здесь при операциях чтения и записи мы получаем скорость 1782 Мбайт/с и 1676 Мбайт/с соответственно.

HD Tune Pro 4.60

Бенчмарк HD Tune Pro, как обычно, скептичен больше прочих и показывает приземленные скоростные значения. После нескольких прогонов, максимальный результат по скорости чтения и записи составили 1192,7 Мбайт/с и 1103,9 Мбайт/с соответственно. И это на первом прогоне. При дальнейшей нагрузке на накопитель пропускная способность стала чуть ниже и результаты упали до 1056,1 Мбайт/с при записи и 1148,2 Мбайт/с при чтении.

AIDA64 Disk Benchmark

Утилита AIDA64 Disk Benchmark, напротив, оказывается более лояльной и показывает скоростные результаты на уровне CrystalDiskMark. Как итог: 1602,4 Мбайт/с — средняя скорость линейного чтения; 1543,2 Мбайт/с — рандомное чтение данных; 1569,5 Мбайт/с при чтении файлов из буфера.

AS SSD Benchmark 2.0.7

А как поведет себя наш испытуемый накопитель с популярным синтетическим тестом AS SSD Benchmark? В этой утилите мы также сделали несколько прогонов, эмулируя чтения и запись файлов весом 1, 5 и 10 Гбайт, включая операции чтения блоков по 4 Кбайт в один и 64 потока. Результаты измерений можно увидеть на скриншотах ниже. Итак, пропускная способность не сильно изменилась при выполнении операций с разными по весу файлами. При операциях чтения мы получаем в среднем 1500 Мбайт/с, а при чтении — около 1430 Мбайт/с. Произвольное же чтение блоков 4K в целом соответствует результатам, которые мы получили при запуске CrystalDiskMark.

UserBenchmark

Следующим бенчмарком мы выбрали онлайн-тест UserBenchmark, который показал, что среди 3062 пользователей, которые пользовались этим же сервисом для тестирования твердотельного NVMe-накопителя Silicon Power P34A80, средние скорости чтения и записи данных составляют 1138 Мбайт/с и 1629 Мбайт/с соответственно. Применительно к нашему экземпляру результаты оказались чуть ниже: 1068 Мбайт/с при чтении и 1262 Мбайт/с при записи.

AnvilPro 1.1.0

И последний синтетический тест, который мы решили провести с использованием старенькой утилиты AnvilPro (последнее обновление к ней вышло аж в январе 2014 года). Интересно, что “расскажет” нам она? Чтобы не получить схожие друг с другом результаты, мы запустили тест с эмуляцией чтения и записи файла с размером в 1 Гбайт, а затем — 32 Гбайт. И вот что из этого вышло: при копировании и чтении меньшего файла максимальная скорость составила 1456 Мбайт/с и 1424 Мбайт/с, а вот при работе с 32-гигабайтным файлом пропускная способность снизилась до 1077 Мбайт/с при чтении и до 706 Мбайт/с на запись.

Самое время вспомнить про температуру накопителя под нагрузками и в простое. В состоянии покоя накопитель греется до 30 °C. Максимальная температура достигала 63 °C, при этом заметим, что мы использовали накопитель без дополнительного радиатора для теплоотвода и устанавливали его в закрытый стенд. Максимальная температура нагрева, заявленная в характеристиках составляет 70 °C, после чего накопитель, вероятно, должен уходить в троттлинг. Проверять этого мы не стали, но настоятельно советуем устанавливать Silicon Power P34A80 в хорошо проветриваемый корпус или использовать двусторонний радиатор. Лучше, как говорится, перебдеть, чем недобдеть.

SLC-кэш и его влияние на общую производительность

Не забывайте, что официальные характеристики – это только часть общей картины. Потому что большинство производителей SSD-решений используют SLC-кэш, самую быструю область флеш-памяти. Если рабочая нагрузка на накопитель выйдет за пределы этого кэша и файлы начнут записываться уже не в SLC-буфер, а в “родную” флеш-память накопителя (TLC или QLC). Поэтому во время тестов мы стараемся загрузить накопитель по максимуму, чтобы посмотреть, как он будет ворочаться при переполнении буфера SLC. В Silicon Power P34A80 быстрого кэша насыпали около 64 Гбайт при расчете на каждый 256 Гбайт. Получается, что максимальной скорости можно добиться только в пределах заданной области. И всё-таки восьмиканальный массив памяти Toshiba сам по себе довольно быстр, а с ёмким SLC-кэшем проседания в скорости при записи файлов размером 1-2 Гбайт особо и не наблюдается. Кстати, SLC-кэш задействуется не только при записи, но и при чтении. В чем это выражается? А в том, что данные, которые пользователь открывает сразу после их копирования на накопитель, все еще остаются в быстром кэше и операция чтения происходит быстрее, чем в случае обращения к TLC-памяти. Вот поэтому слепо доверять результатам синтетических бенчмарков не стоит на 100%, потому что они выполняют чтение и запись, оперируя только что созданными файлами, которые располагаются в SLC-кэше. Короче говоря, при тестировании показываются чуть более высокие скорости чтения данных.

Что умеет фирменный софт для обслуживания SSD Silicon Power?

Насколько он полезен? Да и нужен ли он вообще? Это главный вопрос, который хочется вынести на повестку. Как мы уже упоминали выше по тексту, программа SP Toolbox нужна для мониторинга состояния «здоровья» накопителя, оценки его скорости работы и безопасного стирания данных посредством Secure Erase. Как и многие конкуренты, русской локализации Silicon Power не предлагает, но в целом не все так безнадежно: даже пятиклассник разберется без Google-переводчика, что означает каждый пункт меню.

Как ускорить процесс установки игры?

Иногда появляется окно. Там пишут что при распаковке была ошибка открытия файла. Потом долго его переоткрывает. Как ускорить это переоткрытие?

Лучший ответ

когда чтото устанавливается неподходи к компу ты его подтармажуеш

Остальные ответы

Никак. Или скачать нормальную версию игры, отключить антивирус и установить.

купи еще ОЗУ

Похожие вопросы

Ваш браузер устарел

Мы постоянно добавляем новый функционал в основной интерфейс проекта. К сожалению, старые браузеры не в состоянии качественно работать с современными программными продуктами. Для корректной работы используйте последние версии браузеров Chrome, Mozilla Firefox, Opera, Microsoft Edge или установите браузер Atom.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *