Как увеличить скорость ftp передачи

Все в порядке, но.

Этот текст мало кто будет читать и мы можем написать здесь все, что угодно, например.
Вы живете в неведении. Роботы уже вторглись в нашу жизнь и быстро захватывают мир, но мы встали на светлый путь и боремся за выживание человечества. А если серьезно, то.

В целях обеспечения безопасности сайта от кибератак нам необходимо убедиться, что вы человек. Если данная страница выводится вам часто, есть вероятность, что ваш компьютер заражен или вы используете для доступа IP адрес зараженных компьютеров.

Если это ваш частный компьютер и вы пытаетесь зайти на сайт, например, из дома — мы рекомендуем вам проверить ваш компьютер на наличие вирусов.

Если вы пытаетесь зайти на сайт, например, с работы или открытых сетей — вам необходимо обратиться с системному администратору и сообщить, что о возможном заражении компьютеров в вашей сети.

• © 2005-2023, «4PDA». 4PDA® — зарегистрированный товарный знак.

Как увеличить скорость передачи данных через FTP?

Ситуация такая: есть NAS на котором запущен FTP-сервер, он подключён к сети 1Гбит Ethernet. В синтетических тестах (Lan Speed Test) и том же iperf скорость передачи близкая к теоретически максимальной (960Мбит/с). А вот при фактическом копировании/записи файлов скорость ограничена 10 МБ/с. В чём могут быть причины такой низкой скорости и как их устранить?

UPDATE: По поводу скорости диска: www.youtube.com/watch?v=BD5H1CjmgZY
Бенчмарки выдают 60 МБ/с. В других обзорах почти тоже самое.

UPDATE 2: Локальный тест скорости чтения выдал:

sudo hdparm -Tt /dev/sda /dev/sda: Timing cached reads: 488 MB in 2.00 seconds = 243.85 MB/sec Timing buffered disk reads: 258 MB in 3.00 seconds = 85.98 MB/sec

dd if=/dev/zero of=/tmp/output bs=8k count=10k; rm -f /tmp/output 10240+0 records in 10240+0 records out 83886080 bytes (84 MB) copied, 1.25412 s, 66.9 MB/s

Update 3: настройки FTP машинки.

spoiler

ftpd_banner=Welcome to WD My Cloud listen=yes listen_port=21 accept_timeout=60 connect_timeout=60 data_connection_timeout=300 max_clients=0 max_per_ip=20 xferlog_enable=YES hide_ids=YES dirlist_enable=YES download_enable=YES use_localtime=YES write_enable=YES file_open_mode=0755 local_enable=YES local_umask=02 local_max_rate=0 anon_root=/nfs local_root=/nfs check_shell=NO chroot_local_user=YES userlist_enable=YES userlist_deny=NO userlist_file=/etc/user_list vsftpd_log_file=/var/log/vsftpd.log anonymous_enable=NO anon_mkdir_write_enable=NO anon_upload_enable=NO anon_other_write_enable=NO no_anon_password=YES anon_max_rate=0 anon_umask=077 #share_acl_enable=YES pasv_enable=YES pasv_promiscuous=YES pasv_min_port=5000 pasv_max_port=5099

• Вопрос задан более трёх лет назад
• 22477 просмотров

12 комментариев

Оценить 12 комментариев

960 Мбит/с и 10 Мбайт/c, или 960 Мбит/с и 10 Мбит/c ?
Скорость iperf и ftp соединения меряете на одном и том же клиенте?

Станислав Лашманов @CyberAP Автор вопроса

ldv: 960Мбит, опечатался. Скорости измеряю на одном и том же клиенте, измерил на других — результаты те же.

Станислав: по FTP копируете 1 большой файл или много мелких?
Станислав: скорость по SMB, SCP тоже маленькая (на тех же файлах)?

Станислав Лашманов @CyberAP Автор вопроса

ldv: 1 файл 400 мб, 1 файл 5гб, 1 папка с множеством мелких файлов, общим объёмом 1гб. Везде скорость одинаковая, 10-11 МБ/с.

dd if=/dev/zero of=/tmp/output bs=15k count=10k
scp root@localhost:/tmp/output /tmp/output2

Станислав Лашманов @CyberAP Автор вопроса

ldv: по SMB и любым другим протоколам скорость либо такая же, либо чаще всего ниже. Плюс очень медленное открытие папок в отличие от FTP.

Станислав Лашманов @CyberAP Автор вопроса

ldv: 102105088 bytes (102 MB) copied, 2.29218 s, 44.5 MB/s

output 100% 97MB 5.7MB/s 00:17

До конца не записалось, место закончилось.

Станислав: ну если по всем протоколам маленькая скорость, то настройки ftp не причем
странно, почему скорость копирования с localhost на localhost такая мальенькая

Станислав Лашманов @CyberAP Автор вопроса

ldv: но ведь самое интересное что Lan Speed Test выдаёт скорость близкую к реальной если его прогнать через папку подключенную по SMB и 1ГБит если по FTP.

Станислав: кроме вас с NAS может еще кто-нибудь работает когда вы меряете? )
iftop’ом , iotop’ом посмотреть загрузку , например

Станислав Лашманов @CyberAP Автор вопроса

ldv: дебиан сдулся после попыток поставить эти пакеты, через какое-то время переставлю систему на чистом дебиане без WD-шных приблуд, скорость должна быть выше.

Решения вопроса 1

Станислав Лашманов @CyberAP Автор вопроса
Фронтенд разработчик

Всё решилось очень просто: переустановкой ОС у NAS. Перешёл с ужасной заводской от WD на OMV и теперь всё летает.

Ответ написан более трёх лет назад
Комментировать
Нравится Комментировать
Ответы на вопрос 3

Системный администратор со стажем.

есть NAS на котором запущен FTP-сервер, он подключён к сети 1Гбит Ethernet. В синтетических тестах (Lan Speed Test) и том же iperf скорость передачи близкая к теоретически максимальной (960МБ/с).

Вы где то сильно ошибаетесь. Такое невозможно ни физически, ни теоретически.
При подключении к сети 1Гбит Ethernet, максимально возможная скорость передачи файлов равна 1000/8=125МБ/с
Чтобы обеспечить скорость в 960МБ/с вам нужен линк на 10Гбит как минимум.

А вот при фактическом копировании/записи файлов скорость ограничена 10 МБ/с.

Фактическая скорость будет в основном ограничена скоростью дисков, так что вполне нормальная ожидаемая скорость для бюджетного NAS’а.
Если хотите повысить скорость — ставьте более быстрые диски, распределяйте нагрузку между дисками, и.т.д.

• Производительностью дисковой подсистемы. Для среднестатического диска это примерно 1-100МБ/с в зависимости от нагрузки
• Производительностью ОС файлового хранилища. Зависит от скорости работы процессора, наличия памяти и настроек.

Ответ написан более трёх лет назад
Нравится 3 9 комментариев

Станислав Лашманов @CyberAP Автор вопроса
Обновил первый пост с объяснением почему дело не в скорости диска.

Станислав: Перечитал пост — не вижу объяснений почему дело не в скорости диска.
Дело именно в скорости диска и производительности ОС.

iperf и Lan Speed Test измеряют исключительно пропускную способность сети. Скорость диска, да и вообще его наличие в системе никак на результаты не влияет.

А ftp работает именно с файлами на диске, и зависит в первую очередь от скорости диска. И уж в последнюю от скорости сети.

Станислав Лашманов @CyberAP Автор вопроса

АртемЪ: Реальная скорость считывания с этого же диска у других людей в 6 раз выше (можно посмотреть в любом обзоре WD Mycloud), на клиенте стоят Mac Pro и пара iMac. У всех жёсткое ограничение в 10~11 МБ/с и при записи в точности такая же ситуация. Даже скорость копирования с внешнего диска по USB выше чем по гигабитному Ethernet.

Станислав: Для начала давайте определимся что такое реальная скорость считывания с диска-
Она зависит от модели диска и линейности чтения. Точную модель диска вы не указали.
Если идет исключительно линейное чтение, то среднестатический современный диск способен выдавать примерно 70-120Мб/с
Если идет случайное чтение, то в зависимости от размера блока и очереди оно будет колебаться в очень широких пределах.
На мелких файлах порядка 1Мб/с и меньше
На более крупных порядка 1-50Мб/с.
Это что касается диска.

Кроме этого скорость сильно ограничена процессором — если производительности процессора не хватает, скорость будет очень низкая. Ну и объем памяти для кэширования прилично влияет.
Какой процессор у вас стоит в NAS и чем он еще нагружен?

По поводу ссылки на обзор в вопросе — это не обзор, а скорее реклама.
Тестировать скорость без указания типа файлов невозможно, ибо на разных файлах она отличается на порядок.
К тому же там вроде не по FTP тестирование.

Станислав Лашманов @CyberAP Автор вопроса

АртемЪ: сделал локальный тест на чтение, результаты в первом посту. Скорость явно выше 10 МБ/с.
Спецификации вот: mybookworld.wikidot.com/forum/t-768658/wd-my-cloud.

Станислав: Что значит локальный тест на чтение? На самом накопителе я так понимаю запускали?
И тестировали с помощью hdparm ?
И для чего этот тест вам?
Он показывает максимально возможную производительность жесткого диска в идеальных условиях.
А вам нужна реальная прозводительность, в реальных условиях. Это совсем другие цифры.

Т.е во первых реальная прозводительность диска на реальных файлах будет меньше.
Во вторых у вас данные будут передаваться по сети, т.е надо учитывать насколько будет хватать буфера, насколько будет хватать прозводительности процессора для передачи файлов.
Процессор там стоит очень дохлый, памяти очень мало.

Просто люблю качественно работать
10 мегабайт в секунду это примерно 800 мегабит в секунду в целом довольно близко к правде.
Ответ написан более трёх лет назад

ldv: да что то я путаю
а какой у вас фтп сервер, помнится толи всфтпд давал лучшие результаты то ли профтпд

Станислав Лашманов @CyberAP Автор вопроса
Пума Тайланд: vsftpd, конфиг в первом посту.

Станислав Лашманов @CyberAP Автор вопроса
Пума Тайланд: другой сервер я не смогу и не буду ставить, к сожалению.

Станислав: ну тогда увы, посмотрел только что на файлообменнике стоит у нас профтпд, видимо он был шустрее в плане скорости.
По самбе будет быстрее

MinamotoSoft @MinamotoSoft

10мегабайт/сек это чуть меньше 100мбит. Не путайте человека.
Проблема скорее не в физике компа а в физике протоколов. Кстати, какой пинг от клиента до сервера?.
ФТП работает в один поток, следовательно, пока предыдущий пакет не получен — следующий не передается. Справедливо для аплоада. Дла даунлоад — попробуйте запустить какой нибуть даунлоадменеджер, который может один файл загружать в несколько потоков. Есть подозрение, что в таком режиме получите почти потолок фашей «физики».

Ответ написан более трёх лет назад

Станислав Лашманов @CyberAP Автор вопроса

PING 192.168.0.200 (192.168.0.200): 56 data bytes
64 bytes from 192.168.0.200: icmp_seq=0 ttl=64 time=0.588 ms
64 bytes from 192.168.0.200: icmp_seq=1 ttl=64 time=0.594 ms
64 bytes from 192.168.0.200: icmp_seq=2 ttl=64 time=0.550 ms
64 bytes from 192.168.0.200: icmp_seq=3 ttl=64 time=0.601 ms
64 bytes from 192.168.0.200: icmp_seq=4 ttl=64 time=0.662 ms
64 bytes from 192.168.0.200: icmp_seq=5 ttl=64 time=0.563 ms
64 bytes from 192.168.0.200: icmp_seq=6 ttl=64 time=0.644 ms
64 bytes from 192.168.0.200: icmp_seq=7 ttl=64 time=1.710 ms
64 bytes from 192.168.0.200: icmp_seq=8 ttl=64 time=0.509 ms
64 bytes from 192.168.0.200: icmp_seq=9 ttl=64 time=0.565 ms

— 192.168.0.200 ping statistics —
10 packets transmitted, 10 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 0.509/0.699/1.710/0.340 ms

Это что-то дало?
Выше уже в комментариях отвечал что скорость ограничена 10 МБ/с по всем протоколам. NFS, FTP, SMB. Потоковая скорость не столь интересна, сколько скорость передачи файлов последовательно, особенно больших.

MinamotoSoft @MinamotoSoft

Станислав: пинг — дало то, что проблема не в задержках. Если вопрос решился — то и тему закрываем. Но для академического интереса — можно было бы посмотреть параметры драйвера сетевухи.

Увеличение скорости загрузки по ftp на сервер

В общем, дело обстоит так: есть vps под управлением vesta cp, так вот, скорость загрузки файлов на сервер в пределах 40-70 кб/сек. Загружаю файлы через filezilla, никаких ограничений отдачи нет, скорость отдачи у провайдера больше 30mb/сек. На другом аналогичном сервере, только под управлением ispm5 скорость намного выше. Помогите разобраться где урезается скорость.

На сайте с 19.02.2005
17 августа 2017, 17:25
Тут поможет netcat
Не стоит плодить сущности без необходимости
На сайте с 21.09.2016
17 августа 2017, 18:31

Че-то у меня такая же проблема только на ISPm5. Загружаю файлы через файловый менеджер isp — скорость сильно урезается, если загружаю через фтп клиент — скорость нормальная. При чем такая хрень на многих впс наблюдается.

На сайте с 24.01.2013
17 августа 2017, 18:51

dotern:
Че-то у меня такая же проблема только на ISPm5. Загружаю файлы через файловый менеджер isp — скорость сильно урезается, если загружаю через фтп клиент — скорость нормальная. При чем такая хрень на многих впс наблюдается.

У меня с точностью наоборот, а на весте, без файлменеджера, совсем беда — файл 300мб часа 4 загружается. Хотя, через файлменеджер на ispm все шустро работает — через ftp — еле грузит.

На сайте с 29.06.2013
17 августа 2017, 18:57

откл. вернее очистите правила iptables и откл file2ban и скорость пойдет, если нет то попробуйте через sftp в файлзилле

Абузо-устойчивые впс в Нидерландах от 5$/мес (https://cp.inferno.name/aff.php?aff=2991)
На сайте с 04.03.2017
17 августа 2017, 18:58

Мне на некоторых хостингах помогает изменение настройки шифрование в файлзилле , ставлю «Использовать обычный FTP (небезопасно)» и все отлично начинает работать. Там стандартно выставлено «Использовать явный FTP через TLS» вот с этим бывает тормоза почему то.

100 USD на счет в DigitalOcean (http://clc.to/do100usd) при регистрации по этой ссылке
На сайте с 24.01.2013
18 августа 2017, 13:10

G-and-Y:
откл. вернее очистите правила iptables и откл file2ban и скорость пойдет, если нет то попробуйте через sftp в файлзилле

Попробовал sftp — без изменений.

mrboweb:
Мне на некоторых хостингах помогает изменение настройки шифрование в файлзилле , ставлю «Использовать обычный FTP (небезопасно)» и все отлично начинает работать.
Там стандартно выставлено «Использовать явный FTP через TLS» вот с этим бывает тормоза почему то.

И это тоже пробовал — не помогло.
На сайте с 29.07.2008
18 августа 2017, 13:34

Скорость по ФТП записит от локации сервера, если он в США или Австралии, то скорость будет низкой, если в России то быстрой.

На сайте с 24.01.2013
18 августа 2017, 13:53

Plazik:
Скорость по ФТП записит от локации сервера, если он в США или Австралии, то скорость будет низкой, если в России то быстрой.

Сервер в Амстердаме. На другой такой же сервер, файлы загружаются быстро, на сколько возможно. Но на тот, с которым сейчас работаю, очень медленно. Единственное различие между ними — один под ispm, другой по вестой. Есть подозрение, что дело в ftp. Буду копать дальше. Всем спасибо за участие.

Как увеличить скорость ftp передачи

Сообщения: 41
Благодарности: 2

Всем привет, есть сеть со скоростью 50 мбит. Speedtest подтверждает. Организовано так:
Приходит провод со статическим IP на коммутатор, тот раздает по нескольким ПК локалку с инетом. DHCP отключен, его в принципе нет в роутере, каждому ПК IP настроен вручную.
Есть главный сервер с базой данных, куда цепляются все ПК, но это не суть. Другие компы ничего тяжелого не качают.
Но когда я ставлю на скачивание файлы через FTP (Filezilla) то скорость скачивания очень низная, и скачет вверх-вниз, 20 — 800 кбит\сек
Если же выгружать с моего сервер или любого другого компа на чей то FTP, то скорость будет как и положено 5 мбит\сек

Некоторое время назад, где то с 3-4 месяца назад всё было в порядке, и загрузка 5 мбит\сек и выгрузка, но я не понимаю что произошло и теперь тенденция такая что себе скачивать скорости почти нет, а отдавать скорость максимум.
При том можете не спрашивать не блокируют ли меня и не ограничивают ли скорость, ибо нет, провайдер клянется что блоков нет, FTP с которым работаю админ тоже говорит что проблем не должно быть с их стороны

Помогите плиз разобраться

Сообщения: 2417
Благодарности: 465

Цитата Cooller89:

админ тоже говорит что проблем не должно быть с их стороны »

Это ещё не показатель. Тому админу могут быть элементарно до свечки ваши проблемы и нет желания их разгребать. Попробуйте какого-либо знакомого/соседа попросить поднять FTP-сервер и проверить с ним

Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Сообщения: 41
Благодарности: 2

dislike, да не, там очень заинтересованные люди. Да и я уже пробовал поднимать другой FTP и качать оттуда. Такая же байда

Сообщения: 2417
Благодарности: 465

Ладно, теперь с другого края:
1. Исключите из уравнения свой коммутатор, подключившись напрямую.
2. Если не поможет, попробуйте установить FTP клиент на любую другую машину/ноутбук для проверки
3. Если п2 решит проблему, то на своем ПК попробуйте для начала безопасный режим с поддержкой сети.

Сообщения: 41
Благодарности: 2

dislike, пробовал с другого ПК с другого провайдера, с другой программой. Скорость точно так же медленная