Aws ec2 что это

AWS EC2-сервис и работа с ним

Всем привет. Уже на следующей неделе стартуют занятия по курсу «Облачные сервисы». Предлагаем вашему вниманию краткий пересказ открытого урока «AWS EC2-сервис». Его провёл Егор Зуев, преподаватель и специалист по облачным сервисам с более чем 10-летним опытом работы. В рамках данного семинара мы рассмотрели EC2-сервис от платформы AWS, закодировали и развернули простое приложение, подняли базу данных, а также рассмотрели репликацию образов и балансировщики нагрузок.

Обзор сервиса AWS EC2

EC2 (elastic compute cloud) — это сервис, который предоставляет вычислительные мощности путем предоставления виртуальных/физических машин с заранее созданными образами операционных систем (например, Ubuntu, Debian, Windows).

Типы инстансов, доступные для выбора:

Что касается образов, то в AWS EC2 используется AMI (Amazon machine image) — он же образ заготовленной операционной системы, которую будет применять инстанс EC2. Ближайшая аналогия — виртуальный диск с уже установленной системой, например, в Virtual Box.

Важно знать, что когда мы настраиваем машину и выбираем образ, нам нужно будет настроить доступ. Так как машина будет находиться в облаке, нам и другим пользователям надо будет к ней достучаться. Для этого настраиваем Security group — набор правил (policy), который применяется к инстансу EC2 и включает в себя разрешения на входящий и исходящий трафик.

Работа с консолью

Сразу после регистрации на сервисе вы попадаете в консоль AWS EC2. Там можно выбрать EC2 и тип машины, на которой будем всё разворачивать. В нашем случае выбираем Ubuntu Server.

Важный момент: на шаге № 2 нас интересует t2micro (помечен зелёным стикером), т. к. всё остальное будет платным.

В следующих трёх шагах настройки оставляем по умолчанию, а вот шагу № 6 следует уделить особое внимание. Здесь нужно ввести название группы, например, backend-security-group, а потом сразу добавить правило, чтобы из внешнего мира можно было подключиться только по 80-му порту.

На седьмом шаге нажимаем Launch и запускаем инстанс. Но перед этим система попросит создать ключ для подключения по ssh. Когда все шаги пройдены, на инициализацию уйдёт 1-2 минуты.

Созданный инстанс назовём backend.

Подробное видео по настройкам.

Подключение

Если кто забыл о тонкостях подключения, сервис заботливо об этом подскажет:

Можно использовать для подключения отдельную программу, например, Bitvise SSH Client — очень удобный инструмент.

У машины сразу доступны публичный и приватный IP-адреса. Публичный используем для допуска к машине, который вбиваем, обращаясь к ней по ssh. В качестве username пишем ubuntu, потом импортируем созданный нами ключ. Останется лишь залогиниться на машине. Кстати, все действия будем выполнять из-под рута, для перехода в который набираем команду sudo su.

Подробности подключения.

Подключаем базу данных

В качестве базы данных было принято решение использовать PostgreSQL. Для продолжения работы создаём новый инстанс со следующими настройками:

ставим 16 Гб в колонке Size (шаг № 4);
Security group name называем database-security-group (шаг № 6);
добавляем правило в конфигурации, выбирая PostgreSQL из вложенного списка (шаг № 6).

В итоге получаем в консоли два инстанса — backend и database.

Подробности подключения БД.

Создаём и разворачиваем приложение

Создаём новый проект, используя WebStorm и Node.js. Наша задача — написать простое приложение, которое будет делать всего две вещи — отвечать на пинги и считать количество запросов-обращений к определённому end point и, соответственно, выдавать его.

Разворачивать приложение будем в два этапа. Для развёртывания заходим на машину, именуемую backend, делаем апдейт, устанавливаем Node.js, делаем git clone, устанавливаем библиотеки.

Далее поднимаем базу. Обратите внимание, что Node и Postgres у нас работают на разных машинах. Момент истины — подключение к приложению через публичный адрес. Ура, всё работает!

Следующий этап — создание собственного AMI-образа, который будет для нас доступен. На базе этого AMI-образа мы сможем сделать копию нашего бэкенда и развернуть её в два клика. Для этого переходим в «Image» — «Create Image».

Создав образ, делаем необходимые настройки. Опций совсем немного: например, нужно указать минимальный размер жёсткого диска. Речь идёт о размере снапшота, то есть по сути будет сниматься снапшот с жёсткого диска, на котором у нас всё установлено. Можно сказать, что AMI — это виртуальная сущность, состоящая из настроек образа и снапшота с установленной ОС (в нашем случае, ОС с установленным Node.js, и нашим приложением).

Важный момент: на создание снапшота уйдёт около пяти минут, на протяжении которых машина будет в статусе hold (чем «жирнее» ваш образ, тем больше по времени будет hold).

Назовём образ, к примеру, backend-ami. Имя представлено здесь:

После создания образа мы можем сделать его репликацию и получить такую же копию машины буквально в несколько кликов. И подсоединиться к машинам не по отдельности, а через балансировщики нагрузок. Предлагается несколько балансировщиков на выбор, которые различаются алгоритмами балансировки. Настройка выбранного балансировщика сложностей не вызовет, хотя есть нюансы, о которых важно помнить.

Прайс-модели

AWS EC2 предлагает 4 прайс-модели. В скриншоте ниже представлены описания трёх из них: Reserved, Spot Market и On-Demand. Кстати, на открытом уроке мы использовали модель On-Demand.

Подробнее о моделях.

Кроме возможности выбора моделей, AWS EC2-сервис хорош ещё и тем, что он интегрирован (как и многие другие продукты AWS) с системой мониторинга от AWS – Cloudwatch. Данная система мониторинга гибко настраивается и позволяет следить как за расходом ресурсов, так и бюджета. Буквально в несколько кликов можно настроить лимит на использование EC2 ресурсов, при превышении которого вы получите соответствующее уведомление, например, по почте.

Остаётся добавить, что открытый урок получился весьма содержательным. И если эта тема вам интересна, лучше посмотрите вебинар полностью, чтобы ничего не пропустить.

Блог компании OTUS
Облачные сервисы

Amazon EC2

Amazon Elastic Compute Cloud (Amazon EC2) — это web-сервис, предоставляющий изменяемую вычислительную ёмкость в облаке. Он предназначен для облегчения разработчикам организации вычислений web-масштаба.

[править] Начало работы

Для работы нам понадобится:

платёжная карта, которую принимает Amazon (VISA [1] или Mastercard подойдёт);
компьютер с белым IP-адресом. Программы Amazon EC2 tools, которые мы будем использовать, могут работать с Amazon только с белого адреса [2][3] .

В среде окружения так же должны быть указаны учётные данные для подключения к AWS:

[править] Amazon EC2

$ ec2-run-instances ami-cf36d3a6 -k pstam-keypair RESERVATION r-2472fe4d 217945249311 default INSTANCE i-a26505cb ami-cf36d3a6 pending pstam-keypair 0 m1.small 2009-04-04T14:31:38+0000 us-east-1a $ ec2-authorize default -p 22 GROUP default PERMISSION default ALLOWS tcp 22 22 FROM CIDR 0.0.0.0/0

[править] Внутри узла

$ ssh -i id_rsa-pstam-keypair root@ec2-174-129-97-248.compute-1.amazonaws.com The authenticity of host 'ec2-174-129-97-248.compute-1.amazonaws.com (174.129.97.248)' can't be established. RSA key fingerprint is 6c:23:d8:71:ee:68:33:92:62:7a:6b:fd:b8:90:7f:6c. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'ec2-174-129-97-248.compute-1.amazonaws.com,174.129.97.248' (RSA) to the list of known hosts. Linux domU-12-31-39-02-ED-38 2.6.16-xenU #1 SMP Mon May 28 03:41:49 SAST 2007 i686 The programs included with the Debian GNU/Linux system are free software; the exact distribution terms for each program are described in the individual files in /usr/share/doc/*/copyright. Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law.

root@domU-12-31-39-02-ED-38:~# cat /proc/cpuinfo processor : 0 vendor_id : AuthenticAMD cpu family : 15 model : 65 model name : Dual-Core AMD Opteron(tm) Processor 2218 HE stepping : 3 cpu MHz : 2599.998 cache size : 1024 KB fdiv_bug : no hlt_bug : no f00f_bug : no coma_bug : no fpu : yes fpu_exception : yes cpuid level : 1 wp : yes flags : fpu tsc msr pae mce cx8 apic mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt lm 3dnowext 3dnow pni cx16 lahf_lm cmp_legacy svm cr8legacy ts fid vid ttp tm stc bogomips : 5202.24

# free total used free shared buffers cached Mem: 1740944 273812 1467132 0 83256 151412 -/+ buffers/cache: 39144 1701800 Swap: 917496 0 917496

# df -h Filesystem Size Used Avail Use% Mounted on /dev/sda1 4.0G 335M 3.5G 9% / tmpfs 851M 0 851M 0% /lib/init/rw udev 10M 20K 10M 1% /dev tmpfs 851M 4.0K 851M 1% /dev/shm /dev/sda2 147G 188M 140G 1% /mnt

# ifconfig -a eth0 Link encap:Ethernet HWaddr 12:31:39:02:ed:38 inet addr:10.248.242.198 Bcast:10.248.243.255 Mask:255.255.254.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:118 errors:0 dropped:0 overruns:0 frame:0 TX packets:75 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:13088 (12.7 KiB) TX bytes:12194 (11.9 KiB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)

Данные экземпляров виртуальных машин живут до выключения машины. Как только машина выключается (перезагрузка не в счёт), её данные удаляются.

[править] Регионы и зоны EC2

Всего, на настоящий момент, существует пять регионов EC2:

Запад США (us-west-1a);
Восток США (us-east-1a);
Западная Европа, физическое размещение в Ирландии (eu-west-1a).
Сингапур [4]
Япония [5]

$ ec2-describe-regions REGION eu-west-1 ec2.eu-west-1.amazonaws.com REGION us-east-1 ec2.us-east-1.amazonaws.com REGION us-west-1 ec2.us-west-1.amazonaws.com

Зоны незначительно отличаются по цене (Европа дороже) и значительно по времени распространения сигнала.

Например, при обращении из Киева западноевропейский регион отвечает намного быстрее:

%$ sudo hping3 -p 80 -S eu-west-1.ec2.amazonaws.com HPING eu-west-1.ec2.amazonaws.com (venet0:0 87.238.86.31): S set, 40 headers + 0 data bytes len=44 ip=87.238.86.31 ttl=236 DF sport=80 flags=SA seq=0 win=8190 rtt=61.5 ms len=44 ip=87.238.86.31 ttl=236 DF sport=80 flags=SA seq=1 win=8190 rtt=60.6 ms --- eu-west-1.ec2.amazonaws.com hping statistic --- 2 packets transmitted, 2 packets received, 0% packet loss round-trip min/avg/max = 60.6/61.0/61.5 ms

Восток США медленнее:

$ sudo hping3 -p 80 -S us-east-1.ec2.amazonaws.com HPING us-east-1.ec2.amazonaws.com (venet0:0 207.171.168.16): S set, 40 headers + 0 data bytes len=44 ip=207.171.168.16 ttl=245 DF sport=80 flags=SA seq=0 win=8190 rtt=125.4 ms len=44 ip=207.171.168.16 ttl=245 DF sport=80 flags=SA seq=1 win=8190 rtt=125.8 ms len=44 ip=207.171.168.16 ttl=245 DF sport=80 flags=SA seq=2 win=8190 rtt=129.6 ms --- us-east-1.ec2.amazonaws.com hping statistic --- 3 packets transmitted, 3 packets received, 0% packet loss round-trip min/avg/max = 125.4/126.9/129.6 ms

И запад ещё медленнее:

%$ sudo hping3 -p 80 -S us-west-1.ec2.amazonaws.com HPING us-west-1.ec2.amazonaws.com (venet0:0 204.246.160.140): S set, 40 headers + 0 data bytes len=44 ip=204.246.160.140 ttl=238 DF sport=80 flags=SA seq=0 win=8190 rtt=216.6 ms len=44 ip=204.246.160.140 ttl=238 DF sport=80 flags=SA seq=1 win=8190 rtt=229.6 ms --- us-west-1.ec2.amazonaws.com hping statistic --- 3 packets transmitted, 2 packets received, 34% packet loss round-trip min/avg/max = 216.6/223.1/229.6 ms

Просмотр зон в пределах региона:

$ ec2-describe-availability-zones -U https://ec2.eu-west-1.amazonaws.com AVAILABILITYZONE eu-west-1a available eu-west-1 AVAILABILITYZONE eu-west-1b available eu-west-1

SSH-ключи для Европы и США разные. Нужно их создавать заново.

Подробнее о зонах EC2:

http://www.ducea.com/2008/12/11/amazon-ec2-european-cloud/ (англ.)
http://www.cloudclimate.com/ec2-eu (англ.) — мониторинг европейского региона

[править] IP-адреса

[править] Amazon EBS

Данные на диске виртуальной машины уничтожаются, после того как она останавливается. Поэтому чтобы данные могли пережить останов и запуск системы, нужно использовать внешние хранилища.

Elastic Block Storage (EBS) — виртуальное блочное устройство, которое можно присоединять к экземпляру виртуальной машины. Изнутри виртуальной машины EBS видится как обычное блочное устройство, грубо говоря, как обычный жёсткий диск.

EBS доступно только в пределах той зоны, в которой работает виртуальная машина. Данные блочного устройства не реплицируются и никаким другим образом не распределяются между зонами. Для хранения долговременных бэкапов Amazon рекомендует использовать S3, которое в отличие от EBS реплицируется.

Физически тома EBS находятся на NAS, который физически подключён к узлу виртуализации с помощью того же сетевого соединения, что и внешняя сеть. Это означает, что сетевой трафик виртуальной машины и дисковый трафик на EBS фактически делят одно сетевое соединение между собой.

Размер тома может находиться в диапазоне от 1GB до 1TB.

Аренда тома оплачивается помесячно исходя из расчёта: $0.10 за 1GB.

За тома берутся отдельные деньги!

Операции (и программы) для работы с томами EBS:

CreateVolume (ec2-create-volume) — создать новый том EBS;
DeleteVolume (ec2-delete-volume) — удалить том (снимки остаются);
DescribeVolumes (ec2-describe-volumes) — перечислить тома с дополнительной информацией о них (size, source snapshot, Availability Zone, creation time, status (available, in-use)).
AttachVolume (ec2-attach-volume) — присоединить том (том в отдельный момент времени можно подключить только к одной машине);
DetachVolume (ec2-detach-volume) — отсоединить том;
CreateSnapshot (ec2-create-snapshot) — создать снимок (snapshot);
DeleteSnapshot (ec2-delete-snapshot) — удалить снимок;
DescribeSnapshots (ec2-describe-snapshots) — вывести список снимков с дополнительной информацией о них (source volume, snapshot initiation time, progress (percentage complete), status (pending, completed)).
ModifySnapshotAttribute (ec2-modify-snapshot-attribute) — изменить права доступа к снимку;
DescribeSnapshotAttribute (ec2-describe-snapshot-attribute) —показать права доступа к снимку.

Создание нового тома:

%$ ec2addvol -z us-east-1a -s 25 VOLUME vol-ebef0f82 25 us-east-1a creating 2009-04-04T15:22:01+0000 %$ ec2-describe-volumes VOLUME vol-ebef0f82 25 us-east-1a available 2009-04-04T15:22:01+0000

%$ ec2-attach-volume -d /dev/sdb -i i-a26505cb vol-ebef0f82

$ ec2-describe-volumes VOLUME vol-ebef0f82 25 us-east-1a in-use 2009-04-04T15:22:01+0000 ATTACHMENT vol-ebef0f82 i-a26505cb /dev/sdb attached 2009-04-04T15:24:38+0000

В гостевой системе:

# cat /proc/partitions major minor #blocks name 8 2 156352512 sda2 8 3 917504 sda3 8 1 4194304 sda1 8 16 26214400 sdb

%# echo ';' | sfdisk /dev/sdb %# mkfs.ext3 /dev/sdb1 %# mkdir /mnt2 %# mount /dev/sdb1 /mnt2 %# df -h /mnt2

%# df -h /mnt2 Filesystem Size Used Avail Use% Mounted on /dev/sdb1 25G 173M 24G 1% /mnt2

Отключить том можно так:

%$ ec2detvol vol-ebef0f82 ATTACHMENT vol-ebef0f82 i-a26505cb /dev/sdb detaching 2009-04-04T15:24:38+0000

И удалить том, если он больше не нужен (данные, разумеется, будут удалены!):

%$ ec2-delete-volume vol-ebef0f82

Блочное устройство может быть подключено только к одному домену одновременно. Даже в режиме «только для чтения» это сделать нельзя. Доступ из нескольких узлов к одному устройству в режиме readonly можно получить, если создать на его основе снимки (snapshots) [6] .

Подробнее о EBS:

http://aws.amazon.com/ebs/ (англ.)
Using EBS (англ.) — технические подробности

[править] Эфемерное хранилище (ephemeral storage)

Специальный вид блочных устройств, которые могут использоваться в инстанциях EC2.

Этот тип хранилища отличается следующими особенностями:

Хранилище подключено локально к инстанции;
Хранилище исчезает при выключении инстанции;
Это может быть SSD или традиционный жёсткий диск (в зависимости от типа инстанции);
Размер хранилища определяется типом инстанции;

Размер и тип хранилища в зависимости от типа инстанции можно найти здесь:

[править] Высокопроизводительные хранилища

A minimum ratio of 1:30 between the EBS volume size and the IOPS is needed. This means a volume size of 334GiB can provide 10.000 IOPS. Please see our documentation for further reference: http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EBSVolumeTypes.html#EBSVolumeTypes_piops 'A Provisioned IOPS (SSD) volume can range in size from 4 GiB to 16 TiB and you can provision up to 20,000 IOPS per volume. The ratio of IOPS provisioned to the volume size requested can be a maximum of 30; for example, a volume with 3,000 IOPS must be at least 100 GiB. You can stripe multiple volumes together in a RAID configuration for larger size and greater performance.\u2018

[править] Интерфейсы командной строки

[править] AWS CLI

[править] Amazon EC2 tools

API Command Line Tools Reference (англ.)

[править] AWS Tools for Windows PowerShell

[править] Supercharged AWS CLI — Расширенный AWS CLI

donnemartin/saws

[править] Поддержка операционных систем

[править] Linux

[править] Solaris

Solaris на Amazon EC2 поддерживается.

http://www.sun.com/third-party/global/amazon/faq/index.jsp
http://blogs.sun.com/ec2/ — Блог Sun посвящённый запуску OpenSolaris на EC2; содержит много полезной информации

[править] FreeBSD

С 13 декабря 2010 FreeBSD на Amazon EC2 поддерживается.

From: Colin Percival To: "freebsd-xen@freebsd.org" Subject: FreeBSD/EC2 lives! User-Agent: Mozilla/5.0 (X11; U; FreeBSD amd64; en-US; rv:1.9.1.11) Gecko/20100803 Thunderbird/3.0.6 X-Enigmail-Version: 1.0.1 Hi freebsd-xen people and wannabe FreeBSD/EC2 users, Thanks to a month of bug fixing and a lot of help from Amazon, FreeBSD is now available on EC2: http://www.daemonology.net/blog/2010-12-13-FreeBSD-on-EC2.html Only for 9.0-CURRENT and only t1.micro instances so far, though -- but we're moving in the right direction. :-) -- Colin Percival Security Officer, FreeBSD | freebsd.org | The power to serve Founder / author, Tarsnap | tarsnap.com | Online backups for the truly paranoid

FreeBSD на Amazon EC2 пока не поддерживается.

Date: Wed, 28 Apr 2010 22:05:32 -0700 From: Colin Percival First, an update on the state of FreeBSD/EC2: Amazon is cooperative, but seems unlikely that it will be possible to run FreeBSD in EC2 until some deficiencies in FreeBSD's Xen code have been fixed. FreeBSD's 32-bit Xen code is missing some important bits; FreeBSD's 64-bit Xen code doesn't exist at all. These two issues are more or less independent. Once the FreeBSD kernel's Xen code works on EC2, I believe I can take care of the userland bits and produce an AMI quite quickly. I believe that the best person to write this kernel code is Kip Macy; but he can't afford to work on this without getting paid, so I'm trying to find people who can contribute -- or to put it another way, "figure out what being able to run FreeBSD in EC2 is worth to the community". If you're still interested in running FreeBSD in EC2, please reply with the following information: 1. How many instances, of which types, would you expect to use? 2. Which is more important to you, 32-bit support (small and medium instances) or 64-bit support (large, XL, 2XL, and 4XL instances)? 3. What sort of applications would you be running on EC2? (general-purpose servers, video encoding, databases, bandwidth-heavy serving, etc.) 4. Can you provide any funding for development? (if yes, how much?) I'd like to hear from you even if you can't provide any funding, but obviously "yes" is better than "no" for that last question. If you're at a company which might be able to contribute but you need to talk to your CEO, please reply with a "maybe" and let me know when that turns into a dollar (or zero-dollar) value.

[править] NetBSD

Появилась с 14 марта 2011 [7] .

Готовые образы AMI с NetBSD:

Как создать AMI с NetBSD:

[править] Windows

Поддержка Windows 2008 R2 появилась в марте 2011 года.

[править] Типы инстанций

В Amazon EC2 поддерживаются инстанции, работающих в одном из двух режимов:

режиме полной виртуализации (HVM);
паравиртуальном режиме.

Инстанции некоторых типов могут работать в любом из этих режимов. Какой именно режим используется определяется при запуске инстанции. Большинство типов инстанций работает только в режиме полной виртуализации, и их число постоянно увеличивается.

В каком режиме могут работать какие типы инстанций:

Amazon Linux AMI Instance Type Matrix (англ.)

Преимущества и недостатки каждого режима:

Linux AMI Virtualization Types (англ.)

Amazon EC2 Instances (англ.)

Сверхбольшие инстанции X1:

X1 instances, the largest Amazon EC2 memory-optimized instance with 2 TB of memory (англ.) — This machines have 2TB of memory, 4TB of ephemeral SSD plus 128 vCPUs.

[править] Сеть

[править] Виртуальное частное облако (VPC)

http://aws.amazon.com/vpc
http://aws.amazon.com/vpc/faqs/
ec2-create-vpc (англ.)
Amazon Virtual Private Cloud. User Guide (англ.)

[править] Группа размещения (Placement Group)

Placement group — логическая группа инстанций внутри одной зоны. Инстансы, размещённые внутри одной группы, связаны друг с другом на скорости 10Gb с минимальным временем отклика.

Не все типы инстанций поддерживают группу размещения,а только инстанции типов m4, c4, c3, r3, d2, g2 и x1.

Чтобы в полной мере использовать группу на полной скорости, нужно чтобы инстанция поддерживала 10Gb-подключение.

Рекомендуется использовать инстанции одного типа (хотя можно и разного).

Нельзя добавить существующую инстанцию в группу. Нужно создать на её основе образ и после этого пересоздать инстанцию.

Группа создаётся так:

ec2-create-placement-group group_name -s cluster

При запуске инстанции (с помощью ec2-run-instances) группа размещения указывается так:

--placement-group group_name

[править] Поддержка широковещательного (broadcast/multicast) трафика

Широковещательный трафик в Amazon EC2 не поддерживается. Конечно, можно использовать самодельные решения на основе различных VPN-систем, которые эмулируют поддержку широковещательного трафика.

Другой способ — рассылать широковещательный трафик по unicast (грубо говоря).

Существует несколько способов реализующих эту задачу, один из них:

IP Multicast on ec2 @ SlideShare (англ.)
L2 Broadcast on EC2-VPC — Ruby-скрипт, реализующий broadcast через unicast’ы
ec_multicast.sh (англ.)

Подробнее об tc mirred:

http://build.onelab.eu/4.0/onelab/2007.05.30—cvs-rc3-svn-tags/CODEBASE/iproute/doc/actions/mirred-usage
http://ldd6410.googlecode.com/svn/trunk/utils/iproute2/doc/actions/mirred-usage

[править] Создание собственных образов

Amazon Machine Images (AMI) (англ.) — что такое AMI, как его создать и как его использовать

[править] Импорт существующих

Ограничения по импорту и экспорту:

VM Import/Export Prerequisites (англ.)

[править] Образы основанные на EBS

ec2-create-volume --size 10 --availability-zone us-east-1a ec2-attach-volume vol-yyyyyyyy --instance i-xxxxxxxx --device /dev/sdh yes | mkfs -t ext3 /dev/sdh mkdir /mnt/ebsimage echo '/dev/sdh /mnt/ebsimage ext3 defaults,noatime 0 0' >> /etc/fstab mount /mnt/ebsimage nohup dd if=/dev/sda1 of=/dev/sdh & ps -aef | grep dd kill -SIGUSR1 pid umount /mnt/ebsimage ec2-detach-volume vol-yyyyyyyy ec2-create-snapshot vol-yyyyyyyy ec2reg -s snap-zzzzzzzz -a x86_64 -d Description -n imagename

Creating an Instance Store-Backed Linux AMI (англ.)
You Should Use EBS Boot Instances on Amazon EC2 (англ.) — почему стоит использовать «EBS Backed»-инстанции вместо instance-store

[править] Передача данных внутрь инстанций

Передавать пользовательские данные внутри инстанций можно с помощью —user-data (-d) в AWS CLI Tools или соответствующих ему параметрах в других аналогичных средствах:

ec2-run-instances ami-7db9940a -t m3.medium -k mykeys -d "A=10"

Если данные закодировать с помощью base64, то они будут автоматически исполняться с помощью cloud-init, в том случае если он есть в образе:

ec2-run-instances ami-7db9940a -t m3.medium -k mykeys -d $(cat example-init.sh | base64 -w0)

Журнал находится в файле /var/log/cloud-init-output.log.

Если данные не удаётся декодировать из Base64, они будут проигнорированы, но их в будущем можно будет достать по адресу:

Аналогичным образом осуществляется доступ к метаданным. В них находится большое количество информации об инстанции.

Instance Metadata and User Data (англ.)

Этот механизм в особенности удобно использовать с cloud-init, который предназначен для инициализации облачных инстанций. Работает в сочетании с Chef, Puppet и так далее, а так же без них.

В Amazon Linux он уже встроен изначально, а в другие Linux-инстанции можно поставить самостоятельно. Подробнее о том, как это сделать:

How do I set up cloud-init on custom AMIs in AWS? (CentOS)

[править] AWS API

У AWS есть API, поддерживающий большое количество различных языков, в том числе Java (и JVM-based языки), .NET (и все .NET-based языки) и Python.

Список официально поддерживаемых клиентов/языков:

Одним из важнейших языков является Python и библиотека boto. Эта библиотека (а точнее её часть boto core) является основной инструментов командной строки AWS CLI.

[править] Python (boto)

https://github.com/boto/boto — репозиторий
http://aws.amazon.com/sdkforpython/ — домашняя страница boto на Amazon
boto: A Python interface to Amazon Web Services (англ.) — документация

Getting Started with Boto (англ.)
Boto Configuration Tutorial (англ.)

Работа с частными облаками (VPC) с помощью boto:

Scripting AWS with Boto (англ.)

Скрипт, создающий VPC:

https://gist.github.com/garnaat/5154370

[править] Аутентификация

Вспомогательные средства для аутентификации AWS и управления учётными записями AWS:

AFP: secure cloud authentication for machines and humans (англ.) + слайды по теме (haenel-afp-v2.0.pdf) + afp

[править] Другие службы Amazon Web Services

Compute
- Elastic Compute Cloud (EC2)
- Elastic MapReduce (EMR)
- Auto Scaling
- Kinesis
- Lambda
- EC2 Container Service (ECS)
- CloudFront
- DynamoDB2
- DynamoDB
- Relational Data Services 2 (RDS)
- Relational Data Services (RDS)
- ElastiCache
- Redshift
- SimpleDB
- CloudFormation
- Elastic Beanstalk
- Data Pipeline
- Opsworks
- CloudTrail
- CodeDeploy
- Identity and Access Management (IAM)
- Security Token Service (STS)
- Key Management Service (KMS)
- Config
- CloudHSM
- Cloudsearch 2
- Cloudsearch
- CloudSearch Domain
- Elastic Transcoder
- Simple Workflow Service (SWF)
- Simple Queue Service (SQS)
- Simple Notification Service (SNS)
- Simple Email Service (SES)
- Amazon Cognito Identity
- Amazon Cognito Sync
- Amazon Machine Learning
- CloudWatch
- CloudWatch Logs
- Route 53
- Route 53 Domains
- Virtual Private Cloud (VPC)
- Elastic Load Balancing (ELB)
- AWS Direct Connect (Python 3)
- Flexible Payments Service (FPS)
- Simple Storage Service (S3)
- Amazon Glacier
- Google Cloud Storage
- Mechanical Turk
- Other
- Marketplace Web Services
- Support
[править] Public Data Sets

Тома EBS могут создаваться на основе уже существующих томов, наполненных общедоступными данными. Например, такими, как:
- статистика доступа к серверам Wikipedia;
- база OpenStreetMap;
- метеорологические данные за период 1929-2009, полученные с нескольких тысяч станций всего мира;
- база энциклопедии freebase.
[править] Книги
- Programming Amazon EC2 (Paperback), Jurg van Vliet, Flavia Paganelli, March 2011 — книга по Amazon EC2 от O’Reily (наверное, самая хорошая книга по Amazon EC2, которая есть на данный момент)
- Programming Amazon Web Services: S3, EC2, SQS, FPS, and SimpleDB, Book by Murty, James, April 2008
- AWS Administration — The Definitive Guide – 12. Februar 2016
- Mastering AWS Development – 30. Juni 2015
- Learning AWS – 30. Juli 2015
- Amazon Web Services in Action by Michael Witting, Andreas Wittig — 5. November 2015
[править] Дополнительная информация
- Amazon Elastic Compute Cloud
  - Ec2 Resource Center на сайте Amazon
  - Technical Documentation for EC2 on сайте Amazon
  - Amazon EC2 API Tools (англ.) — утилиты для управления виртуальными машинами EC2
  - Using Amazon S3 from Amazon EC2 with Ruby (англ.)
  - Feature Guide: Amazon EC2 Availability Zones (англ.)
  - Exploring Amazon EC2
  - Cloud versus cloud: A guided tour of Amazon, Google, AppNexus, and GoGrid (англ.) — сравнение нескольких облаков вычислений
  - How to create an Amazon Elastic Compute Cloud EC2 Machine Image (AMI) (англ.) — о том как заточить свой собственный AMI; простая и подробная дока
  - [1] Неплохой AMI на Ubuntu с NX
  - [2] Неплохой AMI на Ubuntu, голый, без X
  - s3fs (англ.) — файловая система, работающая через FUSE, позволяющая монтировать S3 как блочное устройство
  Дополнительные инструменты для управления специализированными облаками в EC2:
  - cloudtools (англ.) — инструменты для упрощения развёртывания и администрирования облака J2EE приложений внутри облака EC2
  - Cloudera’s Distribution for Hadoop (англ.) — готовое решения для запуска Hadoop в EC2; есть AMI
  [править] Разные эксперименты с ec2
  - Installing OpenVZ on Amazon EC2 (англ.)
  [править] Примечания
  1. ↑ Но не каждая
  2. ↑Это связано с библиотеками Java, которые они используют.Вот здесь подробнее:. Архивировано из первоисточника 2012-09-21.
  3. ↑ Прокси использовать можно, если между ним и вами и между ним и ими нет дополнительной трансляции адресов:
```
EC2_JVM_ARGS=-Dhttp.proxySet=true -Dhttp.proxyHost=gatekeeper-w.mitre.org -Dhttp.proxyPort=80 -Dhttps.proxySet=true -Dhttps.proxyHost=gatekeeper-w.mitre.org -Dhttps.proxyPort=80
```
  Какой сервер использовать для обращения:
```
EC2_URL=https://exec.amazon.com
```
  Amazon EC2
  
  Amazon Elastic Compute Cloud (Amazon EC2) — веб-сервис, который предоставляет вычислительные мощности в облаке. Сервис входит в инфраструктуру Amazon Web Services.
  
  Простой веб-интерфейс сервиса позволяет получить доступ к вычислительным мощностям и настроить с минимальными затратами ресурсы. Он предоставляет пользователям полный контроль над вычислительными ресурсами, а также доступную среду для работы. Сервис сокращает время, необходимое для получения и загрузки нового сервера.
  
  Функциональность EC2 [1]
  
  С помощью EC2 можно:
  - создать Amazon Machine Image (AMI), который будет содержать ваши приложения, библиотеки, данные и связанные с ними конфигурационные параметры. Или использовать заранее настроенные шаблоны образов для работы;
  - загрузить AMI в Amazon S3. Amazon EC2 предоставляет инструменты, для хранения AMI. Amazon S3 обеспечивает безопасное, надёжное и быстрое хранилище для хранения образов;
  - использовать Amazon EC2 Веб-сервис для настройки безопасности и сетевого доступа;
  - выбирать тип(ы) операционной системы, какой вам необходим, запустить, завершить, или контролировать несколько AMI по мере необходимости, используя APIВеб-сервиса, или различных инструментов управления, которые предусмотрены;
  - определить необходимость работать в нескольких местах, использовать статический IP или другие варианты;
  - платить только за ресурсы, которые вы собираетесь потреблять, такие как время или передача данных.
  Примечания
  
  См. также
  - Amazon SimpleDB
  - Amazon Simple Storage Service (Amazon S3)
  - Amazon CloudFront
  - Amazon Simple Queue Service (Amazon SQS)
  - Amazon Relational Database Service (Amazon RDS)
  Ссылки
  - Amazon.com
  - Облачные вычисления
  - Сайты по алфавиту
  Wikimedia Foundation . 2010 .
  
  Полезное
  
  Смотреть что такое «Amazon EC2» в других словарях:
  - Amazon Elastic Compute Cloud — ou EC2 est un service proposé par Amazon permettant à des tiers de louer des serveurs sur lesquels exécuter leurs propres applications web. EC2 permet un déploiement extensible des applications en fournissant une interface web par laquelle un… … Wikipédia en Français
  - Amazon CloudWatch — ist Bestandteil des Amazon Web Services. Es handelt sich um einen Dienst, der verschiedene Möglichkeiten bietet die eigenen Amazon Web Service (AWS) Ressourcen zu überwachen. Mit CloudWatch werden Daten zur Leistung und Ausnutzung von Systemen… … Deutsch Wikipedia
  - Amazon SimpleDB — Amazon SimpleDB сервис, предоставляющий ядро функций базы данных, а именно индексирование данных и выполнение запросов. Данный сервис тесно взаимодействует с сервисами Amazon S3 и Amazon EC2, в совокупности они предоставляют возможности для … Википедия
  - Amazon.com — Amazon.com, Inc. Type Public Traded as NASDAQ: AMZN NASDAQ 100 Component … Wikipedia
  - Amazon S3 — Amazon Simple Storage Service (Amazon S3) онлайновая веб служба, предлагаемая Amazon Web Services, предоставляющая возможность для хранения и получения любого объёма данных, в любое время из любой точки сети, так называемый файловый хостинг … Википедия
  - Amazon SQS — Amazon Simple Queue Service (Amazon SQS) сервис принимает очереди сообщений для хранения. При использовании Amazon SQS, разработчики могут просто переместить данные, распределённые между компонентами своих приложений, которые выполняют… … Википедия
  - Amazon Web Services — Тип среда разработки веб фреймворк Разработчик Amazon Лицензия не лицензируется Сайт aws.amazon.com Amazon Web Services (AWS) инфраструктура Web Services платформы в об … Википедия
  - Amazon CloudFront — Amazon CloudFront Веб сервис, для доставки контента(содержания). Amazon CloudFront интегрируется с другими Amazon Web Services. Цель сервиса дать разработчикам и предприятиям простой способ распространять контент для конечных… … Википедия
  - Amazon Simple Email Service — (SES) один из облачных веб сервисов от компании Amazon.com. SES предлагает пользователям своих сервисов (AWS) инфраструктуру по отправке большого числа почтовой корреспонденции. История Amazon объявило о выходе услуги на рынок 25 января 2011 года … Википедия
  - Amazon.cn — Amazon.com Pour les articles homonymes, voir Amazone. Logo de Amazon.com, Inc. Cré … Wikipédia en Français
  - Обратная связь: Техподдержка, Реклама на сайте
  - �� Путешествия
  Экспорт словарей на сайты, сделанные на PHP,
  WordPress, MODx.
  - Пометить текст и поделитьсяИскать в этом же словареИскать синонимы
  - Искать во всех словарях
  - Искать в переводах
  - Искать в ИнтернетеИскать в этой же категории
  Похожие публикации:

Aws ec2 что это

AWS EC2-сервис и работа с ним

Обзор сервиса AWS EC2

Работа с консолью

Подключение

Подключаем базу данных

Создаём и разворачиваем приложение

Прайс-модели

Популярно об Amazon Web Services

Amazon Elastic Compute Cloud (EC2)

Описание

Функциональность

Типы серверов

Биллинг

Amazon Simple Storage (S3)

Тезисы

Интерфейсы

Биллинг

Amazon Relational Database Service (RDS)

Описание

Типы RDS инстансов

Биллинг

Route 53

Описание

Биллинг

Simple Queue Service (SQS)

Описание

Биллинг

Simple Email Service (SES)

Описание

Функционал

Amazon Cloud Watch

Описание

Биллинг

AWS Identity and Access Management (IAM)

Описание

Биллинг

Послесловие

Amazon EC2

[править] Начало работы

[править] Amazon EC2

[править] Внутри узла

[править] Регионы и зоны EC2

[править] IP-адреса

[править] Amazon EBS

[править] Эфемерное хранилище (ephemeral storage)

[править] Высокопроизводительные хранилища

[править] Интерфейсы командной строки

[править] AWS CLI

[править] Amazon EC2 tools

[править] AWS Tools for Windows PowerShell

[править] Supercharged AWS CLI — Расширенный AWS CLI

[править] Поддержка операционных систем

[править] Linux

[править] Solaris

[править] FreeBSD

[править] NetBSD

[править] Windows

[править] Типы инстанций

[править] Сеть

[править] Виртуальное частное облако (VPC)

[править] Группа размещения (Placement Group)

[править] Поддержка широковещательного (broadcast/multicast) трафика

[править] Создание собственных образов

[править] Импорт существующих

[править] Образы основанные на EBS

[править] Передача данных внутрь инстанций

[править] AWS API

[править] Python (boto)

[править] Аутентификация

[править] Другие службы Amazon Web Services

[править] Public Data Sets

[править] Книги

[править] Дополнительная информация

[править] Разные эксперименты с ec2

[править] Примечания

Amazon EC2

Функциональность EC2 [1]

Примечания

См. также