Как парсить данные с сайта java
Для парсинга данных с веб-сайта в Java можно использовать библиотеку Jsoup .
- Добавьте зависимость в файл build.gradle :
dependencies implementation 'org.jsoup:jsoup:1.14.3' > - Создайте экземпляр класса Document , передав в качестве параметра URL адрес страницы:
import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import java.io.IOException; public class Main public static void main(String[] args) throws IOException Document doc = Jsoup.connect("https://www.example.com/").get(); System.out.println(doc.title()); > > - Используйте методы класса Document для получения нужных элементов страницы, например:
// Получить все ссылки на странице Elements links = doc.select("a[href]"); for (Element link : links) System.out.println(link.attr("href")); > // Получить текст заголовка страницы String title = doc.title(); System.out.println(title); Пример выше показывает, как получить все ссылки на странице и текст заголовка страницы. С помощью Jsoup вы также можете извлекать другие элементы страницы, такие как изображения, таблицы, формы и т. д.
Парсить картинки с jsoup сайта
Парсить данные одного сайта со стороны клиента со страницы другого сайта
Есть 2 сайта. 1 — не мой 2 — мой. Мне нужно сделать следующее : Как только пользователь.
Парсинг сайта jsoup
Доброго времени суток. Есть сайт с проксями. Нужно спарсить прокси в таком виде: proxy:port.
Jsoup парсинг сайта
Помогите пожалуйста. Пытаюсь получить названия книг с сайта livelib. Но он ничего не парсит. Все.
Парсинг сайта Jsoup
Всем привет. Изучаю Java, поставил перед собой задачу спарсить сайт. Немного разобрался с.
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
Помогаю со студенческими работами здесь
Jsoup Получить таймер с сайта
Привет дорогой друг если ты читаешь это значит я уже устал искать ответ и решил задать вопрос на.
Парсинг данных с сайта с использованием jsoup
Доброго времени суток, делаю парсинг новостей с сайта в приложение. Смысл такой, на 1 активность.
Jsoup Парсинг сайта в таблицу (GridView)!
Здравствуйте! Подскажите новичку почему этот код на ListView работает, а на GridView приложение.
Дождаться полной загрузки сайта jsoup
Имеется сайт для парсинга и библиотека jsoup, проблема в том, что данные на сайте появляются не.
Лёгкий парсинг HTML с помощью jsoup
Возможно, когда-нибудь вам будет необходимо получить информацию с какого-либо сайта либо HTML-документа в своем приложении, и я без лишних слов скажу, что использование библиотеки jsoup существенно упростит вашу задачу. Как говорится на wiki, jsoup — это Java-библиотека с открытым исходным кодом, предназначенная для анализа, извлечения и управления данными, хранящимися в документах HTML.
Быстрый старт
Библиотеку можно скачать в виде jar файла и поместить в проект, а также подключить с помощью Maven/Gradle. Ссылку на официальный сайт я оставлю в конце статьи: там вы сможете найти актуальную версию библиотеки. В примере будем использовать подключение через Maven. Добавим зависимость:
org.jsoup jsoup 1.11.3
Использование
Первым делом вам необходимо получить экземпляр класса Document из org.jsoup.nodes.Document с указанием на источник для разбора. Им может выступать как локальный файл, так и ссылка. Для примера, в данной статье мы будем использовать сайт yandex.ru и попытаемся получить их актуальную новостную ленту:
Document doc = Jsoup.connect("https://yandex.ru/") .userAgent("Chrome/4.0.249.0 Safari/532.5") .referrer("http://www.google.com") .get();
User Agent является идентификатором, который сообщается посещаемому сайту. На многих сайтах он является важнейшим критерием для антиспам фильтра. Referrer содержит URL источника запроса. Метод get() вызывает обрабатываемое исключение IOException, так что мы можем обернуть все в try/catch блок, либо просто перебросить его дальше с помощью throws . На данный момент мы получили исходный код данной страницы. При необходимости библиотека jsoup сама может восстановить поврежденные элементы. Теперь нам остается лишь сузить поиск до отдельного блока. Метод select() имеет большую выборку в использовании: он позволяет искать элементы по тегу, атрибутам, классу и другим параметрам. Почти все современные браузеры поддерживают возможность быстрого поиска исходного кода выбранного элемента. Нехитрыми манипуляциями, мы находим исходный код нужного нам элемента и получаем div блок с указанным классом, его мы и будем использовать для выборки. Воспользуемся классом Elements из org.jsoup.select.Elements, для выборки всех элементов из нашего выбранного блока.
Elements listNews = doc.select("div#tabnews_newsc.content-tabs__items.content-tabs__items_active_true");
Сейчас мы имеем что то вроде этого: Теперь нам остается лишь использовать небольшой цикл для пробора всех элементов:
for (Element element : listNews.select("a")) System.out.println(element.text());
Метод text() позволяет отбросить код разметки и оставляет лишь сочетание текста для всех входящих элементов. Результат выполнения будет таков: Нетрудно заметить, что реальное количество полученных строк не соответствует фактическому отображению на странице. В этом и заключаются подводные камни. Если посмотреть исходный код разметки, можно заметить, что последняя новость анимационно меняется с определенным интервалом времени. Часть таких «камней» решается дополнительной выборкой, ну и конечно тестами. Может оказаться так, что первые пять элементов будут содержать нужную нам информацию, а на шестом элементе будет лишь заскриптованная пустая строка. Бывает и такое, что блоки не будут обладать какими-либо идентификаторами, тогда есть возможностью прямо указать с помощью метода get(int index) на номер позиции рассматриваемого элемента.
System.out.println(listNews.select("a").get(2).text());
Заключение
В данном примере показана лишь малая часть того, на что способен jsoup. Не стоит отменять и тот факт, что сайты нередко обновляются, изменяя структуру кода разметки, так что при работе с парсингом нужно быть готовым адаптироваться к изменениям. Больше информации и актуальную версию вы можете получить на официальном сайте jsoup.org, более подробно почитать про классы и методы можно по ссылке o7planning.org. Оставлю ссылку на мой github, на момент написания статьи там находится несколько Telegram-ботов, которые используют Jsoup для получения и выдачи информации.
Как спарсить картинку через java и jsoup?
Помогите пожалуйста, пытаюсь спарсить со страницы картинку, но бросает эксепшин на строке
Document doc = connection.url(«4pda.ru/forum/index.php?»).get();
Что я делаю не так?
mContext = context; LayoutInflater inflater = (LayoutInflater) context.getSystemService(Context.LAYOUT_INFLATER_SERVICE); mView = inflater.inflate(R.layout.login, null); username_edit = (EditText) mView.findViewById(R.id.username_edit); captcha_edit = (EditText) mView.findViewById(R.id.captcha_edit); captcha_image = (ImageView) mView.findViewById(R.id.captcha_image); password_edit = (EditText) mView.findViewById(R.id.password_edit); privacy_checkbox = (CheckBox) mView.findViewById(R.id.privacy_checkbox); String ClassName = "ipbtable"; try < String url = "http://4pda.ru/forum/index.php?act=Login&CODE=01"; Connection connection=Jsoup.connect(url); connection.method(Connection.Method.GET); connection.referrer("http%3A%2F%2F4pda.ru%2Fforum%2Findex.php%3F"); connection.ignoreHttpErrors(true); connection.timeout(1000); connection.data("act", "login"); Connection.Response res = connection.execute(); Document doc = connection.url("http://4pda.ru/forum/index.php?").get(); Elements wrapper = doc.select(ClassName).eq(0); Elements img = wrapper.select("img").eq(0); String imageUrlStr = img.attr("src"); Bitmap mIcon11 = null; URL newUrl = new URL(imageUrlStr); URLConnection urlConn = newUrl.openConnection(); InputStream stream = urlConn.getInputStream(); mIcon11 = BitmapFactory.decodeStream(stream); captcha_image.setImageBitmap(mIcon11); >catch (Exception e)
- Вопрос задан более трёх лет назад
- 2172 просмотра
2 комментария
Оценить 2 комментария