Современный скрапинг веб-сайтов с помощью Python. 2-е межд. издание

Современный скрапинг веб-сайтов с помощью Python. 2-е межд. издание

Если программирование напоминает волшебство, то веб-скрапинг — это очень сильное колдунство. Написав простую автоматизированную программу, можно отправлять запросы на веб-серверы, запрашивать с них данные, а затем анализировать их и извлекать необходимую информацию. Новое расширенное издание книги знакомит не только с веб-скрапингом, но и поможет собрать любого вида данные в современном Интернете. В части I основное внимание уделено механике веб-скрапинга: как с помощью Python запрашивать информацию с веб-сервера, производить базовую обработку серверного отклика и организовать автоматизированное взаимодействие с сайтами. В части II исследованы более специфичные инструменты и приложения, которые пригодятся при любом сценарии веб-скрапинга.- Разбирайте сложные HTML-страницы.- Разрабатывайте поисковые роботы с помощью фреймворка Scrapy.- Изучайте методы хранения данных, полученных с помощью скрапинга.- Считывайте и извлекайте данные из документов.- Очищайте и нормализуйте плохо отформатированные данные.- Читайте и пишите информацию на естественных языках.- Освойте поиск по формам и логинам.- Изучите скрапинг JavaScript и работу с API.- Используйте и пишите программы для преобразования изображений в текст.- Учитесь обходить скрапинговые ловушки и блокаторы ботов.- Протестируйте собственный сайт с помощью скрапинга.

Если программирование напоминает волшебство, то веб-скрапинг - это очень сильное колдунство. Написав простую автоматизированную программу, можно отправлять запросы на веб-серверы, запрашивать с них данные, а затем анализировать их и извлекать необходимую информацию. Новое расширенное издание книги знакомит не только с веб-скрапингом, но и поможет собрать любого вида данные в современном Интернете. В части I основное внимание уделено механике веб-скрапинга: как с помощью Python запрашивать информацию с веб-сервера, производить базовую обработку серверного отклика и организовать автоматизированное взаимодействие с сайтами. В части II исследованы более специфичные инструменты и приложения, которые пригодятся при любом сценарии веб-скрапинга. - Разбирайте сложные HTML-страницы. - Разрабатывайте поисковые роботы с помощью фреймворка Scrapy. - Изучайте методы хранения данных, полученных с помощью скрапинга. - Считывайте и извлекайте данные из документов. - Очищайте и нормализуйте плохо отформатированные данные. - Читайте и пишите информацию на естественных языках. - Освойте поиск по формам и логинам. - Изучите скрапинг JavaScript и работу с API. - Используйте и пишите программы для преобразования изображений в текст. - Учитесь обходить скрапинговые ловушки и блокаторы ботов. - Протестируйте собственный сайт с помощью скрапинга. 2-е международное издание.

Изучите методы скрапинга и краулинга веб-сайтов, чтобы получить доступ к неограниченному объему данных в любом уголке Интернета в любом формате. С помощью этого практического руководства вы узнаете, как использовать скрипты Python и веб-API, чтобы одновременно собрать и обработать данные с тысяч или даже миллионов веб-страниц. Идеально подходящая для программистов, специалистов по безопасности и веб-администраторов, знакомых с языком Python, книга знакомит не только с основными принципами работы веб-скраперов, но и углубляется в более сложные темы, такие, как анализ сырых данных или использование скраперов для тестирования интерфейса веб-сайта. Примеры программного кода, приведенные в книге, помогут разобраться в этих принципах на практике. Инструменты и примеры, приведенные в этой книге, позволяют легко автоматизировать несколько повторяющихся задач, высвобождая время для решения более насущных проблем. Это легко читаемая, ориентированная на конкретный результат книга, рассказывающая о реальных проблемах и решениях.

Изучите методы скрапинга и краулинга веб-сайтов, чтобы получить доступ к неограниченному объему данных в любом уголке Интернета в любом формате. С помощью этого практического руководства вы узнаете, как использовать скрипты Python и веб-API, чтобы одновременно собрать и обработать данные с тысяч или даже миллионов веб-страниц. Идеально подходящая для программистов, специалистов по безопасности и веб-администраторов, знакомых с языком Python, книга знакомит не только с основными принципами работы веб-скраперов, но и углубляется в более сложные темы, такие, как анализ сырых данных или использование скраперов для тестирования интерфейса веб-сайта. Примеры программного кода, приведенные в книге, помогут разобраться в этих принципах на практике. Инструменты и примеры, приведенные в этой книге, позволяют легко автоматизировать несколько повторяющихся задач, высвобождая время для решения более насущных проблем. Это легко читаемая, ориентированная на конкретный результат книга, рассказывающая о реальных проблемах и решениях.

Изучите методы скрапинга и краулинга веб-сайтов, чтобы получить доступ к неограниченному объему данных в любом уголке Интернета в любом формате. С помощью этого практического руководства вы узнаете, как использовать скрипты Python и веб-API, чтобы одновременно собрать и обработать данные с тысяч или даже миллионов веб-страниц. Идеально подходящая для программистов, специалистов по безопасности и веб-администраторов, знакомых с языком Python, книга знакомит не только с основными принципами работы веб-скраперов, но и углубляется в более сложные темы, такие, как анализ сырых данных или использование скраперов для тестирования интерфейса веб-сайта. Примеры программного кода, приведенные в книге, помогут разобраться в этих принципах на практике. Инструменты и примеры, приведенные в этой книге, позволяют легко автоматизировать несколько повторяющихся задач, высвобождая время для решения более насущных проблем. Это легко читаемая, ориентированная на конкретный результат книга, рассказывающая о реальных проблемах и решениях.

Глубокое обучение динамично развивается, открывая все новые и новые возможности создания ПО. Это не только автоматический перевод текстов с одного языка на другой, распознавание изображений, но и многое другое. Глубокое обучение превратилось в важный навык, необходимый каждому разработчику. Keras и TensorFlow облегчают жизнь разработчикам и позволяют легко работать даже тем, кто не имеет фундаментальных знаний в области математики или науки о данных.Настала пора познакомиться с глубоким обучением и мощной библиотекой Keras! В этом расширенном и дополненном издании создатель библиотеки Keras — Франсуа Шолле — делится знаниями и с новичками, и с опытными специалистами. Иллюстрации и наглядные примеры помогут вам разобраться с самыми сложными вопросами и концепциями. Вы быстро приобретете навыки, необходимые для разработки приложений глубокого обучения.

C помощью технологии CSS3 (каскадные таблицы стилей) можно создавать уникальные, современные оформления веб-сайтов. Но даже самый опытный веб-разработчик может не знать всех приемов применения CSS3. Прочитав в этой книге множество практических примеров, а также советов, вы перейдете на новый уровень создания сайтов с помощью HTML и CSS. Вы узнаете, как разрабатывать веб-страницы, которые одинаково быстро работают и одинаково выглядят, как на ПК, так и на смартфонах и планшетах. В книге рассмотрены следующие темы: написание HTML5-, CSS3-тегов, которые распознаются во всех браузерах; форматирование текста, добавление на страницы навигации; создание таблиц и форм; приемы веб-дизайна для создания уникального оформления сайтов; создание сайтов для любых устройств с помощью адаптивного дизайна. 3-е издание.

В этой книге вы найдете все, что необходимо знать для создания отличных веб-сайтов. Начав с изучения принципов функционирования Интернета и веб-страниц, к концу книги вы освоите приемы создания сложных сайтов, включая таблицы стилей CSS и графические файлы, и научитесь размещать страницы во Всемирной паутине. Книга включает упражнения, с помощью которых вы освоите разнообразные техники работы с современными веб-стандартами (включая HTML5 и CSS3). На диске - описанные в книге программы и примеры. 4-е издание.

Книга посвящена созданию веб-сайтов на языке Python с использованием веб-фреймворка Django 3.0. Рассмотрены новинки Django 3.0 и дано наиболее полное описание его инструментов: моделей, контроллеров, шаблонов, средств обработки пользовательского ввода, включая выгруженные файлы, разграничения доступа, посредников, сигналов, инструментов для отправки электронной почты, кэширования и пр. Рассмотрены дополнительные библиотеки, производящие обработку BBCode-тегов, CAPTCHA, вывод графических миниатюр, аутентификацию через социальные сети (в частности, ""ВКонтакте""), интеграцию с Bootstrap. Рассказано о программировании веб-служб REST, использовании и настройке административного веб-сайта Django, публикации сайтов с помощью веб-сервера Uvicorn, работе с базами данных PostgreSQL, кэшировании сайтов с помощью Memcached и Redi. Подробно описано создание полнофункционального веб-сайта - электронной доски объявлений, веб-службы, работающей в его составе, и тестового фронтенда для нее, написанного на Angular. Электронное приложение-архив на сайте издательства содержит коды всех примеров.

Книга посвящена созданию веб-сайтов на языке Python с использованием веб-фреймворка Django 3.0. Рассмотрены новинки Django 3.0 и дано наиболее полное описание его инструментов: моделей, контроллеров, шаблонов, средств обработки пользовательского ввода, включая выгруженные файлы, разграничения доступа, посредников, сигналов, инструментов для отправки электронной почты, кэширования и пр. Рассмотрены дополнительные библиотеки, производящие обработку BBCode-тегов, CAPTCHA, вывод графических миниатюр, аутентификацию через социальные сети (в частности, "ВКонтакте"), интеграцию с Bootstrap. Рассказано о программировании веб-служб REST, использовании и настройке административного веб-сайта Django, публикации сайтов с помощью веб-сервера Uvicorn, работе с базами данных PostgreSQL, кэшировании сайтов с помощью Memcached и Redi. Подробно описано создание полнофункционального веб-сайта - электронной доски объявлений, веб-службы, работающей в его составе, и тестового фронтенда для нее, написанного на Angular.Электронное приложение-архив на сайте издательства содержит коды всех примеров.

Книга посвящена созданию веб-сайтов на языке Python с использованием веб-фреймворка Django 3.0. Рассмотрены новинки Django 3.0 и дано наиболее полное описание его инструментов: моделей, контроллеров, шаблонов, средств обработки пользовательского ввода, включая выгруженные файлы, разграничения доступа, посредников, сигналов, инструментов для отправки электронной почты, кэширования и пр. Рассмотрены дополнительные библиотеки, производящие обработку BBCode-тегов, CAPTCHA, вывод графических миниатюр, аутентификацию через социальные сети (в частности, "ВКонтакте"), интеграцию с Bootstrap. Рассказано о программировании веб-служб REST, использовании и настройке административного веб-сайта Django, публикации сайтов с помощью веб-сервера Uvicorn, работе с базами данных PostgreSQL, кэшировании сайтов с помощью Memcached и Redi. Подробно описано создание полнофункционального веб-сайта - электронной доски объявлений, веб-службы, работающей в его составе, и тестового фронтенда для нее, написанного на Angular. Электронное приложение-архив на сайте издательства содержит коды всех примеров.

Книга посвящена созданию веб-сайтов на языке Python с использованием веб-фреймворка Django 3.0. Рассмотрены новинки Django 3.0 и дано наиболее полное описание его инструментов: моделей, контроллеров, шаблонов, средств обработки пользовательского ввода, включая выгруженные файлы, разграничения доступа, посредников, сигналов, инструментов для отправки электронной почты, кэширования и пр. Рассмотрены дополнительные библиотеки, производящие обработку BBCode-тегов, CAPTCHA, вывод графических миниатюр, аутентификацию через социальные сети (в частности, "ВКонтакте"), интеграцию с Bootstrap. Рассказано о программировании веб-служб REST, использовании и настройке административного веб-сайта Django, публикации сайтов с помощью веб-сервера Uvicorn, работе с базами данных PostgreSQL, кэшировании сайтов с помощью Memcached и Redi. Подробно описано создание полнофункционального веб-сайта - электронной доски объявлений, веб-службы, работающей в его составе, и тестового фронтенда для нее, написанного на Angular. Электронное приложение-архив на сайте издательства содержит коды всех примеров.

В этой книге приводится подробное руководство по основным областям применения языка Python, таким как системное администрирование, построение графических пользовательских интерфейсов и создание веб-приложений. Вы также узнаете, как язык Python используется в базах данных, сетях, внешних интерфейсах сценариев, обработке текста и т.д. Основное внимание в книге уделяется часто применяемым инструментам и библиотекам, которые помогут получить полное представление о многих ролях Python в реальном программировании. Вы изучите синтаксис языка и методы программирования на множестве примеров, которые иллюстрируют правильное использование и общепринятые идиомы. Книга обновлена с учетом версии языка Python 3.x, который демонстрируется в качестве инструмента разработки программного обеспечения в многочисленных примерах кода, подобранных специально для этой цели. "В главах этой книги описан очень обширный материал - от устранения неполадок до спецификаций проектирования, с прицелом на реалистичные задачи и избежание распространенных препятствий." - Дайан Донован, California Bookwatch. Как применять язык Python после освоения его основ? Эта книга предлагает подробное руководство по основным областям применения языка, среди которых системное администрирование, построение графических пользовательских интерфейсов и создание веб-приложений. В ней рассматриваются особенности использования Python в базах данных, сетях, внешних интерфейсах сценариев, обработке текста и многом другом. Сосредоточившись на часто применяемых инструментах и библиотеках, вы обретете более глубокое понимание роли Python в реальном программировании. Вы изучите синтаксис языка и методы программирования на множестве примеров, которые иллюстрируют правильное использование и общепринятые идиомы. Книга обновлена с учетом версии языка Python 3.x, который демонстрируется в качестве инструмента разработки программного обеспечения в многочисленных примерах кода, подобранных специально для этой цели. Основные темы книги Краткий тур по языку Python. С помощью простой демонстрации ознакомьтесь с такими темами, как представление данных, объектно-ориентированное программирование, постоянство объектов, графические пользовательские интерфейсы и основы веб-сайтов. Системное программирование. Изучите инструменты и приемы использования системного интерфейса для написания сценариев командной строки, обработки файлов и каталогов, параллельного запуска программ и многого другого. Построение графических пользовательских интерфейсов. Научитесь использовать библиотеку виджетов tkinter для создания полнофункциональных пользовательских интерфейсов. Программирование для Интернета. Получите доступ к сетевым протоколам на стороне клиента и инструментам электронной почты, используйте сценарии CGI и изучите приемы реализации веб-сайтов. Дополнительные способы применения Python. Реализуйте структуры данных, анализируйте текстовую информацию, взаимодействуйте с базами данных, а также расширяйте и встраивайте Python. 4-е издание.