Cílem této bakalářské práce je návrh a implementace webového vyhledávače s web crawlerem, zaměřeného na efektivní vyhledávání, sběr a indexaci dat z webových stránek. V teoretické části se analyzuje struktura webových vyhledávačů, včetně principů web scraping technologií a indexovacích strategií. Praktická část popisuje realizaci systému pomocí platformy .NET, doplněnou o databáze Elasticsearch, Neo4j a Redis. Součástí praktické části je realizace rozhraní REST API pro snadnou integraci s dalšími aplikacemi. Testování aplikace potvrzuje schopnost systému rychle a přesně zpracovávat dotazy a poskytovat relevantní výsledky, čímž se prokazuje vysoká účinnost a robustnost navrženého řešení.
Anotace v angličtině
The aim of this bachelor thesis is to design and implement a web search engine with an integrated web crawler, focusing on efficient searching, collection, and indexing of data from web pages. The theoretical part analyzes the structure of web search engines, including the principles of web scraping technologies and indexing strategies. The practical section describes the system implementation using the .NET platform, supplemented with Elasticsearch, Neo4j, and Redis databases. The practical part also includes the implementation of a REST API for easy integration with other applications. Testing confirms the system's ability to process queries quickly and accurately and provide relevant results, thereby demonstrating the high efficiency and robustness of the proposed solution.
Klíčová slova
Webový vyhledávač, Web crawler, Indexace webových stránek, Extrakce dat z webu
Klíčová slova v angličtině
Web search engine, Web crawler, Web pages indexing, Web scraping
Rozsah průvodní práce
53 s. (77 014)
Jazyk
CZ
Anotace
Cílem této bakalářské práce je návrh a implementace webového vyhledávače s web crawlerem, zaměřeného na efektivní vyhledávání, sběr a indexaci dat z webových stránek. V teoretické části se analyzuje struktura webových vyhledávačů, včetně principů web scraping technologií a indexovacích strategií. Praktická část popisuje realizaci systému pomocí platformy .NET, doplněnou o databáze Elasticsearch, Neo4j a Redis. Součástí praktické části je realizace rozhraní REST API pro snadnou integraci s dalšími aplikacemi. Testování aplikace potvrzuje schopnost systému rychle a přesně zpracovávat dotazy a poskytovat relevantní výsledky, čímž se prokazuje vysoká účinnost a robustnost navrženého řešení.
Anotace v angličtině
The aim of this bachelor thesis is to design and implement a web search engine with an integrated web crawler, focusing on efficient searching, collection, and indexing of data from web pages. The theoretical part analyzes the structure of web search engines, including the principles of web scraping technologies and indexing strategies. The practical section describes the system implementation using the .NET platform, supplemented with Elasticsearch, Neo4j, and Redis databases. The practical part also includes the implementation of a REST API for easy integration with other applications. Testing confirms the system's ability to process queries quickly and accurately and provide relevant results, thereby demonstrating the high efficiency and robustness of the proposed solution.
Klíčová slova
Webový vyhledávač, Web crawler, Indexace webových stránek, Extrakce dat z webu
Klíčová slova v angličtině
Web search engine, Web crawler, Web pages indexing, Web scraping
Zásady pro vypracování
Cílem bakalářské práce je návrh a implementace nástroje realizující vyhledávání textů v rámci webových stránek. Nástroj bude disponovat vlastním web crawlerem pro sběr textů a jejich indexování.
V textové části práce budou popsány základní principy a koncepce návrhu webového vyhledáče založeného na indexování obsahu s užitím web crawleru. V textu práce budou popsány možnosti procházení webu, problematika procházení stránek generovaných v javascriptu na klientovi a obecné možnosti prohledávání zaznamenaného textu a jeho řazení dle relevance.
V praktické části bude zrealizován vlastní webový vyhledávač s web crawlerem. Backend webového vyhledávače bude zrealizován pomocí ASP.NET Core nabízející REST API. Web crawler bude zrealizován v C# a výsledky prohledávání budou indexovány do vybrané databáze či jiného úložiště.
Zásady pro vypracování
Cílem bakalářské práce je návrh a implementace nástroje realizující vyhledávání textů v rámci webových stránek. Nástroj bude disponovat vlastním web crawlerem pro sběr textů a jejich indexování.
V textové části práce budou popsány základní principy a koncepce návrhu webového vyhledáče založeného na indexování obsahu s užitím web crawleru. V textu práce budou popsány možnosti procházení webu, problematika procházení stránek generovaných v javascriptu na klientovi a obecné možnosti prohledávání zaznamenaného textu a jeho řazení dle relevance.
V praktické části bude zrealizován vlastní webový vyhledávač s web crawlerem. Backend webového vyhledávače bude zrealizován pomocí ASP.NET Core nabízející REST API. Web crawler bude zrealizován v C# a výsledky prohledávání budou indexovány do vybrané databáze či jiného úložiště.
Seznam doporučené literatury
LEVENE, Mark. An Introduction to Search Engines and Web Navigation. Wiley, 2011, 504 s. ISBN 9781118060346.
LOCK, Andrew. ASP.NET Core in action. Second edition. Shelter Island, NY: Manning, [2021]. ISBN 9781617298301.
Seznam doporučené literatury
LEVENE, Mark. An Introduction to Search Engines and Web Navigation. Wiley, 2011, 504 s. ISBN 9781118060346.
LOCK, Andrew. ASP.NET Core in action. Second edition. Shelter Island, NY: Manning, [2021]. ISBN 9781617298301.
Přílohy volně vložené
-
Přílohy vázané v práci
ilustrace, grafy, tabulky
Převzato z knihovny
Ne
Plný text práce
Přílohy
Posudek(y) oponenta
Hodnocení vedoucího
Záznam průběhu obhajoby
Cílem bakalářské práce bylo navrhnout a implementovat nástroje realizující vyhledávání textů v rámci webových stránek. Nástroj disponuje vlastním web crawlerem pro sběr textů a jejich indexování. V praktické části byl zrealizován vlastní webový vyhledávač s web crawlerem.
Student výborně prezentoval výsledky své bakalářské práce. Po přednesení posudku vedoucího bakalářské práce student zodpověděl dotazy vedoucího i členů komise pro státní závěrečné zkoušky.