Informační systém pro dolování dat z Internetu

Pro firmu ENGINN EFFECT jsem vyvinul a provozoval prototyp informačního systému pro dolování dat z internetu pro účely rešeršní činnosti. S takto získanými daty nebo články můžou uživatele následně pracovat pomocí přehledné webové aplikace …

Informační systém pro dolování dat z Internetu

Systém pro dolování dat z webových stránek na míru

Vytvořil jsem a provozoval prototyp informačního systému pro procházení (tzv. "crawling" nebo "crawlování") webových stránek a dolování dat z internetu, který pomáhá zaměstnancům firmy ENGINN EFFECT při rešeršní činnosti. Tento informační systém prochází zadané internetové portály, ze kterých načítá nové články vydané na daných portálech a tyto články následně ukládá do vlastní databáze a indexuje je. S takto indexovanou databázi článků následně pracují zaměstnanci firmy pomocí přehledné aplikace.

Prochází články na internetu

Do systému je možné zadat libovolný počet webových stránek nebo internetových portálů, které systém následně automaticky prochází a stahuje z nich nové články. Každý portál při tom používá jiný front end a jinou strukturu HTML a dat. Systém umožňuje nadefinovat jednotlivé prvky HTML webových stránkách, které obsahují text článků a umí tak univerzálně pracovat s jakýmkoliv zdrojem. Některé internetové magazíny mají přístup k článkům zpoplatněn. Systém se umí také k vybraným portálům přihlásit a používat placený přístup.

Tvoří databázi a indexuje

Takto získané data z internetu následně systém ukládá do vlastní databáze, kde je indexuje a umožňuje v nich vyhledávání a filtrování dle zadaných kritérií. Veškerá práce se systém probíhá pomocí uživatelského rozhraní webové aplikace, které lze použít také na mobilních zařízeních.

Rozhraní pro zaměstnance firmy

Pomocí webového rozhraní se k systému můžou přihlašovat zaměstnanci firmy a používat jej pro rešeršní činnost. Uživatelé systémů mají možnost v indexovaných článcích libovolně vyhledávat, třídit je a hodnotit. Systém umožňuje také definovat jednotlivé témata a kritéria hodnocení jednotlivých článků pro dané témata. Systém pro vytvořené témata automaticky na základě hodnocení článků před vybírá ty články, které jsou pro dané téma zajímavé. Zároveň umožňuje jednotlivým uživatelům přidat k článku manuální uživatelské hodnocení a tak případně upřednostnit některé články pro jednotlivá témata.

Rozhraní pro zákazníka firmy

Informační systém pro dolování dat z internetu také umožňuje jak zaměstnancům firmy, tak přímo zákazníkům firmy, zasílat měsíční reporty nalezených článků. Celý informační systém je online a obsahuje také webové rozhraní pro zákazníky firmy. Informační systém umožňuje jednotlivým zákazníkům přiřadit a zpřístupnit pouze některé vybrané články a témata. Následně se můžou zákazníci do systému přihlásit pomocí jména a hesla a používat také vybrané funkce systémů, včetně prohledávání témat, případně se také podílet na hodnocení jednotlivých článků v tématech.

Potřebujete podobný informační systém?

Pokud potřebujete podobný systém pro procházení ("crawling" nebo "crawlování") webových stránek a dolování dat z internetu, kontaktujte mě, rád s Vámi proberu Váš projekt …

Michal Strelec,

Ing. Michal Strelec |
michal@strelec.pro |
+420 608 407 544

Poslat zprávu Reference

Jsem softwarový inženýr na volné noze a zkušený vývojář informačních systémů a webových aplikací na míru. Nabízím dlouhodobé a spolehlivé partnerství při vývoji, provozu, rozšiřování a podpoře softwarového řešení. Mám přes 15 let zkušeností a úspěšně jsem realizoval více než 35 projektů webových aplikací a informačních systémů. Kancelář mám v hlavním městě Praha, své služby ale poskytuji také na dálku po celé České republice.

Zajímá Vás více informací?

Přečtěte si podrobněji, jak budeme postupovat při vývoji softwaru na míru, nebo si stáhněte moji vizitku s podrobnými informacemi v PDF. Pokud Vás blíže zajímá moje práce, prohlédněte si moje reference, nebo mě kontaktujte a zeptejte se na více informací …

Další podobné články

Podpora ERP systému

Podpora ERP systému

Provoz softwaru v cloudu se těší stále větší oblibě. Nemusí to ale znamenat, že jeho součástí bude také podpora. Ať už svůj ERP systém provozujeme v cloudu nebo ne, měli bychom si k němu zajistit alespoň základní úroveň podpory …

Informační systém na míru sám posbírá objednávky od partnerů přes API

Informační systém na míru sám posbírá objednávky od partnerů přes API

Rozsáhlou síť prodejních kanálů nebo obchodních partnerů prodávajících Vaše služby Vám pomůže zkrotit informační systém na míru, který bude automaticky sbírat objednávky bez zásahu obchodních zástupců nebo dispečerů …

Co je to API?

Co je to API?

Na API typicky narazíte pokud potřebujete propojit dva různé informační systémy nebo aplikace tak, aby spolu komunikovali a vyměňovali si navzájem data …

Tvorba webových aplikací

Tvorba webových aplikací

Zajímá Vás tvorba webových aplikací? Jsem zkušený vývojář a tvorba webových aplikací na míru je moje specializace. Neváhejte mě kontaktovat, rád Vám nabídnu zkušenosti, které jsem nasbíral při tvorbě řady úspěšných webových aplikací na míru …

Webový crawler pro sběr článků z internetu

Webový crawler pro sběr článků z internetu

Pro projekt Addmention jsem vyvinul webový crawler, který pravidelně různými způsoby prochází internetové média, nachází v nich nové články a ty stahuje a transformuje do unifikovaného formátu a spolu s dalšími metadaty je poskytuje přes API internímu systému k dalšímu zpracování …