Deel 1 | Hammer Goldmine | Introductie

Bij Hammer streven we ernaar te vinden wat anderen niet kunnen vinden. Helaas kost het vaak veel tijd om te vinden wat anderen niet kunnen vinden. Daarom zoeken we, naast ons reguliere werk op het gebied van marktinformatie, voortdurend naar manieren om onze workflow te stroomlijnen. Ons grootste en meest recente project in dit kader is de ontwikkeling van een intern datawarehouse. Door ons eigen datawarehouse te creëren, hebben we meer controle over de manier waarop we de data structureren en labelen, waardoor het gemakkelijker wordt om nuttige informatie te vinden die verborgen zit in de enorme hoeveelheid data die tegenwoordig online beschikbaar is.

Binnen de Hammer-organisatie zijn in het verleden ideeën besproken voor een interne database. Het concurrentievoordeel is duidelijk wanneer je sneller bruikbare informatie kunt verkrijgen dan je concurrenten. Het onderhouden en annoteren van een grote database is echter een vervelende en tijdrovende taak. De afweging viel daarom negatief uit en de ideeën voor een dergelijke database bleven op de backlog staan. Pas met de recente technologische ontwikkelingen kwamen de ideeën voor een intern datawarehouse nadrukkelijker naar voren. Wat als we deze database niet zelf hoeven te onderhouden? Kunnen we een database bouwen die ons zonder menselijke tussenkomst bruikbare informatie verschaft?

Dit is het startpunt van Hammer Goldmine.

Voor Hammer Goldmine bouwen we een autonome database die voortdurend mogelijk bruikbare informatie inleest en deze toewijst aan verschillende categorieën die relevant zijn voor de verschillende typen projecten waaraan we werken (of zullen werken).

In de komende weken belichten we de afzonderlijke onderdelen van de Goldmine-pipeline en hoe we verwachten dat deze onze workflow zullen verbeteren. De Goldmine-architectuur kan worden onderverdeeld in drie segmenten:

1. Een scraper

2. Een machinelearningmodel

3. Een database/zoekmachine

In onze volgende blog bespreken we deel 2 van Hammer Goldmine: de implementatie, scrapers en het AI-model achter de database. Blijf op de hoogte!