Tietoa KalevalaBotista
Mitä hakurobottimme noutaa, kuinka usein, mitä se säilyttää ja miten käsket sen lopettaa.
Mikä se on
KalevalaBot on pieni joukko ohjelmia, joita ajamme löytääksemme työtä: se lukee julkisia hankintailmoituksia, julkisia yritysrekistereitä ja lyhyen listan valitsemiamme verkkosivuja ja kertoo meille, mitkä niistä ovat vilkaisun arvoisia. Se tunnistautuu jokaisessa pyynnössä muodossa
KalevalaBot/0.1 (+https://kalevala.dev/docs/bot; toimeksianto@kalevala.dev)Mistä se lukee
- Viralliset tietorajapinnat ensin: EU:n TED-ilmoitushaku ja Britannian Find a Tender julkisiin hankintoihin, Nasdaq Helsingin julkiset yhtiötiedotteet sekä Suomen kaupparekisterin avoin data (PRH) yrityksen y-tunnuksen, verkkosivun ja toimialan selvittämiseen. Nämä on julkaistu juuri tällaista uudelleenkäyttöä varten.
- Seuraamiemme yritysten julkiset rekrytointijärjestelmien rajapinnat (Greenhouse, Lever, Ashby, Recruitee, Workable, SmartRecruiters, Personio), luetaan muutaman tunnin välein: vain tehtävänimikkeet ja määrät. Löytääkseen yrityksen rekrytointisivun se lukee yrityksen etusivun ja urasivun kerran ja kokeilee sivun nimeä kussakin järjestelmässä.
- Muutaman talous- ja startup-uutissivuston RSS-syötteet puolen tunnin välein: otsikot ja syötteen oma tiivistelmä, ei mitään maksumuurin takaa.
- Julkiset varmenteiden läpinäkyvyyslokit (Cert Spotterin kautta), jotta huomaamme, kun seuraamamme yritys saa varmenteen uudelle palvelinnimelle. Lokit ovat julkisia tarkoituksella; tallennamme palvelinnimet ja päivämäärät emmekä vieraile uusilla osoitteilla.
- Pienen listan tavallisia verkkosivuja, enimmäkseen muiden ohjelmistoyritysten omia sivuja, noudetaan kerran päivässä muutosten havaitsemiseksi, ja niiden julkiset asiakastarinasivut kerran viikossa sen näkemiseksi, mitä organisaatioita ne nimeävät asiakkaikseen.
- Applen julkiset App Store -haku- ja arvostelusyötteet, jotta näemme, miten seuraamiemme yritysten sovelluksia arvioidaan; säilytämme sovelluksen nimen ja arvosanan sekä lyhyitä lainauksia arvosteluista, emme koskaan arvostelijoiden nimiä.
- Omien asiakkaidemme etusivut puolen tunnin välein, jotta huomaamme, kun sivusto on alhaalla tai hidas, ennen heitä.
- Jo tuntemiemme organisaatioiden etusivun kerran kuukaudessa sen kirjaamiseksi, millä sivusto on rakennettu; ja kun tutkimme yritystä, käsin tai automaattisesti, sen etusivun ja enintään kaksi sivua siitä, mitä se tekee.
Se ei koskaan kirjaudu mihinkään, ei täytä lomakkeita, ei ratkaise CAPTCHA-tehtäviä eikä koskaan käytä välityspalvelimia alkuperänsä piilottamiseen.
Miten se käyttäytyy sivustollasi
- Se lukee ensin
robots.txt-tiedoston ja noudattaa sitä, mukaan lukien*-säännöt. Palvelinvirherobots.txt-tiedostossa tulkitaan "älä nouda". - Enintään yksi pyyntö viiden sekunnin välein sivustoa kohden, ja se hidastaa, kun sivusto vastaa 429 tai 503.
- Se kysyy, onko sivu muuttunut, ennen kuin lataa sen uudelleen (ETag ja Last-Modified).
- Se noudattaa
tdm-reservation-otsakkeita ja muita koneluettavia kieltoja.
Tämän sivuston avustaja
Pieni keskustelu kalevala.devissä vastaa Kalevala.deviä koskeviin kysymyksiin näiden sivujen pohjalta, englanniksi tai suomeksi, ja kieltäytyy kaikesta muusta, mukaan lukien koodin kirjoittamisesta. Keskustelut tallennetaan, jotta näemme, mitä ihmiset kysyvät, ja voimme parantaa vastauksia: viestit, sivu, kieli ja maa, ei koskaan osoitettasi tai laitettasi. Jos jätät nimesi ja sähköpostisi yhteydenottoa varten, viestisi tallennetaan myös kuten yhteydenottolomakkeen kautta lähetetty. Kirjoita osoitteeseen toimeksianto@kalevala.dev, jos haluat keskustelun poistettavan. Vastausten lukeminen ääneen, jos kytket sen päälle, käyttää selaimesi omia ääniä; mitään ääntä ei lähde laitteeltasi.
Mitä se säilyttää
Faktoja organisaatioista ja mahdollisuuksista: ostajan nimi, ilmoituksen otsikko, määräaika ja arvo, yrityksen avoinna olevat tekniset tehtävät, millä sivusto on rakennettu, lyhyt tiivistelmä, jonka kirjoitamme kielimallin avulla. Raakakopiot noudetusta poistetaan 90 päivän kuluttua; faktat 24 kuukauden kuluttua. Ihmisistä ei kerätä mitään: ei nimiä, ei sähköposteja, ei profiileja.
Näin saat sen lopettamaan
Lisää robots.txt-tiedostoon sääntö KalevalaBot-nimelle tai kirjoita osoitteeseen toimeksianto@kalevala.dev verkkotunnuksesi kanssa. Kiellot otetaan huomioon vuorokauden sisällä ja pidetään pysyvästi.