Sallitko kävijämittauksen?

Mittaamme Google Analyticsilla luettuja sivuja ja yhteydenottojen määrää, jos sallit sen. Emme kerää nimiä, yhteystietoja emmekä kirjoittamiasi tekstejä.Google Analytics, vain luvallasi.

Esikatselu: tässä osoitteessa mittausta ei ladata, vaikka sallisit sen.

Kokeile FLAI:ta

FLAI-lukija

FLAI lukee sivuja kohteliaasti.

FLAI-lukija on Lehmus Labsin tekoälymoottorin osa, joka avaa julkisia verkkosivuja, kun joku kysyy FLAI:lta jotain. Se noudattaa sivuston robots.txt-tiedostoa, rajoittaa kuormaansa, kertoo aina kuka se on ja lopettaa pyynnöstä.

Ylläpitäjä: Lehmus Labs Oy, Lappeenranta
Tunniste: LehmusLabsFLAI/1.0
Yhteys: tuki@lehmuslabs.fi

Mikä FLAI-lukija on?

Se on se osa FLAI:ta, joka käy lukemassa sivun, ennen kuin FLAI vastaa.

Kun joku kysyy Kokeile FLAI:ta -sivulla esimerkiksi, kuka hoitaa seurakunnan hautaustoimea, lukija etsii organisaation sivuston, avaa sen sivuja muutamaa sivua kerrallaan (enintään neljä pyyntöä yhtä aikaa samalle palvelimelle) ja poimii niistä tekstiä ja linkkejä. FLAI valitsee seuraavan sivun ja arvioi, mikä löydetyistä kohdista vastaa kysymykseen. Vastaus on aina sivulta löytynyttä tekstiä lähdelinkkeineen, ei keksittyä.

Osan julkisesta tiedosta Lehmus Labs lukee myös ennakkoon, esimerkiksi kokouspöytäkirjat ja hinnastot. Silloin lukija noudattaa samoja sääntöjä ja pitää pyyntöjen välillä vielä pidemmän tauon.

Mitä lukija lukee?

Julkisia verkkosivuja, jotka aukeavat ilman kirjautumista
Sivuston robots.txt-tiedoston ja sivukartan
Sivuston omaa hakua kysyjän sanoilla ja niiden perusmuodoilla sekä henkilöhaussa tehtävänimikkeen synonyymeillä
Julkaistuja työyhteystietoja: nimi, tehtävä, työpuhelin ja työsähköposti

Mitä lukija ei lue?

Sivuja, jotka robots.txt kieltää
Kirjautumisen takana olevia sivuja
Sivuja, jotka estävät automaattisen lukemisen: lukija ei kierrä bottitarkistuksia eikä haastesivuja
Lomakkeita: niitä ei täytetä eikä lähetetä, sivuston omaa hakukenttää lukuun ottamatta
Vastausta muodostaessaan PDF-tiedostoja, kuvia tai videoita
Yksityishenkilöiden henkilökohtaisia asioita: ennakkoon luettavista pöytäkirjoista ne poistetaan ennen käsittelyä

Miten lukija käyttäytyy?

Lukee robots.txt:n ensin. Ennen jokaista sivua lukija tarkistaa sivuston robots.txt-tiedoston ja noudattaa sitä. Jos siinä on ryhmä tunnisteelle LehmusLabsFLAI, se voittaa yleisen (*) ryhmän. Jos tiedostoa ei ole (virhe 404), sivut saa lukea. Jos palvelin vastaa virheellä (5xx tai 429) tai ei vastaa lainkaan, lukija ei lue sivustoa, kuten RFC 9309 ohjeistaa. Sama pätee, jos robots.txt ohjaa yli viisi kertaa, ei ole UTF-8-tekstiä (esimerkiksi UTF-16) tai sisältää niin paljon jokerimerkkisääntöjä (yli 5 000), ettei sitä voi lukea luotettavasti ajoissa.

Pitää tauon. Sivuston Crawl-delay noudatetaan: kysymykseen vastatessa 10 sekuntiin asti, ennakkoluvussa 30 sekuntiin asti. Jos sivusto pyytää viivettä, luemme yhden sivun kerrallaan sen tahdissa. Pidempää taukoa pyytävää sivustoa lukija ei lue lainkaan.

Rajoittaa kuormaa. Samaa sivustoa luetaan enintään neljällä pyynnöllä yhtä aikaa kaikkien kysyjien yhteensä (viiveen pyytävää yhdellä), ennakkoluvussa enintään kahdella. Sivua, joka ohjaa yli viisi kertaa eteenpäin, ei lueta. FLAI lukee enintään kuusi sivua vastausta varten (lisäksi sivukartan ja ennakkoon avatut todennäköisimmät linkit, enintään neljä jokaista luettua sivua kohti), ja vastaus valmistuu tai keskeytyy 16 sekunnissa.

Kertoo aina, kuka se on. Jokaisessa pyynnössä on sama User-Agent-tunniste, joka osoittaa tälle sivulle:

LehmusLabsFLAI/1.0 (+https://www.lehmuslabs.fi/flai/lukija; tuki@lehmuslabs.fi)

Ohjaa kysyjän sivulle, jos se ei saa lukea. Jos sivusto kieltää automaattisen luvun, FLAI ei lue sitä. Kysyjälle kerrotaan syy ja näytetään linkki sivulle, jonka hän voi avata itse.

Näin estät lukijan tai pyydät lopettamaan.

Helpoin tapa on robots.txt: lisää tiedostoosi ryhmä tunnisteelle LehmusLabsFLAI.

User-agent: LehmusLabsFLAI
Disallow: /

Voit myös kieltää vain osan sivustosta (esimerkiksi Disallow: /intranet/) tai pyytää hitaampaa lukua (Crawl-delay: 5). Lukija huomaa muutoksen viimeistään tunnin kuluttua, ennakkoluvussa seuraavalla lukukerralla.

Jos et halua muokata robots.txt-tiedostoa tai haluat, että jo luettu aineisto poistetaan, kirjoita osoitteeseen tuki@lehmuslabs.fi. Lopetamme lukemisen ja poistamme sivustostasi luetun aineiston.

Tietosuoja.

Lukija on tarkoitettu organisaatioiden ja niiden tehtävien tietoon, ei yksityishenkilöiden seurantaan.

Se poimii sivulta organisaation julkaisemia tietoja: kuka hoitaa tehtävää ja miten hänet tavoittaa työasioissa. Viranhaltijasta tai yrityksen työntekijästä luetaan nimi, tehtävä sekä julkaistu työpuhelin ja työsähköposti.

Kysymys ja luettu julkinen teksti käsitellään vastauksen muodostamiseksi alihankkijoiden tekoälypalveluissa. Kysymystä ei tallenneta Lehmus Labsin palvelimille. Kokeilukertojen laskemista varten Lehmus Labs tallentaa IP-osoitteesta vain tiivisteen yhdeksäksi vuorokaudeksi. Palvelun ylläpitoalusta voi lisäksi pitää omaa pyyntölokiaan, jonka säilytysaika määräytyy alustan ehtojen mukaan. Käsittelijöiden tiedot saat pyytämällä osoitteesta tuki@lehmuslabs.fi.

Onko lukijasta kysyttävää?

Kirjoita meille, jos lukija on käyttäytynyt sivustollasi odottamattomasti, haluat estää sen tai sinulla on kysyttävää siitä, miten se toimii.

Kirjoita meille