Тилда Наклонена Черта

19: Александър Ангелов и Симеон Мартев (Scrapy и Elastic)


Listen Later

В епизода Владо и Стефан обсъждат последните новини около големите езикови модели (въздъх) и философстват дали това е истински изкуствен интелект или е просто зомби папагал. Това е само прелюдия към същинската част на епизода, а именно разговор за Scrapy (технология за събиране на данни от отворени източници на информация - сайтове) и Elastic (технология за индексиране на големи масиви от текст и неговото филтриране). Плот туист, и двете технологии са много полезни, ако искате да си правите сами големи езикови модели, но не искате да ползвате наличните набори от данни за трениране, а искате да комбинирате с нещо ваше.

В епизода покриваме:

  • как се пишат правилата и скриптовете за извличане на данни от отворени източници;
  • как се управляват опашки за агрегиране на данни от хиляди източници. Малко чепкаме и AirFlow;
  • библиотеки за автоматизация на извличането на дейта поинти;
  • технологии за индексация на големи масиви данни (Logstash);
  • силни и слаби страни на Elastic.
  • Още връзки:

    • Scrapy // https://scrapy.org
    • Elastic // https://www.elastic.co
    • Elastic vs Amazon licensing drama // https://www.elastic.co/blog/why-license-change-aws
    • Zyte / scrapy extract summit // https://www.extractsummit.io
    • Apache Airflow // https://airflow.apache.org
    • Какво е дуплекс // https://en.wikipedia.org/wiki/Party_line_(telephony)
    • Special Guests: Александър Ангелов and Симеон Мартев.

      ...more
      View all episodesView all episodes
      Download on the App Store

      Тилда Наклонена ЧертаBy Stefan Kanev, Vladimir Petkov and Govori Internet


      More shows like Тилда Наклонена Черта

      View all
      Говори ѝнтернет by Владимир Петков и Еленко Еленков

      Говори ѝнтернет

      13 Listeners

      Транзѝстор by Илия Темелков - soregashi и Виктор Джамбов

      Транзѝстор

      0 Listeners

      Дроб и чѝли by Валерия Ангелова и Йордан Жечев

      Дроб и чѝли

      7 Listeners

      Парите говорят by Екип на Говори ѝнтернет

      Парите говорят

      7 Listeners

      Естествен ѝнтелект by Говори ѝнтернет

      Естествен ѝнтелект

      2 Listeners

      Говори артистът by Маргарита Доровска и екип

      Говори артистът

      0 Listeners

      Аматьор by Говори ѝнтернет

      Аматьор

      0 Listeners