[转载]转载留存 Google 搜索涉及ML的相关文字
屏蔽 ||| |
DatawockyOn Teasing Patterns from Data, with Applications to Search, Social Media, and Advertising
【立委按】讨论中提到,即便机器学习已经达到手工系统的水平,谷歌搜索的研发人员也不愿意转用机器学习。说担心机器学出来的模型在训练集未见的现象上铸成大错。而他们相信,手工系统对付未见现象不至于走偏太大。这个论点,不好置评。不过,我觉得,更主要的原因不在这里,而在遇到具体质量问题时,机器学习系统是一锅粥,很难 debug(除非不怕麻烦,重新训练去再煮一锅粥,但也常常是隔靴搔痒,很难保证这锅新粥对要解决的具体问题会奏效)。而手工系统只要设计合理(比如模块化设计,减少牵一发动全身的后果),具体问题具体对待,可直接针对性调控,debug 就容易多了。因此,即便质量相近的系统,机器学习也不占优势,因为不好维护调控以逐步提高质量(incremental enhancement)。
I have known Peter since 1996, when he joined a startup called Junglee, which I had started together with some friends from Stanford. Peter was Chief Scientist at Junglee until 1998, when Junglee was acquired by Amazon.com. I've always been a great admirer of Peter and have kept in touch with him through his short stint at NASA and then at Google. He's now taking a short leave of absence from Google to update his AI textbook. We had a fascinating discussion, and I'll be writing a couple of posts on topics we covered.
It has long been known that Google's search algorithm actually works at 2 levels:
-
An offline phase that extracts "signals" from a massive web crawl and usage data. An example of such a signal is page rank. These computations need to be done offline because they analyze massive amounts of data and are time-consuming. Because these signals are extracted offline, and not in response to user queries, these signals are necessarily query-independent. You can think of them tags on the documents in the index. There are about 200 such signals.
-
An online phase, in response to a user query. A subset of documents is identified based on the presence of the user's keywords. Then, these documents are ranked by a very fast algorithm that combines the 200 signals in-memory using a proprietary formula.
The online, query-dependent phase appears to be made-to-order for machine learning algorithms. Tons of training data (both from usage and from the armies of "raters" employed by Google), and a manageable number of signals (200) -- these fit the supervised learning paradigm well, bringing into play an array of ML algorithms from simple regression methods toSupport Vector Machines. And indeed, Google has tried methods such as these. Peter tells me that their best machine-learned model is now as good as, and sometimes better than, the hand-tuned formula on the results quality metrics that Google uses.
The big surprise is that Google still uses the manually-crafted formula for its search results. They haven't cut over to the machine learned model yet. Peter suggests two reasons for this. The first is hubris: the human experts who created the algorithm believe they can do better than a machine-learned model. The second reason is more interesting. Google's search team worries that machine-learned models may be susceptible to catastrophic errors on searches that look very different from the training data. They believe the manually crafted model is less susceptible to such catastrophic errors on unforeseen query types.
This raises a fundamental philosophical question. If Google is unwilling to trust machine-learned models for ranking search results, can we ever trust such models for more critical things, such as flying an airplane, driving a car, or algorithmic stock market trading? All machine learning models assume that the situations they encounter in use will be similar to their training data. This, however, exposes them to the well-known problem of induction in logic.
The classic example is the Black Swan, popularized by Nassim Taleb'seponymous book. Before the 17th century, the only swans encountered in the Western world were white. Thus, it was reasonable to conclude that "all swans are white." Of course, when Australia was discovered, so were the black swans living there. Thus, a black swan is a shorthand for something unexpected that is outside the model.
Taleb argues that black swans are more common than commonly assumed in the modern world. He divides phenomena into two classes:
-
Mediocristan, consisting of phenomena that fit the bell curve model, such as games of chance, height and weight in humans, and so on. Here future observations can be predicted by extrapolating from variations in statistics based on past observation (for example, sample means and standard deviations).
-
Extremistan, consisting of phenomena that don't fit the bell curve model, such as the search queries, the stock market, the length of wars, and so on. Sometimes such phenomena can sometimes be modeled using power laws or fractal distributions, and sometimes not. In many cases, the very notion of a standard deviation is meaningless.
Taleb makes a convincing case that most real-world phenomena we care about actually inhabit Extremistan rather than Mediocristan. In these cases, you can make quite a fool of yourself by assuming that the future looks like the past.
The current generation of machine learning algorithms can work well in Mediocristan but not in Extremistan. The very metrics these algorithms use, such as precision, recall, and root-mean square error (RMSE), make sense only in Mediocristan. It's easy to fit the observed data and fail catastrophically on unseen data. My hunch is that humans have evolved to use decision-making methods that are less likely blow up on unforeseen events (although not always, as the mortgage crisis shows).
I'll leave it as an exercise to the interested graduate student to figure out whether new machine learning algorithms can be devised that work well in Extremistan, or prove that it cannot be done.
TrackBack URL for this entry:
http://www.typepad.com/services/trackback/6a00d83471bc3153ef00e5527c00a38833
Listed below are links to weblogs that reference Are Machine-Learned Models Prone to Catastrophic Errors?:
You can follow this conversation by subscribing to the comment feed for this post.
доставка алкоголя москва алкоторг
Доставка алкоголя становится все более популярной среди покупателей . В современном мире многие ценят удобство и быстрый сервис, который предлагает доставка алкоголя на дом. Это позволяет экономить время и избегать очередей в магазинах, особенно в праздничные дни. Клиенты часто выбирают доставку из-за разнообразия ассортимента и гибких условий заказа.
В сфере доставки алкогольных напитков наблюдается рост числа компаний . Они используют современные технологии, чтобы обеспечить быстрый и безопасный процесс заказа. В результате клиенты получают свои покупки в кратчайшие сроки и в сохранности.
Заказ алкоголя онлайн стал очень удобным благодаря простоте интерфейса и различным способам оплаты . Большинство платформ предлагают быструю обработку заказа и возможность выбора времени доставки. Это гарантирует максимально комфортное обслуживание для каждого клиента.
Заказывая доставку, можно сэкономить время и силы, выбирая подходящие напитки. Клиенты ценят надежность и конфиденциальность, а также возможность ознакомиться с ассортиментом заранее. Все это делает услугу доставки алкоголя выгодной и востребованной.
Потенциальные недостатки
Несмотря на очевидные преимущества, у бухгалтерского сопровождения есть и минусы:
Частичное бухгалтерское сопровождение
Хочу поделиться своим опытом обучения в сфере SEO. Если вы только начинаете свой путь в этой области или хотите углубить свои знания, то курсы по SEO — это отличный выбор. Я сам недавно закончил базовый курс и могу сказать, что это действительно полезно. Особенно если вы хотите стать seo специалистом или научиться продвижению сайтов с нуля. Многие школы SEO предлагают как платные, так и бесплатные варианты обучения. Например, я изучал seo с нуля https://kursy-seo-5.ru и остался доволен результатом. Онлайн-формат позволяет учиться в удобное время, а интенсивные программы помогают быстро освоить ключевые навыки. Если вы ищете качественное обучение продвижению сайтов, рекомендую обратить внимание на проверенные курсы. Это действительно может стать отличным стартом для карьеры в SEO.
Ищу специалистов по продвижению сайтов — посоветуйте, кто действительно работает качественно. Недавно начал изучать тему и понял, что без грамотного подхода тут не обойтись. Хочу найти компанию, которая занимается не только базовой оптимизацией, но и комплексным продвижением, включая работу с трафиком. Уже пересмотрел несколько вариантов вроде Net SEO и SEO Partners, но пока не могу определиться. Если кто-то сталкивался с продвижением сайтов в Москве, поделитесь опытом — как выбрать надежное SEO агентство? Пока искал по запросу продвижение сайта реклама, наткнулся на множество предложений, но не все внушают доверие. Хотелось бы услышать рекомендации от тех, кто уже работал с подобными услугами. Заранее спасибо за советы!
Новички в бизнесе теряются в форматах, когда решают открыть свое дело по оказанию стоматологических услуг https://loldentrnd.ru/page109713976.html
КАК ПРОИСХОДИТ ЛЕЧЕНИЕ В COSMODENT?
Искал варианты, как начать карьеру в digital, и решил попробовать себя в SEO — это перспективное направление для удалённой работы. Нашёл несколько школ seo, которые предлагают обучение с нуля. Мне понравилось, что есть как платные, так и бесплатные варианты для старта. По теме учиться seo https://kursy-seo-3.ru нашёл много полезной информации — там объясняют базовые принципы продвижения сайтов. Сейчас думаю записаться на seo базовый курс, чтобы систематизировать знания. Кто-нибудь уже проходил обучение продвижению сайтов? Посоветуйте, где лучше учиться seo онлайн — искал отзывы, но пока не могу определиться. Хочется найти что-то с практикой, чтобы сразу применять знания в работе.
купить алкоголь круглосуточно москва
Доставка алкоголя становится все более популярной в современном мире.
Многие люди предпочитают заказывать спиртное через интернет, чтобы избежать походов в магазин.
Компании предлагают разнообразные варианты доставки, включая экспресс и стандартные условия.
---
Для заказа алкоголя достаточно выбрать нужный товар на сайте или в приложении.
Оперативность и надежность доставки — важные преимущества современных сервисов.
Доставка алкоголя создает комфортную альтернативу посещению магазинов или баров.
---
Ассортимент включает в себя все виды алкогольных продуктов, необходимые каждому.
Разнообразие вариантов помогает подобрать напиток на любой вкус и по любому бюджету.
Дополнительные услуги делают заказ еще более удобным и приятным.
---
Обратная связь и отзывы клиентов подтверждают высокое качество сервиса доставки алкоголя.
Доставка алкоголя становится неотъемлемой частью жизни современного человека, ценящего время и комфорт.
Обучение seo — это возможность получить востребованную профессию. Начинающим подойдут базовые курсы, где всё объясняют понятно. Многие школы seo предлагают как платные, так и бесплатные программы. Я сам начинал с базового курса, и это помогло мне понять основы. Если хотите учиться seo, выбирайте проверенные школы с хорошими отзывами.
При сертификации детских товаров производители и поставщики часто сталкиваются с проблемой выбора надёжного центра сертификации. Требования к разным категориям продукции отличаются, стоимость и сроки оформления документов у компаний сильно разнятся, а ошибки могут привести к задержкам поставок и проблемам с продажами. В итоге бизнес теряет время и несёт дополнительные расходы. Кто проходил сертификацию детских товаров? Где оформляли документы, с какими сложностями столкнулись и какие центры можете порекомендовать? Подскажите как оформляют [url=https://airlady.forum24.ru/?1-7-0-00007911-000-0-0-1788082644] сертификат на детские товары[/url]
Хочу поделиться своим опытом продажи сайта — может быть, кому-то пригодится. Сначала даже не представлял, как подойти к этому вопросу, но потом разобрался. Главное — правильно оценить свой ресурс и выбрать подходящую площадку. Самые популярные варианты — это продать сайт, там действительно можно найти покупателей. Важно не торопиться и сделать аудит, собрана статистику, возможно, немного доработать дизайн. В результате сделка состоялась на сумму, которая меня устроила. Может быть, скоро выставлю на продажу ещё один сайт. Кстати, кто-то пробовал аукцион сайтов для быстрой продажи?
В чем разница между бухгалтерским сопровождением и бухгалтерским обслуживанием
Поделюсь опытом своим опытом работы с продвижением сайтов. Не так давно столкнулся с необходимостью раскрутки собственного проекта и начал изучать эту тему. Сначала думал, что справлюсь сам, но быстро понял, что это требует опыта. Обратился в seo агентство, и они помогли с оптимизацией и продвижением сайтов москва. Особенно понравилось, что они оперативно включились в работу. Теперь трафик сайта заметно вырос, и я доволен результатом. Если вас интересует технического аудита сайта https://internet-agentstvo-prodvizhenie-sajtov-seo.ru, рекомендую обращаться к профессионалам — это того стоит. Всего доброго в ваших проектах!
Где можно почитать качественные статьи о цифровом маркетинге и продвижении сайтов? Хочется найти что-то действительно стоящее с практическими кейсами. Ищу в основном материалы по маркетинг в интернете блог https://statyi-o-marketinge1.ru, но пока сложно найти что-то действительно полезное. Буду благодарен за рекомендации сео-блогов с экспертной аналитикой. Иногда нахожу крутые кейсы в нишевых телеграм-каналах, но этого мало.
Недавно искал информацию о том, как эффективно продвигать сайт, и наткнулся на несколько интересных ресурсов. Оказалось, что есть множество компаний занимающихся продвижением сайтов, которые предлагают разные подходы — от классического SEO до продвижения по трафику. Если говорить о Москве, то там особенно популярны услуги seo агентства, которые специализируются на оптимизации и продвижении сайтов. Мне посоветовали обратиться в интернет агентство продвижение сайтов сео, чтобы получить более детальную консультацию. В процессе поиска я вбил в Google заказать раскрутку сайта https://poiskovoe-seo-v-moskve.ru и нашёл несколько проверенных вариантов, таких как Net Seo и Seo Partners. Их подходы к раскрутке сайта впечатляют — они учитывают множество факторов, от технической оптимизации до контент-стратегии. В общем, если вы ищете профессиональную помощь в продвижении сайта, советую начать с изучения этих компаний.
Решил заняться продвижением своего сайта и начал искать специалистов. Оказалось, что сейчас много компаний занимающихся продвижением сайтов, но выбрать не так просто. По совету друга обратился в seo агентство — они сразу предложили несколько вариантов, включая продвижение по трафику и оптимизацию контента. Пока изучаю их предложения, но уже вижу, что подход серьёзный. Кстати, когда искал информацию по теме сделать продвижение сайта https://optimizaciya-i-seo-prodvizhenie-sajtov-moskva.ru, наткнулся на несколько полезных статей, которые помогли лучше разобраться в вопросе. Если кто-то уже работал с такими агентствами, поделитесь опытом — как выбрать надёжного партнёра и на что обратить внимание в первую очередь?
Регуляторика в медицине — это сложная и важная тема. Важно учитывать такие аспекты, как врачебная ошибка и стандарты оказания медицинской помощи. Лицензирование медицинской деятельности также играет ключевую роль. порядок оказания медицинской помощи по профилю педиатрия https://zonadom.ru Для более глубокого понимания темы стоит изучить дополнительные источники.
Искал полезные материалы по SEO и маркетингу, наткнулся на интересный ресурс. Там много аналитики по цифровому маркетингу, особенно понравились советы по продвижению. Если вам нужно что-то по теме маркетинговые стратегии статьи [url=https://seo-blog8.ru]https://seo-blog8.ru[/url], рекомендую заглянуть — там много практических советов. Кстати, недавно читал обзор маркетинговых стратегий, всё очень подробно и без воды. Кто-то ещё следит за этим сео блогом?
Коллеги, кто уже проходил обучение по менеджменту в здравоохранении? Поделитесь опытом — вопрос важная. менеджмент качества в здравоохранении https://coolelectro.ru Кстати, сейчас много курсов по управлению процессами в медицине. Как думаете, насколько это востребовано?
Всем привет! Изучал информацию по SEO и нашел классный ресурс с полезным контентом. Зацепило, что там разбирают современные тенденции вроде статьи про seo — очень доступно. Советую заглянуть тем, кто хотите продвигать сайт. Встречаются и разборы стратегий по контекстной рекламе, которые очень полезно для развития проектов. В целом ресурс стоящий, стоит посмотреть!
Сейчас в интернете много библиотек готовых промптов для ИИ, но найти действительно полезные сложно. Большинство шаблонов слишком универсальные, не учитывают специфику задач и требуют постоянной доработки. В итоге вместо экономии времени приходится переписывать запросы и проверять результаты. Кто пользуется библиотеками готовых промптов для ИИ? Какие сервисы можете порекомендовать и насколько хорошо их шаблоны работают на практике? Подскажите как выбрать и где взять [url=http://www.bisound.com/forum/showthread.php?p=3324030#post3324030] промпты для ИИ[/url]
При выборе шпаклёвки для ремонта часто возникает проблема с качеством материалов. Производителей много, цены сильно отличаются, а понять, какая смесь действительно хорошо ложится, не трескается и не даёт усадку, сложно. В итоге приходится переделывать работу, тратить дополнительные деньги и время. Кто какой шпаклёвкой пользуется? Какие марки хорошо зарекомендовали себя на практике, а какие лучше обходить стороной?? Каой должна быть качественная [url=https://telegra.ph/SHpaklevka-pod-pokrasku-08-30]шпаклевка под покраску[/url]
Искал компании занимающиеся продвижением сайтов, и понял, что выбор действительно огромный. В Москве много специализированных агентств, которые предлагают оптимизацию и продвижение сайтов. Некоторые из них, например Net SEO или SEO Partners, уже давно на рынке и имеют хорошую репутацию. Если вам нужно качественное seo агентство, советую обратить внимание на их портфолио и отзывы. Я сам недавно начал изучать продвижение по трафику, и это оказалось довольно интересно. По теме продвижение сайтов ru нашёл много полезной информации, которая помогла разобраться в тонкостях. В итоге остановился на одном интернет агентстве продвижение сайтов сео, и пока всё идёт хорошо. Главное — не торопиться с выбором и изучить все предложения. Продвижение сайта — это процесс, который требует времени и внимания, но результат того стоит.
Право и регуляторика в медицине играют ключевую роль в защите пациентов. Врачебная тайна, информированное добровольное согласие на медицинское вмешательство и стандарты оказания медицинской помощи — это базовые принципы. информированное добровольное согласие на проведение профилактических прививок информированное добровольное согласие на виды медицинских вмешательств Как бы вы оценили текущее состояние регуляторики в медицине?
Как грамотно оформить информированное добровольное согласие пациента? Знакомые врачи жалуются на сложности с лицензированием деятельности. приказ о порядке оказания медицинской помощи https://applitech.ru Хотелось бы разобраться в тонкостях медицинской регуляторики.