The Ascot Project

Graduation

2010-05-31T16:28:00.001+09:00

[en]

We attended the Tech Crunch Japan Demo Pit last Thursday (May 27th) and this was the opportunity for Ascot project to graduate.
We are now Mindbucket.
Start uncovering the words of your mind with Mindbucket.

[jp]

５月２７日のテッククランチジャパンデモピットをもってアスコットプロジェクトはマインドバケットになりました。
貴方の脳の中で潜んでいる単語のふたを取る時代が来ました。

クエリーのブロケン・テール

2010-02-14T16:40:00.004+09:00

[この記事はThe broken tail of queriesの和訳です]

つい前のポストで大きなミスを犯してしまいました。
結果のロングテールではなく、クエリーのロングテールです。
そして、それも健全な、滑らかな、長い尻尾ではなく、壊れている尻尾です。

より詳しく説明していきましょう。

まずは、ウィキペディアによる定義をもう一度見てみましょう。

”The Long Tail（ロングテール）とは、「あまり売れない商品が、ネット店舗での欠かせない収益源になる」とする考え方です”。
その概念を示すグラフはこちらになります：

商品売り上げのグラフです。縦軸を販売数量、横軸を商品名として販売数量順に並べると、あまり売れない商品が恐竜の尻尾のように長く伸びます。
つまり、販売数量が低い商品は沢山あるということを示せます。
そして、それぞれの領域に於ける面積が一致しています。

従って二番目のミスを犯してしまいました。
２０－８０ではなく、実は２０－５０です。
言い換えれば、全アイテムの２０％は全ダウンロードの５０％に当たるわけです。
残りの８０％は残りの５０％に当たります。
以前の記事で考えられていた数字よりも低いです。全アイテムの２割が全ダウンロードの８割を占めていると思っていたものです！

さて、サーチの世界に戻り、代わりに「結果」且つ「クエリー」という測定法を利用しましょう。
サーチに於いてもポピュラーなクエリーが、つまりごく普通のクエリーが沢山の検索結果を生み出すわけですが、特殊なクエリーは比較的に少ない検索結果を持ってきます。
言い換えれば、検索量数が低いクエリーは数々あります。
従って、以前のように人気度ランキングのようなグラフが得られます。
実際、ロングテールみたいなグラフが得られる筈です：

しかし、前回の記事で示したように、現在のサーチエンジンは非常に単純なクエリに対する処理しか出来ず、平均２．１キーワードで構成されているクエリーにしか検索結果を与えられません。
結果的にはほとんどのクエリーに対しては結果が出ません。
最終的にはクエリに関する壊れたロングテールが得られます：

それは残念な現象です。サーチエンジンの使用回数の半分に対しては結果が得られません。

しかし、実はそんな、単純なわけにはいきませんと貴方はもしかしたら言い返すかもしれません。
場合によって、ユーザーが探している商品名を正確に知っていることもあります。
そういう場合はサーチバーをフェッチドッグとして利用し、データベースにさえ入っていれば結果は当然出ます。
しかし、全く知らない商品を見てみたい場合は、その商品名は正確に知っています？
当然、知りません。
従って、先ほど初めて導入された、「壊れたロングテール」はほとんど変更されません。強いて言えば壊れる瞬間がちょっと遅れてしまいます。

検索結果が表示され、ユーザーは興味のある結果を選択し、好きな商品をダウンロードします。
ダウンロードするにはお金を払う必要がありますので、売り上げ数はダウンロード数に反映されています。
従って、もともと売り上げが発生する筈だったところには巨大なフラットゾーンが置き換えられます。

これは小売店に対しては大きな金の損失に繋がります。
ユーザーに対しては大きな時間の損失を生み出します。

ところが我々アスコットプロジェクトでは、特定の、パーソナルな、非常にカスタマイズされたクエリーに対する処理が出来るサーチエンジンのプロトタイプを作りました。
現在のサーチエンジンは沢山の情報が含まれているクエリーに対して結果を得るのに失敗しているのですが、我々は適合率の高い結果を提供することが出来たと確信しています。

ユーザーそして小売店、互いに得をする状況です。
ユーザーは今まで取り出せなかったアイテムを簡単に探し、入手します。
小売店は今まで利益を全く上げれなかった商品に対して売り上げを生み出すようになります。。。

The broken tail of queries

2010-02-12T21:05:00.003+09:00

I made a huge mistake in the last post...
It's not a long tail of results, but it's a long tail of queries.
And in fact, it's not even a healthy, smooth long tail, but a broken long tail.

Let me explain myself.

Let's get back first to Wikipedia.

"The Long Tail or long tail is a retailing concept describing the
niche strategy of selling a large number of unique items in relatively
small quantities – usually in addition to selling fewer popular items
in large quantities."
Let's look at the graph that illustrates that concept.

It's just a graph showing popularity ranking. To the right is the long
tail; to the left are the few that dominate. Notice that the volumes
of both areas match.

So I made a second mistake.
It's not 20-80 but 20-50. In other words, 20% of all items account for
50% of all downloads. The remaining 80% account for the remaining
50%.
That's less that previously thought. In the previous post, it was
believed that those 20% of total items accounted for 80% of total
downloads!

Now, let's get back to the search world and use "results" and
"queries" for metrics.
Since popular queries generate lots of results and specific queries
generate few results, we can say that we get a graph that shows a popularity ranking.
In fact, we should get a long tail of queries:

But as noticed in the previous post, we have a problem: current search
engines are only able to handle very simple queries, those queries
comprised in average of 2.1, boring keywords.
Thus, most of the queries give no results.
In fact, we get eventually a broken tail of queries:

That's a pity. That means that 50% of the time we get nothing.

You would tell me that's not exactly what's happening.
Why?
Because there are cases where users know exactly the name of the
product they are looking for.
In that case, they are using the search bar as a fetch dog and if the
item is in the database, well indeed that will yield results.
But when you wanna discover new things based on personal criteria, do
you know the exact name of the item you are looking for?
The answer is of course no.
So it doesn't change drastically the previously tail of queries, perhaps delay a little bit the moment when the graph breaks down.

Once the user has obtained the results, he chooses the items that he
likes and then can decide whether or not to download them.
Since a download automatically translates into a sale (assuming that
download are not for free), we get eventually a huge zone where the
sales that should have been done have vanished:

That's a huge loss of money for the retailer and a huge loss of time
for the user.

But ascot project has come up with a new way to specify the search
criteria and a new way to deal with those specific, customized, personal queries.
And we are confident that we are able to give good results where
current search engines are failing to give any results.

In fact, that's a win-win situation for both users and retailers:
users will be able to discover new items and retailers will be able to
make cash on items that were not reached so far...

検索結果のロング・テール

2010-02-10T19:13:00.005+09:00

[this post is a translation of "the long tail of search results" written by Pascal Hideki Hamonic.]

ロング・テール："全アイテムの20％は全結果の80％を占めている"。
（ロング・テールをご存知ない方はwikiを参考してくださいませ。）

問題："私は個人的なニーズを持っており、ロング・テールの右手に遠く離れている特殊なアイテムに興味を持っております。どうすれば検索できますか？"

まあ、世界のデジタル化を行うしかありません。
デジタル化することによって、ロング・テールの残りの80％に及ぶことが出来るようになります。
Amazon.comの場合はそうですが、ウォルマートの場合はそうではありません。物理的な制限があり、店内に全ての商品を置くことが出来せん。

従って、デジタル化によって、消費者は、個人的に好きな商品を簡単に手に入れることができます。
しかし、一つの条件があります：それらのアイテムを検索できる必要があります。

もう既にご存じかもしれませんが、物を検索するには2つの方法があります。

１）サーチバー
２）推薦エンジン

１）と２）、それぞれの長所及び短所を分析していきましょう。

探している物の名前を知っているのであれば、サーチバーは素晴らしい道具かと思います。言い換えれば、フェッチドッグとして利用します。つまり、アイテムのＩＤを指定して、そのアイテムを「持って来い！」という命令を検索エンジンに出せば良いのです。
例えば、『2001年宇宙の旅』という映画をAmazon.comで探していると仮定しましょう。サーチバーに「2001年宇宙の旅」という文字列を入力し、データベースの中に存在さえしていれば直ぐに画面に表示されます。

しかし、探している物の名前が不明だったらどうすれば良いのでしょうか？
その場合は、適合確率原理に基づきます。（推定された適合確率がユーザーにとっての最高の検索結果になるという原理）
探している商品に関する基準をサーチバーに入力し、情報検索システムはそれらの基準に最も適合している結果を先に出します。
人気度、アイテムの投稿日付、顧客の評価などによってランク付けを行います。
グーグル社だって同じ原理を使っています。但し、ページランクはリンク型データベースに適用します。

しかし、ここですぐ問題点が見えてきます。出されてくる結果はあくまでも人気度の高い結果で、つまり、全結果の８割だけです。その全結果の８割は全商品の２割に該当しています。従って、特定の商品に及ばず終わってしまいます。
結局、サーチバーでは自分だけに合った基準に合っている結果を出すことが出来ません。自分だけが探しているものを簡単に見つけ出すことが出来ません。
つまり、サーチバーだけでは本格的なカスタマイズ・サーチは出来ません。

そこで、推薦エンジンの良さが見えてきます。ロング・テールの右手にある遠く離れているアイテムを提案してくれます。しかも利用者には何も要求されません。
推薦されてきた商品を目で閲覧して、脳の持っている視覚情報に関するパターン認識の素晴らしい能力に基づき好きな物を選んでいけば良いのです。
しかし、なぜその商品を推薦されたのかはよく分かりません。把握するための道具は提供されません。その裏づけはありません。
もしかしてランダムな推薦かも知れませんと時々思ったりもします。

要点を繰り返しましょう：私が決めた基準で私に合っている商品だけを探しています。しかし、それらの商品の名前を知りません。
サーチバーのパラダイムでは、その基準を制御出来ますが、結果には未知の物が含まれません。
推薦エンジンのパラダイムでは、未知の商品を見つけ出してくれますが、探している基準は把握されません。

従って、入力される基準を把握するのみならず、未だ知らないアイテムを多く探してくれる情報検索システムを作り出すべきかと思います。
ユーザーは自分自身の基準を満たす新製品を発見したいものですから。

解決策の提案：ユーザーにより多くのキーワードを入力してもらうこと、つまり、より多くの情報を入力してもらうこと。

可能かと思いますが、二つの問題点がすぐに見えてきますね：

あ）まずは、現在の検索エンジンは沢山のキーワードの処理が困難です：ブール演算子に頼ると、入力キーワード数は平均で２．１だけです。より多くのキーワードを入れると結果の品質が悪化してしまいます。

い）そして、ユー
ザーにとって沢山のキーワードを入れるのが面倒くさいです：人間の脳は物を認識する能力が優れているのですが、物を思い出す能力が劣っています。

我々はアスコット・プロジェクトでは、両方の問題に対する解決法を見つけ出したかと思います。

最近では情報検索に関する特許に申請しました。 2つの重要な要素から成り立っています：概念入力と索引語推薦

実際、

あ）は、概念を処理することができる検索エンジンを作成することによって解決することができます。

い）は、関連する索引語や概念を推薦することができる検索エンジンを作成することによって解決することができます。

乞うご期待！因みにＶＣの方に連絡を取っております。。。

The long tail of search results...

2010-02-09T15:16:00.010+09:00

The long tail: "20% of all searchable items account for 80% of all search results."

(For those that don't know what the tong tail is, have a look at:http://en.wikipedia.org/wiki/Long_Tail)

Problem: "I have specific needs that correspond to specific items that are far away on the right hand of the tail. How can I do?"

Well, digitize the world.
Thanks to the digitization of the world, consumers can now reach easily the remaining 80% of all possible items that exist in the collection.
This is the case in Amazon.com. But it's not the case in Walmart: you cannot have everything in the store because of the physical limitations.

So by relying on a Web site, people can now reach the items they are interested in.
Well on one condition: to be able to search for those items.

As you may know, there are two ways to search for things on the Internet:

1) search bar
2) recommendation engine.

Let's see the pros and cons of each one.

The search bar is a wonderful tool if you know exactly the name or the ID of the item you are looking for. In other words, you use the search bar as a fetch dog. Let' s say that you wanna buy "2001: A Space Odyssey" on Amazon.com. You will just have to input the characters string into the search bar and it will immediately display the movie if it's in the database.

But let's say now that you don't know the name of that thing you are looking for.
In that case, you rely on the probability ranking principle of information retrieval: you put the criteria that you are looking for into the search bar and the system will figure out the items that are the most relevant to those criteria.
This can be based on popularity ranking, items recentness, customers' evaluation etc...
In the same way, Google outputs popular results based on PageRank. They use in fact the same principle but applied to a linked database.

You see the problem here: the system will display only popular results, that is, those 80% of all results that correspond to 20% of all items, and therefore you would not be able to reach the specific items, the ones that exactly fit your personality and your criteria, the ones that are in the remaining 80% of the long tail. In other words, you cannot do customized search based on a search bar.

Conversely, the recommendation engine is good in the sense that the system can suggest you items that are far away on the right hand of the long tail without asking you to do anything: you only have to see with your eyes (and your wonderful visual patterns recognition ability) and choose what you like. But the thing is that the suggestions are displayed and proposed to you without any proper justification: you don't know why the system has displayed those particular suggestions. In other words, you don't have control over them. Therefore it may be very frustrating sometimes since you may think that the recommendations are random.

Let's recap: "I wanna discover new items that correspond to my taste and my criteria but I don't know the name of those items."

In the search bar paradigm, you have full control over the criteria but the system outputs only popular items that you are likely to already know or that are likely to be boring.

In the recommendation engine paradigm, the system outputs items that you don't know yet but you don't have full control over the criteria.

I personally think that It's high time that we built an information retrieval system where, not only you have full control over the criteria but also where you can discover things you don't know yet.

A solution: to enable searchers to put more keywords, in other words much more information, much more criteria.

Well there are two big problems in this stuff.

a) the fact that current search engines are not able to handle many keywords: a Boolean paradigm is stuck to 2.1 keywords. (See the previous post on that). Put more keywords and you get worse results.

b) the fact that it's just troublesome for the user to put many keywords: the human brain is good at recognizing but not at remembering things.

With ascot project, we believe we found an elegant solution for both problems. In fact, we recently applied for a patent in the field of information retrieval.
Two important ideas in that patent: "concepts-based search", "suggested terms".

Indeed,

a) can be solved by creating a search engine that is able to handle concepts.
b) can be solved by creating a search engine that is able to suggest related terms and related concepts.

Stay tuned. We are in contact with a VC right now...

フリー・テキスト・クエリ大問題を抱えているサーチ・エンジン達を助けましょう！

2010-01-12T00:42:00.002+09:00

[このポストは"Help struggling search engines solve the free text query problem!"の和訳です。]

現在の全文検索システムは上記のようです。全然セクシーではありません。なぜですか？

考えられるのは、例えばフリー・クエリ・パーサですね。
フリー・クエリ・パーサって不器用なものです。
クエリに含まれているキーワードの間に於ける関係って普通の全文検索システムですと、ブール演算子から成り立っていると思い込まれていて、それらのブール演算子を推測しようとしていること自体が不器用です。

しかし、なぜ推測しようとする必要がありますか？これは、ユーザーが普段は明示的にキーワード間の演算子を指定していないからです。
実際、入力インタフェース、つまりサーチバーが狭すぎて沢山の検索語を入力するのが困難です。

現在のサーチ・インタフェースは未だに基本的なサーチバーだけであって、ＡＮＤ，ＯＲまたはＮＯＴという演算子がいくら指定可能であっても、やはり一般ユーザーにとって扱えにくいという今日この頃です。

”クエリ内のキーワードを繋ぐ関係が論理積だということを普及させたグーグルのようなサーチ・エンジンでクエリを入力すると、全てのキーワードにマッチしている文書しか結果として取り出されてきません。”
この発言は「情報検査への導入」という論文に載っています。著者はクリストファー・マニング氏です。彼はスタンフォード大学にて１９９７の頃にラリー・ペイジ氏とサーゲイ・ブリン氏という大学院生を指導した先生です。。。

ユーザーが何を言いたかったのかを一生懸命推測しようとするのを、一旦やめましょう。
その代わりに、ユーザーに対してもっと自由を与えましょう。
より多いキーワードを入力できるようにしましょう。
そして、ユーザーから得られた情報を効率的に且つ素早く処理できるようにしましょう。こうやって得られたデーターに、独自のアルゴリズムを掛けて、よりいい推測能力が得られるのではないかと考えています。

私は、イノベーションって"人間"と"機械"との緊密なコラボに基づいているかと思います。
人間は電気化学のコンピュータであり、マシーンは電子のコンピュータであります。

イノベーションはマシーンと脳が交互に貢献していくことによって生まれるかと思います。
サーチは例外ではありません。

特許出願完了!

2010-01-10T11:15:00.086+09:00

[このプストは Patent Application Filled の和訳です]

その出願書を送ったのは、ついこのあいだの月曜日でした。
１６ヶ月のもの、研究開発を形式化しづつけてきたその直接な成果なので、満足感いっぱいです。
結果は、ポテンシャルいっぱいの有用な発明になる可能性が少なくはありません。

ちょっと、その辿りを振り返ってみましょう。
Ascot Project [アスコット・プロジェクト]をスタートさせたのは、２００８年９月だった。
仮特許出願書（すなわち優先権利申込書）を出したのは、２００８年１２月だった。
そして、６ヶ月のもの、２００９年１月〜６月の間は、研究開発が進んでいなかった。
しかし、２００９年の６月にて、新たなソフトウェア・エンジニアを見つけ、進歩が一気に増えて、まるで元気を取り戻すことができました。

現在は、「サーチ・バー」と「BooleanOR」とを、「アスコット・プロジェクト」の性能を比較するデモを用意しています。
次の重大なステップは我々のプロジェクトに興味を持ち、アスコット・プロジェクトに本当に貢献できるチーム・メートを募集中です。技術、キャシュ、収益化モデル、ユザビリティー、デザインに関わっている方、人手、またはなんでも、マジで！

極端な話し、本プロジェクトをひどく批判する人でさえ、大変興味があり、「かかってこい！」って感じです。
もちろん、ちゃんとした説明も付いてですね。

早いもん勝ちだよ☆

Patent application filled!

2010-01-09T17:08:00.000+09:00

We filled the patent application last Monday. 16 months of work rewarded by a satisfactory formalization and a potential useful invention.
Some flashbacks.
We started Ascot project in September 2008. We filled a provisional patent application in December 2008. During 6 months between January 2009 and June 2009, nothing was going on, really. But then we found another software engineer in June 2009 and nd since then we' ve been doing much better, much much better, I can tell you folks. You don't have to believe me, though.
We' ve got a demo that compares "ascot project" with "search bar" and "Boolean OR".
The next step is to look for any person that can have a substantial opinion on our prototype, whether it's related to technology, cash, business model, usability, design, people or anything else, really.
We'd be even excited (not delighted though) to hear someone that says: "your prototype is s..t!", provided that's justified and convincing.
First-come, first-served.

Help struggling search engines solve the free text query problem!

2010-01-08T12:27:00.003+09:00

Currently, this is how a full search system looks like.
This is rather ugly, at least not sexy at all.
Isn't?

It's based on clumsy ideas such as that free query parser that tries to guess which Boolean operators link each keyword together.
But why trying to guess? Because the searcher doesn't input explicitly any operators inside the query. The user's information input interface provided by the search bar is too narrow.

The fact of the matter is that current search interfaces are still basic search bars and therefore don't get you excited about using "AND", "OR" or "NOT".
Right?

"Web search engines such as Google have popularized the notion that a set of terms typed into the query box carries the semantic of a conjunctive query that only retrieves documents containing all or most query terms".
This is a quotation from "Introduction to information retrieval", written by Christopher Manning , the associate professor at Stanford that helped Larry and Sergey do some cool stuff in 1997...

Again, let's stop trying to guess systematically for the user, for a minute. Let's enable searchers to put more information. Let's try to process that additional information in an elegant and efficient fashion. And let's try to create some substantial data that will be used to create algorithms that will be the basis for systems whose purpose will be to guess for the user.

I think that technological innovation is based on a very tight collaboration between "humans" and "machines", a "human" being an electrochemical computer, a "machine" being an electronic computer. I think that technological innovation is based on an alternation between humans' brains contribution and machines contribution, all the time.

And search is no exception.

マリサ様よ、SMARTは全然スマートじゃないよ。

2010-01-01T15:00:00.003+09:00

Googleは世界のデジタル化を実行しつつあって、全世界にAPIをオープンにしています。

Googleは依然として最も信頼性の高い検索エンジンであり、Webに埋め込まれた情報に於いては未だに最も包括的なサーチエンジンです。

しかし、"サーチは未解決の問題です。我々はその解決策の90〜95％を持っていますが、残りの10％に於いてはまだまだです。"と語るマリサ・マイヤー。

その通りです。未だに大きな問題が残っています。未だにサーチに於いての入力インタフェースが古風であるということですよ。

マリサ様よ、貴方は、なぜ未だに古いサーチのやり方に拘っていますか？グーグルのサーチバーは６０年代のSMARTに於けるキーワード入力法とそれほど変わらないでしょうね。
（因みに、写真はG. サルトン様によって作られた、初代のモダンな情報検索システムに当たる写真らしいです。）

マリサ様よ、どうしてユーザーさんにもっと自由を与えたくないと思うのですか？

驚きとイライラ感しか沸いてきません。

特に、貴方はは語義判別問題は未だコンピュータに任せるべき問題だと思い込んでいるでしょう。イギリスのオートノミー社みたいにね。

語義判別問題は先ず人間の脳に任せるべきと思わなきゃいけない時代が来ました。

情報検索技術のマップの中のアスコットプロジェクトの位置付けについて

2009-12-31T22:30:00.005+09:00

http://en.wikipedia.org/wiki/Information_retrieval#Model_types

Human-generated word disambiguation

2009-12-31T20:06:00.006+09:00

Google is digitizing the world and opening its API to anybody.

Google is still the most comprehensive and most reliable search engine for any type of information embedded in the Web.

But “search is an unsolved problem. We have a good 90 to 95% of the solution, but there is a lot to go in the remaining 10%.”

It' s not me who is saying that. It's Marissa Mayer.

Right. There is still a big problem and that problem is that the input interface is archaic, Marissa.

Why do you stick to the old way of searching, like back to the 60's? (by the way, the pic shows the SMART system created by Gerard Salton, one of the fathers of modern information retrieval.)

Why don't you want to give more freedom to the users?

It' s surprising and frustrating.

In particular, you are still stuck to the notion of "computer-generated word disambiguation" as Autonomy is.

It' s really time for "human-generated word disambiguation", I can tell you my friend. It' s time to release the frustration that you have been hiding for 10 years, Marissa...

火 OR 猫

2009-12-23T10:40:00.002+09:00

人間の脳って、二つの引数をリンクする際、”ＯＲ”という演算子をどのように利用しているのかについて、ここ数ヶ月間、考え続けてきました。

”ＯＲ”はＡとＢを綺麗に離接するというブール演算子として、つまり、純粋に数学的論理和としてほとんどは利用されてないと確信しています。

まあ、そこは、常に例外はあります。

”ディパーテッド”という映画では、ラグビーの消防士の選手を侮辱するマット・ディモンが立派な離接関係を表すために、はっきりと、その”ＯＲ”を使っています。

"fire OR pussy"

2009-12-21T11:53:00.000+09:00

I have been pondering on the the way human brains use "OR" as an operator to link two arguments.

I am convinced that most of them don't use it in the Boolean way, meaning as an operator that expresses purely a mathematical disjunction.

Well, there are always exceptions.

The way that Matt Damon uses it to insult the rugby firemen players in the movie "Departed" is a perfect illustration of that.

The Question is: how to position the Ascot Project among the current IR techniques

2009-12-18T11:49:00.000+09:00

http://en.wikipedia.org/wiki/Information_retrieval#Model_types

A method to improve significantly the search results.

2009-12-16T02:21:00.001+09:00

A lot of people say that Bing made a great effort to provide users with a user-friendly interface...
but I have the feeling that they just put a big picture on the background of their landing page and that they only introduced a "related keywords suggestion" function on the left side.

From my own perspective, I think that Naver Japan has got a much better user interface, using massively Javascript and Flash.
This kind of flashy and neat interfaces is well appreciated by Japanese users.

Now, Google has recently released in beta version a next-generation technology for search, called "Caffeine". That seems to be just a renewal of their infrastructures and files systems.

If you want to improve drastically the search results, I think that the only way to go is to get much more information from the users.

However, this implies 2 questions to be answered:

1- how can you get a lot of keywords without making the user upset?
2- how can you process a rich query?

And I think that Ascot project has come up with a comprehensive solution...:)

情報検索結果の改善法について

2009-12-14T22:06:00.000+09:00

なんだか、Bingってインタフェースに力を入れたとみんな言っているけど。。。実際は単にランディングページにでかい画像を入れたのと、関連キーワード機能を付けたぐらいに過ぎない気がする。

インターフェース的にはNAVER JAPANの方がずっと上かと。大いにJAVASCRIPとFLASHを利用し、日本人が好む格好いい出来上がりになっている。
ところで、グーグルは最近、次世代検索技術「Caffeine」を発表し話題をあげたが、検索インフラストラクチャの刷新を図ったものに過ぎない。
大きく検索結果を改善するためには、ユーザーからはより多い情報を得るしかないかと。そこで、問題点は二つ発生するが：
１）ユーザーに負担を掛けずにどうやって簡単に、楽しく、早く、沢山のキーワードを取得できるのか
２）出力されたリッチなクエリをどのように処理するのか

それらの問題点を解決できる方法はAscot Projectは見つけ出したかも知れない。。。

Search engine companies and search bars - サーチエンジン会社とサーチバー達

2009-12-01T02:21:00.001+09:00

That's crazy the number of search engine companies in the world that use the search bar as an input interface. I mean I am pretty sure that it's the only interface used by any information search system and that it's been used for decades.
That's crazy. The search bar is regarded as the interface for human beings to communicate with machines. Come on! Within a decade, the computation power has been multiplied by 2^10=1024.
So, compared to 1998 when Google was introduced to the world for the first time, we have now 1000 times more powerful search algorithms. It's really high time to advance to the next step, that's to say search bar 2.0...
By the way, the search bars in the picture are the search bars used in search engines for the Japanese market.

世界のサーチエンジン会社は大体サーチバーを利用していますね。大体どころか、全てのサーチエンジンははサーチバーを利用していますね。そのむかっとくるサーチバー以外のことは「考えられません！」という感じですね。どう考えても、可笑しいですよ。だって、１９９８年にグーグルが初めて世界に導入されてから、１０年以上経ちました。１０年間でコンピューターのパワーは２＾１０＝１０２４倍、つまり千倍ぐらいより高くなるわけです。
サーチバーというのはコンピューターと人間との間に於けるコミュニケーションのためのインタフェースといわれているけども、１０年間に於いて明らかにぐっすりと眠っていたという感じです。何もされていません。情報入力インタフェースに関しては。
もう本当に次のステップに進まなきゃ！つまりサーチバー２．０を導入するべきです。
因みに、一番上の写真は日本市場に於いて、サーチエンジン会社が使っているサーチバー達です。

お願い！よりセクシーなサーチフォーマットを / A sexier search format please!

2009-09-24T22:11:00.000+09:00

最近のヤフー!は新しいサーチフォーマットを導入しました。そもそもサーチフォーマットって何ですか？どう見ても未だにサーチバーですよ。どこが新しいですか？教えてくださいませ。全くセクシーさのないサーチバーですよ。
笑うしかありません。よりセクシーなツールを作りましょう！アスコットプロジェクトではそれを作っている最中です。

Yahoo! recently introduced a new search format. But basically what's a search format? Anyway it's still a search bar. This is still that old, boring, frigid, search bar.
That's a joke. Let's invent something sexier! We are doing that with ascot project...

キーワードスパム / keywords spam

2009-09-23T02:24:00.000+09:00

グーグルはメタタグを利用しないとのことです。メタタグは簡単にスパムされてしまうからです。
ページランクはそのスパムを削除するためにあるアルゴリズムです。

しかし、AMAZONのような制限されているデータベースでは、リンクで繋がっている構造はありません。その時に、どうすればキーワードスパムを戦えばいいのか？

自然言語の冗長性を利用することが一つの解決法です。何回も同じことをいろんなキーワードで入力し。。。
この解決法は本プロジェクトで利用しています。

Google does not use meta tags because those meta tags are spammed.
That's why they have PageRank.
But, in a limited database like Amazon, there is no linked structure.
How to fight spam in that case?
By using the redundancy of natural language.
You say several times the same thing by using different keywords...
We are using that method in Ascot project.

Bayes is obsolete! - 旧式のベイズ!

2009-09-11T12:36:00.000+09:00

[jp]

ベイズの定理についてちょっと語りましょう。

あれは、実際に、優れている部分って一切ありませんよ。

AとBという主張があるとするね。

ベイズが言っているのは、（A and B）は（B and A）と一緒だということです。

単純でしょう。

一例をあげましょう：

- A = "パスカルと申します。"

- B = "２８歳です。"

年齢と名前、どっち先に言うべきかって唯の形の問題です。情報的には全く変わりません。

数学では、交換法則と言います。

だから、結局ベイズ定理って交換法則に過ぎません！

それなのに、ここ３００年間という長い期間に於いて、ずっと使われてきて、しかも計算工学の研究員はものすごく信頼しています。

音声認識にも適用されているし、自然言語の統計的分析にも利用されているし、スパムフィルタリングもそうです。後は、情報検索でも。最近ではヤッフーがIDFの一般化に使ったみたいです。

なんでだろうね？それこそ、根強いミームだと思います。次のパラダイムを見つけ出すべきです。

=========

[en]

Just a thought on Bayes' theorem.

For me it just says that (A and B) is the same as (B and A), A and B being statements.

Let's say that:

A= "My name is Pascal Hamonic."

B= "I am 28 years old."

It's just a matter of cosmetics that I put my name before my age or the other way around.In mathematics, we'd say that A and B commute.

So nothing extraordinary regarding Bayes' theorem. But it's widely used in computer science: speech recognition, natural language processing, spam-filtering.

I don't see the reason. Really.

And the results are not so great.

It's even used in information retrieval. In 2008, Yahoo! published a paper that explains how they generalize IDF using Bayes' theorem. That's lost in advance...

I think that the only reason why the scientific community trusts so much Bayes is related to memetics: the Bayes' theorem is just a powerful meme.

Bayes has to be blown away by another paradigm...

WizCorp leaves the project-WizCorpのギブアップ

2009-09-04T15:42:00.000+09:00

(for the first time, I've put a Japanese translation.)

Recently, WizCorp decided to give up. The reasons are that they don't believe in the project anymore and they don't recognize BunkerSofa's added values anymore. Well, BunkerSofa's role is to create new memes. Ultimately, the physical product itself doesn't matter. It's the neural activity induced by the product itself that matters. At BunkerSofa, we care about that, we care about that meme... But don't worry guys. Sebastien Bruel, represented by that peaceful green tree is still in!

最近、WizCorpはギブアップ表明をしました。主な理由としてはバンカーソファーの持っている付加価値への認識がなくなりましたとのことです。バンカーソファーとしての役割は新しいミームを作ることです。最終的には、その物理的な製品は何の価値もありません。本格的な価値を持っているのは、製品が起こした神経細胞の活動だと思います。バンカーソファーではそれにしか興味を持っていません。つまりミームだけです。因みに、穏やかな木で象徴されているSebastien Bruel君は未だ残っています！

Miscellaneous info about the Ascot project...

2009-07-23T04:36:00.000+09:00

- "ascot" comes from the name of the house where the project started...
- it aims at getting rid of the search bar...
- it explores the field of information discovery...
- it started in Sept 2008 with 1,500,000 JPY in capital by BunkerSofa LLC...
- it happens that all members speak French as their mother tongue...
- one member is married, another one has divorced recently, another one has a girlfriend, the remaining ones are single...
- all members are heterosexual...
- 4 members out of 5 have a background in CS...
- we have been in talk with a VC since Jan 2009 on a regular basis...
- we are changing the interface right now and adding 2 new functions...
- ascot project members are BunkerSofa LLC, Sebastien and WizCorp LLC...

Ascot and Ballmer

2009-06-29T01:26:00.000+09:00

Recently I watched the above video where Steve Ballmer is explaining his view about the innovation in search.

Here is the transcript of the interesting part:

"The truth of the matter is: there s gonna be more innovation in search in the next 10 years than the last 10. It s still true today that the average search, at least in English, is 2.2 words cause we' ve all figured out that if you type more into a search engine, you get worse results. That s crazy. Search engine should be able to do better, if they understand more about what you mean, if they understand more about the semantics of the documents. The user interface in search hasn't changed in years. We're exploring some changes."

For the first time, I told myself that Ballmer was right.

He' s right on the 4 following points:

1- "Innovation in search"
2- "Paradox in search"
3- "Semantics in search"
4- "Interface in search"

1- is related to Singularity. According to the law of accelerating returns, there is paradigm shift every decade. In 1999, we got Google with PageRank. In 2009, we got Wolfram and Bing. But neither Wolfram nor Bing have induced any change. They still rely on the search bar paradigm (*). To me, the next paradigm will be either "Natural Language Processing" or a "Personal PageRank" (= a ranking algorithm that is not assessing the relevance of a given document against the majority of users but against a specific user profile.)

2- The more keywords you input, the more information you input, the more accurate the results should be. The main reason for that paradox, at least from my perspective, is that current search engines still use a Boolean way of handling the keywords. One consequence is that each keyword is regarded as a new condition. But in fact, users do not want necessarily to specify additional conditions.

3- Search engines should be able to understand the meaning of the user request instead of using keywords that can be ambiguous. That s why we get false positive matches if we are not cautious enough.

4- "Interface in search": Current search engines still use that narrow, flattened small window where users input ASCII keywords.

Nor 2-, nor 3-, neither 4- are solved by Bing.

Are they solved by Ascot Project? 3- is not, definitively. We do not deal with semantics at all. I think that the real solution will come with natural language understanding involved in natural language processing.
For 2-, we have a solution. For 4-, we do again :)

We are not pretending to have invented the next paradigm because we haven't. But we think we got something that represents an additional step towards the ability to process natural language processing. From now on, users will be able to input as many keywords as they want...

(*) The search bar paradigm is comprised of the AND/OR relations and the search bar itself.

Patent application

2009-05-24T21:59:00.000+09:00

On last Friday (22th), we went to that patent office in Tokyo to discuss the possibility of our system to get eventually a patent.

The patent attorney said our thing constitutes a real invention. Was it because it was in his own interest that he said that or was it because he really thought that way?
We do not know but we think that if we have a business opportunity we'll apply for a patent because we think that the mechanism involved in that retrieval system is easily copied.
In case we decide to apply for it, we'll have to pay around 60Mans for the international patent, which gives us 36 months before applying for a specific patent in each zone (EU, US and JP and others possibly.)
Overall, that would cost us around 250Mans, to get an international protection. We'd better get some funding in that case......