Ｚｏｐｅメモ

柴田です。

＃すばやい対応ありがとうございます

On Sun, 04 Jan 2004 17:24:04 +0900
Hajime Nakagami wrote:
> Ver. 0.2 では EUC-JP の時に、うまく動いていなかった模様。

ちゃんと調べていないのですが，2.6.xとの相性の問題かもしれません。いずれ
にしても，検索語がSplitterを二度通るようなZCTextIndexの挙動はおかしいよ
うな。。。

> あくまでも、人柱レベルで、私は、まともにテストもしてませんので、
> うまく動かなかったら、あまり悩まずに、本 MLで質問してみて下さい。

たぶん，COREBlogの検索対応のテスト時に，そこそこのボリュームでテストをし
ていただけるような気がしています:-)。
ejSplitterの質問は，(中神さんの負荷にならない程度に，切り分けをした上で)
なるべくこちらにしていただくようにお願いしてみます。。。

ではでは。

----------------------------------------
Atsushi Shibata (Webcore Corp.)
shibata@…
http://www.webcore.co.jp/
----------------------------------------

今野です

ZCatalog と ZCTextIndex Lexicon 使うのは始めてなのですが、
Contents → Lexiconインスタンス → Query でエラーが出ます。
ただし英数字をキーにした検索はOKです。

zope-2.6.2, python-2.1.3 の環境で euc-jp, utf-8 とも同じメッセージです。
---
Error Type: UnicodeError
Error Value: ASCII decoding error: ordinal not in range(128)
---

On Sun, 04 Jan 2004 17:24:04 +0900
Hajime Nakagami wrote:
> あくまでも、人柱レベルで、私は、まともにテストもしてませんので、
> うまく動かなかったら、あまり悩まずに、本 MLで質問してみて下さい。

Query 画面で下の方に分割された単語の一覧が表示されますので、
分割まではうまくいってるようです。
ちょっと悩んでますので、とりあえず報告だけはと...

--
Shu KONNO
http://owa.as.wakwak.ne.jp/zope

うわっ、やばっ（中神です）

ejSplitter.py の
ejSplitter:_convert(self, text) と ejSplitterEUC_JP:_convert(self, text)
の *text* と

__init__.py の
parseTreeNodeInit(self, value)
の *value* が

それぞれ、どんな文字コードで入ってきているか、出力してみれば
わかりそうですが、いま腰を据えてテストする環境も時間がありません。

連休の終りまでには、何とかなると思います。
反則ですが、その時点で 0.3の tarball を置き換える予定です

以上

>今野です
>
>ZCatalog と ZCTextIndex Lexicon 使うのは始めてなのですが、
>Contents → Lexiconインスタンス → Query でエラーが出ます。
>ただし英数字をキーにした検索はOKです。
>
>zope-2.6.2, python-2.1.3 の環境で euc-jp, utf-8 とも同じメッセージです。
>---
>Error Type: UnicodeError
>Error Value: ASCII decoding error: ordinal not in range(128)
>---
>
>On Sun, 04 Jan 2004 17:24:04 +0900
>Hajime Nakagami wrote:
>> あくまでも、人柱レベルで、私は、まともにテストもしてませんので、
>> うまく動かなかったら、あまり悩まずに、本 MLで質問してみて下さい。
>
>Query 画面で下の方に分割された単語の一覧が表示されますので、
>分割まではうまくいってるようです。
>ちょっと悩んでますので、とりあえず報告だけはと...

今野です

On Tue, 06 Jan 2004 21:45:28 +0900
Hajime Nakagami wrote:
> うわっ、やばっ（中神です）

ファイル出力してみました(デバッガの使い方忘れちゃったので)
# UTF-8 環境で試しました

1. Reindex 処理時
-----------------
ejSplitter:_convert(self, text) を呼出していること確認できました。

type(text) は
text は Document オブジェクトの中身 (UTF-8 の文章)
#これはうまく行ってるような気がします

2. Query 実行時
---------------
ejSplitter/__init__.py の parseTreeNodeInit(self, value) が呼ばれません
登録がうまくいって無いか、ここに辿り着く前にエラーになっているのか
よく解かりません。

> わかりそうですが、いま腰を据えてテストする環境も時間がありません。
> 連休の終りまでには、何とかなると思います。
> 反則ですが、その時点で 0.3の tarball を置き換える予定です

ZCTextIndex のソース追ってみましたが僕にはチンプンカンプンでした(汗
もう少し読んでみますが、今日はちと無理なので、また明日以降見てみます。

--
Shu KONNO
http://owa.as.wakwak.ne.jp/zope

今野です

自分で ZCatalog 検索スクリプトを作り実行してみたところ
ejSplitter/__init__.py の parseTreeNodeInit 関数が呼ばれることを確認しました。
ただ引数の value がリスト型になってます。
検索キーが英数字の場合: unicode タイプの文字列
検索キーが日本語の場合: unicode タイプ一文字のリスト

ということで "ASCII decoding error: ordinal not in range(128)" のエラーは
value.encode('utf-8') がリスト型データに対して行われたので発生したと思われます。

原因は解かりましたが対処方法が解かりません。
というか今は ZCatalog についてまったく理解ができてません。
ZCatalog, ZCTextIndex とも読んでは見たのですが、難しい。
今の私には解読不能(T.T)なのでしばし休戦しようかと思ってます。

--
Shu KONNO
http://owa.as.wakwak.ne.jp/zope