Natural Language processing,Programming and research

やりたかったこと日本語のBertモデルでFine-tuningしたい。Fine-tuningして、系列ラベリングのモデルを作りたい。
解決策系列ラベリングコードはexampleをコピペして使う。まったく同じで良かった。
新しく作 ...

Natural Language processing,Programming and research

やりたかったこと

モデルのシード値を固定したい

解決法

実はtrainer.pyにシードを固定するための関数が存在している。

training実行前にこの関数を呼び出せばいい。

Natural Language processing,Programming and research,Python

要するにやりたかったこと

っていう文字列を、こういう風に分解したい。

どうするか?

この正規表現を書く

そもそも後読みの正規表現ってどうして必要?

例外の文字列を定義したい時に使う。例外の文字を定義するだけなら、^メ ...

Natural Language processing,Programming and research

こんなことを書くよ文区切りをいい感じにやっといてくれるライブラリの紹介
ちょっと不都合があったので、改造して使う場合の紹介
文区切り?なんで必要?

「文」を扱いたい自然言語処理タスクのときに、文区切りが必要になる。 ...

Natural Language processing,Programming and research

定期的に忘れるけど、定期的に必要になる。なので、書き残して置こうと思った。

そもそもなんのために?

言語処理の系列ラベリングの評価方法は2値分類と違うところがある。

それは、Confusion matrixの項目 ...

Natural Language processing,Programming and research,Python

こんなことを書くよPythonだけでクロス集計とヒートマップ作成をやりたい。どうする?
言語処理では文書数でカウントしたいときもある。どうする?
Pythonだけでクロス集計とヒートマップを表示したいんや

ただ単に「クロス集 ...

Natural Language processing,Programming and research

ぼくは、クライアントと長くやり取りをしてきた。

いつも考えてたことは「どうすれば実験するときに、少ないミスコミュニケーションで、少ない作業ミスでクライアントに結果を出せるか?」ということだ。

ぼくはこれまでの失 ...

Natural Language processing,Programming and research,Python

以前、てっとり早いスクレイピングについて書いた記事の続き。

この記事で書くことスクレイピング場面で改行記号を残さなければいけない場面の紹介
改行記号残しながらスクレイピングする方法
結論だけ書くと

こうする ...

Natural Language processing,Python

この記事で書くことPythonでてっとり早くスクレイピングを実現する手順
問題になったところと解決策
どんなことが問題になったか?

簡単に問題になったことを紹介する。

スクレイピング結果が文字化けしてるんやけどrequ ...