huggingfaceで瞬殺的に系列ラベリングコードを実装したい
やりたかったこと日本語のBertモデルでFine-tuningしたい。Fine-tuningして、系列ラベリングのモデルを作りたい。
解決策系列ラベリングコードはexampleをコピペして使う。まったく同じで良かった。
新しく作 ...
解決策系列ラベリングコードはexampleをコピペして使う。まったく同じで良かった。
新しく作 ...
huggingface transformerのシード値を固定したい
やりたかったこと
モデルのシード値を固定したい
解決法実はtrainer.pyにシードを固定するための関数が存在している。
training実行前にこの関数を呼び出せばいい。
後読みの正規表現をはじめて使った
要するにやりたかったこと
っていう文字列を、こういう風に分解したい。
どうするか?この正規表現を書く
そもそも後読みの正規表現ってどうして必要?例外の文字列を定義したい時に使う。例外の文字を定義するだけなら、^メ ...
文区切りをいい感じに実行したい
こんなことを書くよ文区切りをいい感じにやっといてくれるライブラリの紹介
ちょっと不都合があったので、改造して使う場合の紹介
文区切り?なんで必要?
ちょっと不都合があったので、改造して使う場合の紹介
文区切り?なんで必要?
「文」を扱いたい自然言語処理タスクのときに、文区切りが必要になる。 ...
系列ラベリングのPrecision / Recall / Fってどうやってやるんだっけ?
定期的に忘れるけど、定期的に必要になる。なので、書き残して置こうと思った。
そもそもなんのために?言語処理の系列ラベリングの評価方法は2値分類と違うところがある。
それは、Confusion matrixの項目 ...
Pythonですばやくクロス集計してヒートマップつくるにはどうしたらいいかな?
こんなことを書くよPythonだけでクロス集計とヒートマップ作成をやりたい。どうする?
言語処理では文書数でカウントしたいときもある。どうする?
Pythonだけでクロス集計とヒートマップを表示したいんや
言語処理では文書数でカウントしたいときもある。どうする?
Pythonだけでクロス集計とヒートマップを表示したいんや
ただ単に「クロス集 ...
機械学習の実験で少ない手間で資料を用意する方法を考えてみる
ぼくは、クライアントと長くやり取りをしてきた。
いつも考えてたことは「どうすれば実験するときに、少ないミスコミュニケーションで、少ない作業ミスでクライアントに結果を出せるか?」ということだ。
ぼくはこれまでの失 ...
改行記号を残しながら、スクレイピングしたかったんや。
以前、てっとり早いスクレイピングについて書いた記事の続き。
この記事で書くことスクレイピング場面で改行記号を残さなければいけない場面の紹介改行記号残しながらスクレイピングする方法
結論だけ書くと
こうする ...
Ubuntuでmecabのインストールがうまくいかない
Ubuntu+aptでmecabがうまく動作しない!
てっとり早くスクレイピングしたかってん
この記事で書くことPythonでてっとり早くスクレイピングを実現する手順
問題になったところと解決策
どんなことが問題になったか?
問題になったところと解決策
どんなことが問題になったか?
簡単に問題になったことを紹介する。
スクレイピング結果が文字化けしてるんやけどrequ ...