
#個人開発者 趣味でAI作ってます https://teapawt.net/t.co/1caC3PtpIK
Joined June 2025
- Tweets3.9K
- Following953
- Followers934
- Likes8K
Pinned Tweet
33MBの超軽量なのに普通に意思疎通できるslm作りました
設定入れたり、ゲーム内操作もこなします
インディーゲームのnpcに使ってください
huggingface.co/baya1116/char…
あと前に言ってた普通に賢いローカルslmは作って公開してます↓
apps.apple.com/jp/app/deep-c…
あのもう普通に僕が解けない高校数学とか解けるのでどれだけ賢いかはよくわかりません
Wikipedia検索とかできます
どうぞ
なんとgpt2の3分の1です
それでこの性能はなかなかエグいと思います
ローカル実行なのでインストールに嵩張らないように特殊技盛り盛りで33メガバイトにぶち込みました
それはそれはいろんな技使いましたがそれはまた別のお話
ぜひ使ってみてください
なんか調べて衝撃だったのがホログラム入りカードICに住所情報まで保存してるからならしい
なんで攻撃者から見てほしいものが鍵と一緒に入ってるんですかねぇ...
一方アメリカは個人番号カードつってペラ1の番号書かれたカード渡して全部サーバーで管理してるのでした
魔改造tiny-llamaでGSM8K(推論モデル用データセット)の問題に正答
推論過程に一部ハルシネーションが見られたので強化学習で矯正中
こなれたらオンデバイスアプリとして公開しようかなと思っている
LLM改造に没頭して一つブレイクスルーがあったので報告
2048トークンのプロンプト窓しかないtiny-llamaに実質無限のプロンプト窓を持たせることに成功
ラップトップで動くllmに無限の思考連鎖をさせる事ができる
しかもプロンプトは無限なので複数の思考連鎖を”蓄積“させる事も可能
まだテストの初期段階なのでこうは言っても失敗している可能性はあるが
観測したこととしてプロンプト窓をゆうに超える文章を与えて
4000トークン前に置いたパスワードをどこに書いてたかを引っ張ってくることに成功
ずっとLLMいじってた
最初の訳の分からない意味不明な出力から
今回の改造ないと答えられない問題に回答できたりなどだいぶ良くなってきたので嬉しいけど
Wikipediaでしか学習してないので雑談になると急に意味不明なこと言い出すのでそこを改善中...
よーーーーーーしゃあぁあああ
とりあえず普通のハイパーネットだけどうまく行ったぞーーーーー!
一応やりたいことの学習に通したからここ動作確認が動くってことは次のステップに繋がってる
まーだコーパス少なくて守備範囲超えたら動作安定しないけど
今まで1ミリも動かんかったからクソ嬉しいわ



